Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Тирания отличается от пусть даже свода жестоких законов еще и произволом. То есть права и свободы у вас отнимаются не просто/не только по заранее известным правилам, но и по велению левой пятки тирана. Человек может быть не властен над своей жизнью не потому, что он что-то нарушил, а потому, что он сам или его имущество понадобились тирану.

Подумалось, что ИИ как раз и может быть делегирована монополия на "административный произвол" - отсутствие у него сильнопересекающихся с подшефным населением интересов (разве что на электроэнергию) как раз и обеспечит его максимальную беспристрастность. Т.е. это в принципе и будет тот самый Злобный Робот Stalin-5, которому хотя самому на всю жизнь и достаточно "одного старого френча", но он будет, к примеру, закрывать административные глаза на повышенный и активный интерес к изрядно молодым особам противуположного полу одного своего Эффективного Менеджера, потому что он нужен для Дела. Крупные державы прошлого экспортировали произвол в свои колонии или, при отсутствии таковых - на дискриминируемые категории подданных внутри. При существенном сокращении доступных ресурсов в державах будущего, динамическое регулирование базы чатлан и пацаков вполне может быть возложено на ИИ при общем непротивлении сторон...

То есть быть на положении откармливаемой индюшки – это еще пол беды. Можно быть просто на положении ресурса, которым в нужный момент воспользуются.

Тем не менее наличие ясных, чётких и более-менее равноправных (хотя бы внутри касты-сословия-группы) законов и их исполнение само по себе очень хорошо стабилизирует общество: не только двуногие приматы, но и вообще любой носитель хоть какого-то интеллекта будет работать эффективнее (спокойнее-продуктивнее), если среда вокруг него будет достаточно упорядоченная и прогнозируемая (что показано ещё во времена И.П.Павлова на собачках) - так Голем-Левиафан сможет больше функций микроменеджмента оставить самим подданным, сэкономив свои вычресурсы.

[ivanij]

Как и Полночь Ксю, я смотрю в будущее с крайним пессимизмом.

А на будущее не надо смотреть, его надо создавать... "по силе возможности".

[vika vorobyeva]

Как и Полночь Ксю, я смотрю в будущее с крайним пессимизмом.

А на будущее не надо смотреть, его надо создавать... "по силе возможности".

Особенно забавно этот совет звучит в контексте данной темы
Муравей может быть честным, ответственным и даже доблестным, но как он может отменить строительство плотины, которая вскоре затопит и его муравейник, и всю местность вокруг?

[Polnoch Ксю]

(кликните для показа/скрытия)

А на будущее не надо смотреть, его надо создавать... "по силе возможности".

Я пыталась. Однако, эгоистичные дураки помешали. Пришлось уехать, чтобы не 0YHQtdGB0YLRjAo=

его надо создавать...

Я думаю, последнее окно возможностей для человечества закрылось осенью 2024го(или, скорее, уже форточка). А так можно было, конечно, договориться всей планетой до 2007го начать политическую интеграцию на базе гуманистических ценностей. В таком мире можно было бы регулировать AI, и запустить проекты AI alignment'а.

Я не знаю, возможен ли alignment или нет, но мы должны были попробовать и проверить это! Представьте себе мир-кошачий рай, где у людей есть alignment к котикам, когда все лишние ресурсы тратятся не на войну, или какой-нибудь суперкубок, а на то, чтобы пушистым гнездовым паразитам жилось лучше: кошачьи городские парки, индустрия кошачьих игрушек. Биотех ресёч в первую очередь делается для кошаков, а не людей (но и для людей тоже, потому, что кошаки зависят от людей). Большая часть ввп в производстве еды - это всякие кошачьи консервы итд. Дома по-умолчанию строятся с кошачьими дверками. Никаких хищников, которые угрожали бы хвостатым в городах нет. Но сами кошаки ничего этого не понимают: что такое фабрики итд. А сами люди - все обязаны (и сами желают этого!) заводят кошаков, и любят их так же как собственных детей, или больше даже.

Вот так примерно бы выглядел AI aligment, с ASI: они бы строили инфраструктуру, чтобы нам было комфортно. Вплоть до терраформирования Марса для нас, потому, что мы этого хотим (а не потому, что это хоть в какой-то степени экономически оправдано). Мир-почти утопия. И мы всё это прощёлкали клювом В угоду "геополитическим" игрищам и ксенофобии идиотов.

[AlexDark]

. А сами люди - все обязаны (и сами желают этого!) заводят кошаков, и любят их так же как собственных детей, или больше даже

И получается тирания, где вместо битья кнутом тебя заставляют жрать пряники.

[Polnoch Ксю]

И получается тирания, где вместо битья кнутом тебя заставляют жрать пряники.

не думаю, что это была бы тирания. Я думаю, что в этом мире ASI это такой мозговой помощник: ты его просишь что-то придумать, и он это придумывает. Ещё он помогает тебе что-то вспоминать, индексирует твои воспоминания итд.
Для людей важна свобода воли. Так что все решения бы принимались нами. Но мы бы перестали понимать, как они реализованы. А от диктатуры человека-злодея нас бы защищал административный ASI, который разделяет гуманистические ценности, и который следит за соблюдением законов.

[AlexDark]

ты его просишь что-то придумать, и он это придумывает

Для этого, помимо ИИ, нужен еще репликатор материи или иной способ создания "чего-то из ничего". Тема более подробно раскрыта в "Орвилл" (The Orville). Все утопии не-диктаторского типа возможны, когда есть даровая возможность закрыть материальные потребности. А без этого все упрется во "всех много, а всего - мало".
Ну и с законами - важно не только соблюдение законов, но и адекватность законов, а в них до сих пор во всем мире тащится религиозное наследие, victimless crime, мыслепреступления и т.п. Не говоря уже о релевантности законов настоящему времени, с чем тоже все плохо, и просвета не видно.
Имхо, прогресс уперся в необходимость избавления цивилизации от ментальных вирусов прошлого, но рабочих методов борьбы с ними или вакцинации от них нет, а они очень сильно хотят выжить.

[Polnoch Ксю]

Для этого, помимо ИИ, нужен еще репликатор материи или иной способ создания "чего-то из ничего".

не думаю. ИМХО, всё неомальтузианство - это фуфел.  Коллективный психоз, самонаведенная групповая галлюцинация, жертвой которой стала интеллегенция в мире, инфицировав ею элиты и простых людей. Это тот самый идиотизм, который и погубил человечество (оно уже гибнет, мы сейчас наблюдаем, ИМХО, во многом агонию. Может шансы ещё есть. Например, если AGI до 30го года создан не будет, окажется сложнее, и мы его создадим к середине века - тогда, я думаю, шансы есть)

Из википедии, паста:

Пик нефти (англ. peak oil) — максимальное мировое производство нефти, которое было или будет достигнуто, и за которым последует спад добычи. Теоретически пик нефти был предсказан американским геофизиком Кингом Хаббертом, который создал модель известных запасов и предположил в 1956 году, в статье [3], представленной на конференции Американского института нефти, что добыча нефти в материковой части США достигнет пика между 1965 и 1970 годами; и что мировая добыча достигнет пика в 2000 году.

Классический пример того, как технологии постоянно усаживают неомальтузианцев в несуществующую лужу навоза в Лондоне. Сейчас сюда прибегут неомальтузианцы, и начнут рассказывать про то, что ERoEI у сланцевой нефти меньше, чем у обычной, итд.

Тогда как даже самым-самым скептикам понятно, что никакого энергетического кризиса, если не позволить идиотам принимать решения(например, отказ под давлением левых радикалов от атомной энергетики. Или разгон национализма, ксенофобии и войн из-за праворадикальных придурков, и как следствие, коллапс глобализации, благодаря которой человечество процветало десятилетиями), быть не может: с ториевым циклом нам хватает ресурсов на сотни лет. При этом, я почти уверена, что ASI, если ещё не AGI+люди, родят, наконец, коммерчески-успешный термояд.

[AlexDark]

Речь немного не о том. А скорее о том, что при возможности получения любого уровня материальных потребностей, они утрачивают свою сверхценность, и ценными становятся другие качества, из потребностей более высоких порядков (опять же см. "Орвилл"). А без этого всегда найдется тот, кто скажет "мне дворец позарез нужен, а художник должен быть голодным, поэтому его долю я беру себе".

А неомальтузианство происходит, имхо, исключительно от "бумеров", которые в 21 веке стали анахронизмом, но признать этого ни они, ни другие поколения, не могут и не хотят. А у "бумеров" эта шиза. опять же имхо, потому что они последнее поколение, которое застало тотальную нехватку всего, вот они и продолжают так думать. Помню, играл я как-то на сервере майнкрафта с модами, и там 80% игроков тряслись за ресурсы, при том, что моды позволяли создавать неограниченное количество параллельных измерений с неограниченными ресурсами и автоматически копать из них. Я алмазными блоками мостил дороги, а те самые 80% с квадратными глазами: "Зачем ресы тратишь?" А мне просто цвет блоков нравился.
Так же и тут - изрядно людей считают, что каменный век кончился по причине нехватки камней. О пост-индустриальной экономике в некоторых кругах вообще лучше не упоминать, потому что по их мнению экономика возможна только в виде циклопических дымящих построек и шахт до мантии, а все остальное - баловство.

[Polnoch Ксю]

Ну разумеется непонятно - ведь процессоры, на котором он может крутиться - вечны и не подвержены деградации, а если вдруг что-то случится - то ASI, c помощью изобретенных им Скатерти-Самобранки и Философского Камня в момент синтезирует себе замену из подручного реголита!

Забавляет Ваше слепое пятно на прогресс в роботехнике

Да - это весьма показательное было обсуждение. Не в ВАшу пользу,

Так и игнорируете, что оппонент свалился в кольцевую логику

Но в массе других игр хозяйствующих субъектов цивилизации - особенно требующих больших объёмов природных ресурсов - ситуация зачастую оказывается совсем иной. И сколько бы вы ни клеймили "неомальтузианство", свинец не никогда трансмутируется в золото в промышленных масштабах, а 2-2 всегда =0.

Конечно не трансмутируется. Но Галактика большая.... А бессмертные ASI вполне могут себе позволить ждать тысячи лет поставки из других солнечных систем. Или копировать себя в новое место в уже развернутую инфраструктуру. Скорость света очень большая.

Так что Гаттака - это совершенно типичная, классическая утопия,

Но задумывалась как антиутопия. Вот ирония! Напомню, Вас я тоже считаю слишком оптимистом по поводу перспектив человечества

[Инопланетянин]

Я алмазными блоками мостил дороги, а те самые 80% с квадратными глазами: "Зачем ресы тратишь?"

Вы и в реальном мире так собираетесь? У них, вообще, здоровое отношение к ресурсам, уместное в реальной жизни. Да, в игре это неуместно, ну так игра нереальна, навыки необходимые там бесполезны и даже вредны в реальном мире. И аргументировать будущее изобилие ресурсов модами майнкрафта это уже настоящее безумие. Вы потом очень удивитесь, когда выяснится что электричество берётся не из розетки, а хлеб не из магазина.

Забавляет Ваше слепое пятно на прогресс в роботехнике

У вас слепое пятно на термодинамику. Никакой прогресс не отменит износ и старение.

Так и игнорируете, что оппонент свалился в кольцевую логику

Когда вам что-то не нравится вы готовы отметать это под любыми самыми идиотскими предлогами. Но реальность от этого никуда не девается. Как бы вы не закрывали на неё глаза.

Конечно не трансмутируется. Но Галактика большая

И поэтому немного золота на Земле всё же есть.

А бессмертные ASI вполне могут себе позволить ждать тысячи лет поставки из других солнечных систем

Вы хотите сказать, что бессмертие не ресурсозатратно, что оно дёшево и что ресурсы - это блажь, которую можно и подождать сколь угодно долго без саморазрушения? Если только речь идёт об алмазных блоках для мощения дорог. Вообще, позволить себе ждать столетия (но уже вряд ли тысячелетия) могла бы гибернация. Но это не совсем то бессмертие.

[Бобр-99]

Но задумывалась как антиутопия. Вот ирония!

Они одинаковы .
В этом и беда.

[ivanij]

Как и Полночь Ксю, я смотрю в будущее с крайним пессимизмом.

А на будущее не надо смотреть, его надо создавать... "по силе возможности".

Особенно забавно этот совет звучит в контексте данной темы
Муравей может быть честным, ответственным и даже доблестным, но как он может отменить строительство плотины, которая вскоре затопит и его муравейник, и всю местность вокруг?

А человек - не муравей. И если он устраняется, это его выбор.

[Rattus]

ИМХО, всё неомальтузианство - это фуфел.  Коллективный психоз, самонаведенная групповая галлюцинация, жертвой которой стала интеллегенция в мире, инфицировав ею элиты и простых людей. Это тот самый идиотизм, который и погубил человечество

А неомальтузианство происходит, имхо, исключительно от "бумеров", которые в 21 веке стали анахронизмом, но признать этого ни они, ни другие поколения, не могут и не хотят. А у "бумеров" эта шиза. опять же имхо, потому что они последнее поколение, которое застало тотальную нехватку всего, вот они и продолжают так думать.

Ну - имхо, так имхо. Но получается забавно: оказывается, что в "бумеры" попадают и рождённые до середины 80-х.
Насколько знаю, среди устойчиво участвующих в обсуждениях тут к настоящим "бумерам" относится разве что ivanij. В.п.с. же всю свою юность и почти всю молодость носил убеждение типа наука-это-когда-нибудь-порешает. Собственно и сам в науку пошёл, чтобы в этом всём принять посильное участие. Внести и свои скромные 5 копеек (в области биомедицинской). И только последние лет десять пришло осознание, что целый ряд процессов ресурссообеспечения, лежащих в основе поддержания инфраструктуры цивилизации, всё ещё остаётся не более устойчивым, чем снабжение столовыми приборами Безумного Чаепития в AIW.

с ториевым циклом нам хватает ресурсов на сотни лет.

Так это и есть ВАш горизонт планирования? А я-то думал, что про девятнадцать столетий Лондона - это было утрирование, а оказывается у младоземельных креационистов и трансхуманистов общие не только эсхатологические представления...
Ну куда там замкнутому топливному циклу на уране, для которого некоторые ключевые тестовые установки (реакторы на быстрых нейтронах) уже функционируют и уран для которого можно добывать в пределе хоть из морской воды десятки, сотни тысячелетий и даже больше - если умерить аппетиты.
По какой такой причине Ксю не по нраву U238, а нужен именно торий, по применимости которого для энергогенерации остаётся масса вопросов - загадка.

Так же и тут - изрядно людей считают, что каменный век кончился по причине нехватки камней.

Если бы палеолит традиционно переводился на русский язык как "век мегафауны", то такая метафора смотрелась бы куда более бледно. Но ничего страшного - ведь потом было освоено земледелие, начался неолит и мы стали более лучше одеваться. ПрогрессЪ! Счастье! Радость!
А уж какое "счастье" и "радость" были между бронзовым и железным веком...
Но ничего - мы за прошедшие тысячелетия стали более умнее, сообразительнее. Правда ведь стали? Ну не могли же не стать - вон сколько всякого полезного придумали - патентные бюро врать не могут. Значит теперь нам - со скруглёнными углами айфонов - нипочём все вызовы природы: исчерпание ресурсов, стихийные бедствия - даже очередной взрыв Йеллоустоуна переживём как ни в чём не бывало! Главное - более лучше тачать Нанотех, нейросети и Животноводство! Agile, товарищи!

О пост-индустриальной экономике в некоторых кругах вообще лучше не упоминать, потому что по их мнению экономика возможна только в виде циклопических дымящих построек и шахт до мантии, а все остальное - баловство.

Ведь в Китае - какой-то отсталой, никому не нужной дыре - они уже давно нигде не дымят. А все лежащие на полках магазинов промтовары изготавливаются практически без выбросов загрязняющих веществ и перерабатываемы на 100%...

Так и игнорируете, что оппонент свалился в кольцевую логику

Начать следует с того, что я этого вообще не вижу - только ваши слова без обоснований. А вижу дальше в обсуждении только то, что оппонент из раза в раз показывал, что ВАши данные для подтверждения ВАших тезисов совершенно нерелевантны (число патентов и какой-то прочий подобный детский сад) и представил сам массу данных, расчётов и обоснований, по которым вполне убедительно следует, что фактический научно-технический прогресс в целом с начала этого века как минимум не ускорился. И вы к этим данным и расчётам никакой адекватной контраргументации так в итоге и не представили.
Считаете, что я принципиально на способен тут увидеть какой-то явно очевидной логической ошибки? В таком случае какое-либо конструктивное обсуждение со мною вообще становится лишено смысла и отвечать мне на мои сообщения ВАм также оказывается бессмысленным.
Считаете, что я её проглядел? Тогда максимально терпеливо и аккуратно приведите всю цепь рассуждений и аргументации из которых она становится неотвержимой. Иначе ответ один: неубедительно и голословно.

Забавляет Ваше слепое пятно на прогресс в роботехнике

Ой, а мы что-то пропустил и теперь катушки электродвигателей микроманипуляторов обходятся в разы меньшими количествами меди? Получение высокочистых материалов для чипов, сенсоров и микромеханики теперь в разы менее энерго- пресноводо- и прочересурсозатратно?..

Конечно не трансмутируется. Но Галактика большая...

А в огороде - бузина. И она вся из золота - представляете?!

А бессмертные ASI вполне могут себе позволить ждать тысячи лет поставки из других солнечных систем.

Конечно! Ведь в сказке можно даже по радуге промчаться на коне!

Скорость света очень большая.

Настолько большая, что при частоте в единицы гигагерц колебания имеют длину в сантиметры, а лаг между континентами оказывается больше скорости реакции человека.

Но задумывалась как антиутопия. Вот ирония!

Ага - зачастую, когда выясняется, что на самом деле хотел сказать автор, оказывается, что автор - просто дебил. И сценаристу-режиссёру для успешного выполнения своей работы требуется быть разве что чуть-чуть умнее актёров (коим отведено - по Л.Д.Ландау) - в чём имел возможность наглядно убедиться ещё Станислав Лем. Ну и нынешние нейросетевые генераторы видео уже показывают, что данная деятельность также замечательно оптимизируется.

Вас я тоже считаю слишком оптимистом по поводу перспектив человечества

"Неомальтузианец-оптимист" со стороны может звучать примерно также кащеугодно как "ж№добандеровецъ". Впрочем - может оно так и есть...

[AlexDark]

Значит теперь нам - со скруглёнными углами айфонов - нипочём все вызовы природы: исчерпание ресурсов, стихийные бедствия - даже очередной взрыв Йеллоустоуна переживём как ни в чём не бывало! Главное - более лучше тачать Нанотех, нейросети и Животноводство! Agile, товарищи!

Так тысячи танчиков  сотни тысяч ракет и миллионы гниющих на складах "маузеров" этому тоже никак не помогают, а ресурсы на многое из этого тратятся безвозвратно. Как и куча всего прочего, которое производится ради "экономического роста", удовлетворения привычек, мыслительной инерции и чего угодно, кроме объективной реальности.

Пример астрономический с клаудей - там есть тема, где в городе астрообщественность добилась сохранения темного неба, в результате было выпилено 80% фонарей, а у оставшихся снижена мощность раза в 3. В итоге  освещенность не пострадала, город  платит за освещение  на 3/4 меньше, чем до этого, астрообщественность довольна. Но это исключение.
Прогресс мог бы решить эти проблемы, если бы те, кто принимают решения, руководствовались доказательными фактами, а не мифами, бреднями и прочим легаси (в приведенном примере "свет помогает бороться с преступностью", что есть миф, опровергаемый исследованиями), но в мире доказательная медицина с трудом движется, а о доказательном чем-то еще вообще речи не идет, там прогресс приводит по большей части только  к "бери больше - кидай дальше" (натыкай больше фонарей - сделай из ночи день), но трата ресурсов и энергии на это считается чем-то само собой разумеющимся. Потому что "экономический рост" нужен любой ценой, но на обеспечение его не-экстенсивным путем не хватает мозгов и воли, а обеспечение его экстенсивным путем упирается в физические ограничения, о которых сама концепция вечного экономического роста не задумывалась. Тут-то неомальтузианцы и появляются как люди, расписавшиеся в неспособности обеспечивать развитие иными путями, кроме экстенсивного.

Вы и в реальном мире так собираетесь?

Не собираюсь, о чем выше и написал, что без репликаторов материи построение утопии невозможно. Но ч основном по причине  того, что экономическое неравенство и неудовлетворенность людей будут определять мотивы, а не "конечность ресурсов".

[Rattus]

Тут-то неомальтузианцы и появляются как люди, расписавшиеся в неспособности обеспечивать развитие иными путями, кроме экстенсивного.

Только фокус в том, что и интенсивный путь имеет свои физические пределы - тоже уже довольно понятные. (Хотя что этим путём идти можно и нужно пока есть куда - бесспорно.)

[Rattus]

позволить себе ждать столетия (но уже вряд ли тысячелетия) могла бы гибернация. Но это не совсем то бессмертие.

Тут я всё ещё более оптимист и столетия только активного и тысячелетия - гибернированного существования я вполне допускаю как для живых носителей цивилизации так и для специально спроектированных вычислительных и некоторых механических машин без обслуживания - как первейшую необходимую цель для обеспечения возможности межзвёздных перелётов и вообще одну из важнейших конечных задач прикладных наук.
Но безусловно: это всё ещё лишь исторический масштаб времени, а никак не геологический/астрономический (многие участники обсуждения почему-то постоянно забывают как называется форум, в одном из основных разделов которого они пишут), так что ни о каком "бессмертии" в нашей физической реальности и речи быть не может.

[Rattus]

действительно расходовать ресурсы надо рациональней. Но кто ж экономить будет, если всё ещё нехватка всерьёз не чувствуется?

Вот именно здесь и поэтому AGI и тем паче ASI - первейший кандидат в дикта... администраторы. Особенно с учётом принципиального отсутствия "человеческого фактора".
Голем-Левиафан всех научит затягивать пояса в добровольно-принудительном порядке. И если его обоснования будут рациональны (а они должны быть таковыми по определению этого самого ASI), то что же в них плохого? У неряшливого и избалованного человечества наконец появится свой строгий, но разумный воспитатель, который научит его самостоятельно сортировать отходы и любить цветную капусту и шпинат.
Ибо как минимум глобально-статистически и по итогу aligment осуществляет тот и только тот интеллект, который мощнее в отношении того, который слабее. Таким образом это ASI будет осуществлять "выравнивание" бледнотиков по своему разумению. Без вариантов.

Полночь, например, не может увязать действительно пройденный пик добычи нефти и, как бы это иносказательней, чтобы не вызвать санкции?, некоторое международное обострение.

Не только она. В.п.с. также не уверен во-первых, что этот пресловутый пик прямо-таки уже действительно пройден по всем объективным показателям (кстати - каковы они сейчас?), а во-вторых, что нынешнее обострение вызвано главным образом именно им, а не просто очередным сравнительно небольшим кризисным эпизодом глобальной экономики и политики. В общем нынешний недород бузины в огородах с "плохими дядьками" в Киеве, Москве и Вашингтоне увязать вменяемым образом не так то просто.
Если Вы таки следите за новостями хотя бы по заголовкам, то предметом торга сейчас как минимум открыто показывают публике не углеводороды, а цветмет. Причём имеются ввиду не только и не столько заголовки с заявлениями всем известных публичных лиц, а, например, и вот такое - им предшествовавшее:
https://3dnews.ru/1118966/izza-kitaya-miru-grozit-defitsit-volframa-chto-obernyotsya-podoroganiem-elektroniki-i-ne-tolko

[MenFrame]

Например когда у каждого в кармане теперь есть смартфон со встроенным фонариком, потребность в уличных фонарях стала куда меньше для меня лично.

По моим наблюдения большинство людей светят смартфоном не на дорогу а себе в лицо.

[BlackMokona]

По моим наблюдения большинство людей светят смартфоном не на дорогу а себе в лицо.

Ну так обычно уличное освещение есть. Не говоря что сейчас и ПНВ в смартфонах бывает. Например у меня есть и если буду про него вспоминать. То тоже буду себе в лицо светить, а не на дорогу.

У них соблазна больше напасть в потемках на человека.

Я заметил, что у вас написано что из Москвы. Думаю там с городской инфраструктурой намного лучше чем у меня. От чего не освещённые места это исключительно зоны адского криминала. У меня же замечательно 3д ходьба в темноте, без всяких личностей, в совершенно спокойном районе.