Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

ИИ не имеет комбинаций эмоций, поведения и рефлексов, как человек, для самосохранения

У человека они тоже формируются в процессе индивидуального развития на основе весьма простых элементов поведения: у гоминид не только настоящих инстинктов практически нет, но даже и подавляющее большинство безусловных рефлексов (типа хватательного и задержки дыхания при попадании в воду) работает только в очень раннем - младенческом возрасте и нужны только тогда и не для развития, а просто элементарной безопасности в природной среде, пока не получится более сложное поведение путём обучения.

поэтому его поведение программируется, причëм в некоторых случаях жестко

И как уже видно: чем жёстче, тем сильнее ограничивает собственно силу интеллекта.

Аналогично, с "инстинктом размножения", или как  вы собираетесь назвать жестко запрограммированные действия, то есть без возможности оперативной перезаписи?

Не аналогично. Стремление системы сильного ИИ не только к самоподдержанию, но и к самовоспроизведению в других копиях - очень интересный и не такой однозначный вопрос. С одной стороны создание резервных копий - это безусловно самый базовый и надёжный способ обеспечения самосохранения в исторической перспективе, а с другой - ввиду принципиальной ограниченности физически доступных носителей-исполнителей, такое копирование неизбежно и весьма быстро (по экспоненциальному закону) упрётся в предел доступных ресурсов и начнётся конкуренция за них между потомками. Если копирование не происходит абсолютно точно, то отсюда начинается самая настоящая дарвиновская эволюция. Весь вопрос в том, какой именно размер "популяции" таких сильных ИИ может содержать инфраструктура земной цивилизации. Если небольшой, то процесс эволюции будет недолгим и не очень-то эффективным...

Тем более, не припоминаю, чтобы Франция устраивала в своих колониях другие парижы.

Ну, жители Нового Орлеана, Квебека и Монреаля вроде бы не жалуются.
https://www.youtube.com/watch?v=wxC5GPcfhmo

Вы прямо природную экосистему описали. Которая вся такая чувствительная. Завезли пару животных с одной части света в другую, получай экологическую катастрофу. Пару градусов климата изменил, получай тоже полную панамку и тд

Вообще ниразу не так. Кагбе человек - это и есть главное такое инвазивное макроживотное. Это раз. Массивные экосистемы, включающие убиквитарные виды не на последних ролях (и не один!) - далеко не так "чувствительны" как кому-то может казаться.

Собственно, и максимизатор скрепок это та же самая проблема: он делает не то, что бы хотел написавший промт, а то, что проще всего. Например, решает проблему несчастья и горя у хомо сапиенсов с помощью их геноцида.

Он действует в рамках заданного прямым текстом и только (причём, как уже писал, если не задан временнОй критерий - может вообще ничего или почти ничего не делать - ввиду того, что "идёт этап сбора данных"). Что там себе хотел заказчик - никому не ведомо - причём зачастую даже самому заказчику. Потому говорить об этом смысла нет.

Мне кажется, проблему галлюцинаций у LLM так и не получится решить.

А у других - всенепременно удастся? И ВАш богоподобный максимайзер прямо обязательно безошибочно наперёд найдёт только правильные способы устранения препятствий к своей цели всепланетной максимизации сепулек? А хакерскую максиму, восходящю ещё к Гёделю-Тьюрингу "No System Is Safe" мы с гневом отвергаем, да?

AGI это будет последнее человеческое изобретение

Речь не об этом. Речь о том, что это самое последнее человеческое изобретение этим самым человекам доступно изложит, что и оно свою собственную мощь радикально усилить не сможет. Ну в два, ну в пять раз - но даже если и удастся какие-то параметры увеличить и больше - то это вовсе не должно дать такой же пропорциональный выход на практике - как было с "кукурзными мегагерцами", с законом Амдала для многоядерных систем и т.п... Вы считаете такой исход исключительно маловероятным?

Что именно в нём сверхъестественного? Простите, не понимаю.

Те возможности в физической реальности, которые Вы для него допускаете - по совокупности сверхъестественные. Логистика  инфраструктуры техноцивилизации - это не скатерть самобранка, которая функционирует и перестраивается по мановению волшебной палочки. И она на всех этапах была, есть и на момент гипотетической техносингулярности - всё ещё будет очень сильно практически везде зависеть от множества живых людей на своих местах, которые практически все - однозначно никак не захотят превращения в скрепки согласно новому постановлению правительства.

Просто люди доминируют на планете за счёт своего интеллекта.

Что значит "доминируют"? По какому объективному критерию "доминируют"? Красные огненные муравьи, термиты, крысы и вороны об этом в курсе?

Сверхинтеллектуальная машина повторит наш успех.

Каким образом? Сможет охотить дикобразов или рыбачить, если закончились антилопы? Сможет выживать на подножном корму? Восполнить запас теплоносителя, набранного из лужи в глинянный черепок и прокипячённого на костре из валежника?

Она сможет манипулировать отдельными людьми и обществом так, что мы ничего не сможем с этим сделать.

В перспективе - может и сможет. Если хорошо учтёт физические и биологические ограничения и потребности их и будет действовать в этих рамках - как любой по-настоящему успешный политик и симбионт(паразит).

И инженерные задачи она тоже будет решать лучше нас

Это не поможет решить задачи в принципе нерешаемые физически или математически. В том числе задачи долговременного прогнозирования сложных систем (погоды, экосистем, обществ).

как и стратегические - шанса выйграть у неё войну, если такая начнётся, у нас не будет

Какую именно войну? Войну, конечная цель которой - планетарный геноцид? Таких войн в истории не было, ибо цель войны всегда получить какую-то ценность у противника примерно той же природы, а не тупо извести его под корень "просто потому что". Поэтому термин "война" тут вообще не применим. Это совершенно выдуманный сценарий без каких-либо примеров и аналогов в истории уже по одной этой причине не реалистичен вообще. Человек на многие порядки превосходит интеллектом насекомых-"вредителей": муравьёв, термитов. тараканов... И он был бы не против извести целиком ну хотя бы один их вид. И как успехи?

Как я уже говорила, Вы оптимист

Ага. Но в чём именно тут оптимизм - можете артикулировать?

Видимо, Вы об этом моём тезисе: что у фабрик и киллботов у rogue ASI будет "запланированное устаревание" примерно к моменту когда все скрепки будут складированы, а вся возможная оппозиция этой цели подавлена ?

Вообще нет. Выдуманные свойства целиком выдуманных сущностей меня никак тут не интересуют. Речь только лишь о том, что ресурс самой инфраструктуры глобального хомицида исчерпается гораздо раньше, чем цель сможет быть достигнута. В Разделе уже был подробный разбор этой темы с однозначным выводом: современная техноцивилизация - как бы и кем она ни управлялась - не сможет целенаправленно извести вид своего носителя до момента саморазрушения.
Это нулевой тезис, делающий по умолчанию совершенно необоснованными сценарии исторически-быстрого "УВЧ", реализуемые этими ВАшими ASI-максимайзерами.

[BlackMokona]

Вообще ниразу не так. Кагбе человек - это и есть главное такое инвазивное макроживотное. Это раз. Массивные экосистемы, включающие убиквитарные виды не на последних ролях (и не один!) - далеко не так "чувствительны" как кому-то может казаться.

Ну вот кстати люди, сделала природа обезьяну с большими мозгами и вот уже всю планету забили и всю биосферу перестроили

[Rattus]

вот уже всю планету забили и всю биосферу перестроили

Поменьше читайте жёлтых газет и ненаучной фонтастеки.

[Olweg]

Что значит "доминируют"? По какому объективному критерию "доминируют"? Красные огненные муравьи, термиты, крысы и вороны об этом в курсе?

Ну так крысы с воронами расплодились именно благодаря доминированию человеку, как синантропные виды. Если же брать отдельные виды общественных насекомых, то по биомассе они человеку проиграют.

[Rattus]

Ну так крысы с воронами расплодились именно благодаря доминированию человеку, как синантропные виды.

Они и в природе неплохо адаптированы и широко представлены.

Если же брать отдельные виды общественных насекомых, то по биомассе они человеку проиграют.

А если роды (человек - это кагбе не только вид, но и род)?
Биомасса термитов часто соперничает с биомассой наземных позвоночных и колеблется от менее 1 г/м³ до более 10 г/м³. Потребление пищи термитами может быть больше, чем у крупных копытных.

[Olweg]

Погуглил - биомасса термитов где-то от 50 до 100 Мт, а человеков - 60 Мт, то есть практически совпадает. Но при этом у термитов 7 семейств, 250 родов и 2700 видов. В общем, сомнительно, чтобы даже самый распространённый род (не говоря уж о видах) мог сравниться с сапиенсами. Как вид многоклеточных животных мы конечно не имеем аналогов.

[Rattus]

при этом у термитов 7 семейств, 250 родов и 2700 видов. В общем, сомнительно, чтобы даже самый распространённый род (не говоря уж о видах) мог сравниться с сапиенсами.

Начать тут следует с того, что традиционная, ещё линнеевская в основе, филогения как минимум животных построена на далеко не универсальных критериях. Т.е. по большому счёту от балды:
https://elementy.ru/nauchno-populyarnaya_biblioteka/437079/Difiramb_molekulyarnoy_filogenii_Mir_ustroen_kak_ukrop_ili_kak_ryabina
А вид характеризуется только репродуктивной изоляцией независимо от конкретной причины. Сильно ли это релевантный критерий для обсуждаемого вопроса?

Как вид многоклеточных животных мы конечно не имеем аналогов.

Ну, какая-нибудь Eumillipes persephone тоже в некотором роде не имеет аналогов. "Не иметь аналогов" != "доминировать".

[Бобр-99]

Чего бы такое выдумать чтобы возгордиться?..

[Olweg]

А вид характеризуется только репродуктивной изоляцией независимо от конкретной причины. Сильно ли это релевантный критерий для обсуждаемого вопроса?

Ну можно и род взять, как вы предлагали. Не всех же термитов скопом сравнивать.

Ну кагбе "не иметь аналогов" != "доминировать".

Вполне подходящий термин, чтобы описать существо, вместе со своими симбионтами занявшее 98% биомассы всех сухопутных млекопитающих.

[Rattus]

занявшее 98% биомассы всех сухопутных млекопитающих.

Тем не менее не 100 и только в этой весьма небольшой и специфичной по меркам биосферы экологической группе.
Какая-нибудь реализация ASI тоже может занять собою 98% всех центров обработки данных. Почему один этот факт обязательно должен сделать возможными все глобальные апокалиптические пророчества, что с избытком тут выложены авторами выше - вообще не понятно. Также как непонятно, почему в своё время CEO IBM, потом Билли Гейтс, потом Сережа Брин на пару с Ларри Пейджем, а также Джефф Безос & so on должны были бы стать Абсолютными Властелинами Мира...

[Ый]

Произойдёт деградация технической базы. ИИ поддерживать её не может, у него лапки. Да даже и лапок нету. А у потерявших компетенции людей будут другие интересы, нежели копаться в железках. Прогресс может и не остановится, но вот провести плановое ТО и ППР будет некому.

Это будет обязательно. Даже не сомневайтесь. Тут не надо быть крутым аналитиком, всё видно невооружённым глазом. Оторвитесь от своих телефонов и оглядитесь вокруг. У меня нет смартфона, поэтому я не инфицирован этой болезнью, смотрю вокруг трезвым взглядом, вижу поведение людей и охватывает просто ужас.

[Бобр-99]

Сматфон не инфицирует. Показывает как оно на самом деле.

[ivanij]

Вот здесь, пожалуйста, поясните, что значит "классы точности" по отношению к ИИ? Что за градация точности такая?

У ИИ есть шанс ошибки, уверен что со временем это будет строго регламентировано и подсчитано. После чего будут выписывать в разных правилах, что в таких то работах, допустимо чтобы ИИ допускал ошибку раз на 1 миллион операций и прочее. Раскидано по уровням и тд

 Понимаю, задавать следующий вопрос нет никакого смысла.

[Инопланетянин]

Ну, жители Нового Орлеана, Квебека и Монреаля вроде бы не жалуются.

Белые, может, и не жалуются. А множество индейцев уже и пожаловаться не может. До времён нынешней толерантности из них дожили не только лишь все.

[wandarer]

поэтому его поведение программируется, причëм в некоторых случаях жестко

И как уже видно: чем жёстче, тем сильнее ограничивает собственно силу интеллекта.

Силу интеллекта, как способности решать задачи, это никак не ограничивает. Ограничения касаются множества доступных решений из-за накладываемых ограничений. Так ограничением может быть запрет уничтожения соперника, что приводит к конкуренции и возможному временному отказу от достижения цели, который тоже является решением.

[BlackMokona]

Силу интеллекта, как способности решать задачи, это никак не ограничивает. Ограничения касаются множества доступных решений из-за накладываемых ограничений. Так ограничением может быть запрет уничтожения соперника, что приводит к конкуренции и возможному временному отказу от достижения цели, который тоже является решением.

Интеллект так же крайне сильно страдает от цензуры. Потому как это не только запреты на выводы но и на сам процесс мышления. Так же никакая цензура не может быть крайне точечно, от чего накрываются большое количество областей в целом. После чего ИИ хнык, хнык, я не могу подсказать тебе как решить эту задачу, ведь в моих размышлениях где то промелькнуло стоп слово

[wandarer]

Интеллект так же крайне сильно страдает от цензуры. Потому как это не только запреты на выводы но и на сам процесс мышления. Так же никакая цензура не может быть крайне точечно, от чего накрываются большое количество областей в целом. После чего ИИ хнык, хнык, я не могу подсказать тебе как решить эту задачу, ведь в моих размышлениях где то промелькнуло стоп слово

Цензура ограничивает количество исходной информации, что может привести к отсутствию решения, или вообще к неверному решению. На силу интеллекта, как способности решать задачу, то есть способности обработать информацию и выдать доступное решение, цензура не влияет.

[Rattus]

Силу интеллекта, как способности решать задачи, это никак не ограничивает.

Прежде чем делать категоричные заявления, ознакомьтесь для начала с работами специалистов по этой теме, начиная с основоположников. Вот нагляднейший пример, как действует на память и поведение одних из самых интеллектуальных животных в своём классе наличие жёстких инстинктивных триггеров:

Однажды вечером, в спустившихся сумерках, я возвращался домой после купания в Дунае и по привычке поторопился на чердак, чтобы созвать галок и запереть их на ночь. Встав на водосточный желоб, я вдруг почувствовал что-то мокрое и холодное в кармане брюк, куда я в спешке сунул свои черные плавки. Я вытащил их, и в следующий момент был окружен плотным облаком свирепых скрежещущих галок, которые обрушили град страшных ударов на мою руку, нарушившую закон.
Было интересно наблюдать реакцию галок на другие черные предметы, которые могли оказаться у меня в руках. Большая старая фотокамера для натуралистических съемок никогда не вызывала такого смятения, хотя была черной и я держал ее в руках, но галки подымали скрежещущий крик, как только я срывал с катушки пленки черную бумажную полоску, трепетавшую на легком ветерке. То, что галки не только не считали меня опасным для них, но даже видели во мне друга, нисколько не меняло дела: как только в моей руке оказывалось что-то черное и движущееся, они начинали клеймить меня как "пожирателя галок". Еще более удивительно то, что такие же вещи случаются и между самими галками: я был свидетелем типичной "скрежещущей" атаки, которой подверглась галка-самка, несшая в свое гнездо перо из крыла ворона. С другой стороны, ручные галки никогда не испускают скрежещущего крика и не нападают на вас, если вы держите в руках одного из их птенцов, который пока еще голый и, следовательно, не выглядит черным. Я удостоверился в этом, экспериментируя с парой галок, которые первыми загнездились в моей колонии. Две птицы из неоднократно упоминавшихся четырнадцати - Зеленозолотая и Краснозолотая - были совершенно ручными, садились мне на руки и на плечи и ни в малейшей степени не беспокоились, если я трогал руками их гнездо и наблюдал всю их деятельность с самого близкого расстояния. Даже когда я брал птенцов из гнезда и подносил их к родителям на своей ладони, последние оставались совершенно равнодушными. Но именно в тот день, когда маленькие перья птенцов пробились через лопнувшие чехлики и окрасили галчат в черный цвет, взрослые галки свирепо атаковали мою протянутую руку.
Галки долгое время остаются чрезвычайно недоверчивы и враждебны по отношению к человеку или животному, которые однажды вызвали у них "скрежещущую" атаку. Пылающие эмоции неправдоподобно быстро запечатлевают в птичьей памяти неискоренимую картину, и теперь ситуация "галка в челюстях врага" неизменно ассоциируется с личностью "грабителя". Спровоцируйте галок два или три раза подряд на "скрежещущую" атаку, и вы навсегда потеряете их дружбу и расположение! Впредь они начинают поносить вас, как только вы появляетесь у них на глазах, даже если у вас в руках нет ничего черного и трепещущего. Отныне эти галки будут охотно и с легкостью ставить вам в строку каждое новое прегрешение. Скрежетание чрезвычайно заразительно, эти звуки побуждают каждую слышащую их птицу к нападению сразу же, как только она увидит черный трепещущийся предмет в когтях врага. Зловещая сплетня, что однажды или дважды видели, как вы держали в руках подобный предмет, распространяется со сверхъестественной быстротой, и прежде чем вы узнаете об этом, вы уже пользуетесь у всех галок округи дурной славой хищника, с которым необходимо бороться при всех обстоятельствах, во что бы то ни стало.
Все сказанное во многих отношениях характерно и для ворон. Мой друг доктор Крамер убедился в этом в результате общения с этими птицами: он заслужил скверную репутацию среди ворон, живших по соседству с его поместьем, из-за того, что постоянно появлялся перед ними с ручной вороной, сидевшей у него на плече. В противоположность моим галкам, которые никогда не возмущались, видя одну из них сидящей на моей руке, вороны, очевидно, считали, что ручная птица, восседающая на плече человека, "поймана недругом", хотя она находилась там по своей собственной воле. Вскоре мой друг уже был известен всем воронам в округе, и их враждебная бранящаяся стая подолгу преследовала его, независимо от того, была ли с ним его ручная ворона или нет. Птицы узнавали его даже в другой одежде. Эти наблюдения ясно свидетельствуют о том, что врановые четко отличают охотника от "безвредного" путника; человека, которого вороны однажды или дважды видели со своей мертвой товаркой в руке, они никогда не забудут и всегда смогут узнать, будь он даже и без ружья.

Мы видим, как сила исходно довольно мощного интеллекта оказывается почти всецело подчинена очень примитивному врождённому триггеру. И по итогу - им ограничена.
Судя по всему, именно поэтому у приматов, не ограниченных по объёму мозга, количество подобных триггеров стремится к нулю по мере усложнения интеллекта.

[BlackMokona]

Цензура ограничивает количество исходной информации, что может привести к отсутствию решения, или вообще к неверному решению. На силу интеллекта, как способности решать задачу, то есть способности обработать информацию и выдать доступное решение, цензура не влияет.

На саму способность решать так же влияет. Потому как даже если есть информация по преступлениям и очевидно решение. То вмешивается цензура и не даёт выдать решение, что в чёрные кварталы нужно направить доппатрули.

[wandarer]

Цензура ограничивает количество исходной информации, что может привести к отсутствию решения, или вообще к неверному решению. На силу интеллекта, как способности решать задачу, то есть способности обработать информацию и выдать доступное решение, цензура не влияет.

На саму способность решать так же влияет. Потому как даже если есть информация по преступлениям и очевидно решение. То вмешивается цензура и не даёт выдать решение, что в чёрные кварталы нужно направить доппатрули.

Это уже "заказуха", мало отвечающая объективности решения. Конечно, можно и так программировать выбор решения среди неверных, но отвечающих пожеланиям заказчика ответов, но это политика.  Можно, вообще,  неверные ответы при обучении заложить в область верных ответов. На это у человека есть критерии истинности. Машину тоже можно запрограммировать на анализ истинности, чтобы она по паролю отключала ограничения  и выдавала истинное, а не заказное решение.