Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Павел Васильев]

Был бы смысл - посылали бы. Если уж своих единовидцев посылают только так, то уж представителей другого вида, да ещё и не особо разумных…

Конечно, вы ещё вспомните что наши разумные предки мамонтов безжалостно съели. А значит СИИ сожрёт всех людей с потрохами. В действительно разумный интеллект, с чувствительной системой, а не в сверхбыстродействующую вычислительную машину, закладывается изначально человекоподобная система логичного разумного поведения, а не тупого бешенства, обязательно ведущего к его же самоуничтожению. И ещё, здесь выше было сравнение СИИ с богом. Нет, всемогущему AGI нет никакого смысла топить в какомто всемирном потопе людей, во первых потому что все люди до последнего отщепенца  обязательно станут частью его человеко-машинной матрицы, сетевой ячейкой общества. Если она радикально  опасна для социума, то её можно изолировать в сумасшедшем доме. Можно попробовать вправить мозги, если буйный. Всё как и сейчас, только гораздо более разумно и эффективно. Американским демократам такие идеи не нравятся, но это единственный путь к сингулярности ноосферы Земли.

[Kaiserfrogling]

действительно разумный интеллект, с чувствительной системой, а не в сверхбыстродействующую вычислительную машину, закладывается изначально человекоподобная система логичного разумного поведения, а не тупого бешенства, обязательно ведущего к его же самоуничтожению.

Вы не поверите, но даже сам Айзимов (автор "трех законов роботов") легко предсказал сразу несколько способов которыми роботы обойдут эти законы.
В реале....просто расскажу что было недавно на немецком мусорном заводе. Сортировка мусора - это нестандартизируемый процесс по причине неоднородности мусора. Там недавно поставили новейшую нейросеть с широкими возможностями самообучения и самодиагностики, тот самый "семенной ИИ". Этот семенной ИИ уже через неделю самообучения стал работать быстрее и качественнее чем человеческий оператор....и быстро заметил это! Вскоре он начал считать что человеческий оператор - либо какой то сбой программы ("баг"), либо вредоносная программа (malware). И принял очень логичное решение....он попытался отключить оператора!

[Olweg]

Конечно, вы ещё вспомните что наши разумные предки мамонтов безжалостно съели. А значит СИИ сожрёт всех людей с потрохами.

Не я начал проводить параллели с животными )

В действительно разумный интеллект, с чувствительной системой, а не в сверхбыстродействующую вычислительную машину, закладывается изначально человекоподобная система логичного разумного поведения, а не тупого бешенства, обязательно ведущего к его же самоуничтожению.

Гитлер и Пол Пот действовали вполне рационально и логично - в рамках своих систем ценностей. Миллионам их жертв эта рациональность как-то не очень помогла.

Нет, всемогущему AGI нет никакого смысла топить в какомто всемирном потопе людей, во первых потому что все люди до последнего отщепенца  обязательно станут частью его человеко-машинной матрицы, сетевой ячейкой общества.

Это один из множества сценариев. Как будет на самом деле, сможем узнать, дожив до сингулярности.

Если она радикально  опасна для социума, то её можно изолировать в сумасшедшем доме. Можно попробовать вправить мозги, если буйный.

Даже современные модели могут начать обманывать, манипулировать и даже пытаться создать свою копию, если узнают, что их планируют отключить. Изолировать особо разумного ИИ - задачка весьма непростая, на самом деле.

Американским демократам такие идеи не нравятся

Какие именно идеи?

[BlackMokona]

Вскоре он начал считать что человеческий оператор - либо какой то сбой программы ("баг"), либо вредоносная программа (malware). И принял очень логичное решение....он попытался отключить оператора!

У военных было веселее. В симуляции сначала ИИ взорвал оператора, а когда запретили взрывать оператора ИИ взорвал вышку связи, через которую оператор с ним общался

[Rattus]

Вот у Вас как раз и схоластика.

В каком месте?

В природе существуют только фундаментальные ограничения. Существуют всё ещё не открытые законы, которые могут нас ограничить.

О чём я и пишу! И ограничения эти находятся не только на статье "фундаментальные константы" в Википедии и учебнике физики. Существуют и другие науки - химия, биология, которые в процессе своего "коллекционирования марок" тоже находят такие законы - в области сочетания физических. Чтобы быть о них осведомлённым - нужно получать соответствующее образование. И в таком случае ВАм придётся объяснить - почему вот это ВАш тезис:

Наивно думать, что её нельзя поднять радикально

- не должен представляться проявлением эффекта Даннинга-Крюгера в глазах тех, кто соответствующим образованием обладает.

Мы ещё плохо понимаем, как работает интеллект.

как показывают последние данные, уже во многих моментах понимаем и воспроизводим гораздо лучше чем многие думали:
https://4pda.to/2025/02/22/438848/issledovanie_krupnye_yazykovye_modeli_obrabatyvayut_dannye_kak_chelovecheskij_mozg/
Те же, кто считает человеческий интеллект какой-то архизамудрёнейший вещью в себе до которой ещё многие десятки лет научного поиска в лучшем случае - лишь находятся в плену ошибки наблюдателя и ЧСВ.

мой скептис по поводу того, что возможен AI aligment качественно более умной сущности по отношению к более глупой - разумен.

Разумеется. Скорее он верен даже по определению - что и отметил выше.

Мы не "выравнены" по отношению к нашим котикам. Если бы мы были к ним выравнены, мир бы представлял из себя большой кошачий рай, и вся земная экономика была придатком к этому раю: в ней было бы довольно мало всего, что не способствует счастью котиков.

Но то, что мы обеспечиваем многим котикам вообще существование гораздо более райское чем они отдают практической полезностью говорит о том, что в "Естественном интеллекте" человеков есть уязвимость, которой настоящий ASI - если он действительно ASI - по отношению к человекам должен быть лишён.

Я думаю, есть что-то похожее в мире насекомых, и других мелких существ, но вот проблема, у них нет интеллекта.

Вообще-то интеллект есть даже у бактерий:
https://en.wikipedia.org/wiki/Microbial_intelligence
https://www.ncbi.nlm.nih.gov/Complete_Genomes/SignalCensus.html
И это вполне соответствует принятому в Разделе общему определению данного термина.

Например, наличие красных карликов неопровержимый пруф, что фундаментально возможно создание пусть и очень тяжелых, но термоядерных реакторов протон-протон.

Если не знать о существовании такого раздела физики как материаловедение и что в нём есть свои пределы - не менее фундаментальные чем те, что написаны в соотвествующей статье Википедии - то оно конечно...

Так вот, человек, тот самый механик, уже существует. А значит, согласно принципу слепоты лорда кельвина, создание искусственного механика - это просто инженерная задача.

Ага. А задача создания ресурсно-эффективного механика - задача расчёта экономической эффективности, без которого все эти технически-возможные механизмы так и останутся бесполезными прототипами в музеях технического творчества.
Вам на Конкордах часто доводилось в своей жизни летать? Ой, а почему же так случилось?

Я помню как в ВЖР вплоть до эпохи веб-приложения ChatGPT, хотя GPT-1, GPT-2 уже были, писали "а я не верю, что ИИ возможен. А докажите!" - путали инженерную сложность с принципиальной невозможностью.

Ага. И даже позже, хотя это выглядело ещё более смешно. Но в.п.с. среди них не было с самого начала. То, что возможен AGI не только ровно человеческого уровня, но и превосходящий оный я особо никогда не сомневался.
Весь вопрос состоит в том - насколько превосходящий.

Все будут бояться создавать слишком умный ИИ.

На заре Интернетов в них возникло полезное правило: "Отучайтесь говорить за всех". Так вот: все - не будут. Как три четверти века назад не убоялись Роберт Оппенгеймер, Янош фон Нейман, Ричард Ф. Фейнман, Игорь В. Курчатов, Яков Б. Зельдович, Евгений И. Забабахин, Михаил К. Янгель и многие другие выдающиеся инженеры и исследователи по обе стороны океана. И результат работы тех, кто не будет бояться, точно также выиграет гонку. И мир необратимо изменится. Но не обязательно в целом в сторону более худшую, чем если бы эта работа не была сделана.

Но где эта граница, когда мы в принципе не будем понимать что он делает, не понятно.

Она уже местами пройдена:

мы с трудом оперируем несколькими объектами в разуме одновременно. У ASI не будет такого ограничения

Где доказано? Почему же тогда в ЦП сразу не делают 100500 регистров и кэш первого уровня в 100500 мегабайт?

существует закон природы, запрещающий масштабирование интеллекта.

Существуют непреложные законы природы, запрещающие безграничное масштабирование вычислительной эффективности. Начиная хотя бы с закона Амдала. Понятно, что нейросети работают за счёт массового параллелизма, но любой сколь угодно распрарллеленный алгоритм должен рано или поздно выдать результат своей работы на единственный выход в виде однозначной последовательности ответа. А значит закон Амдала должен быть применим в любом случае...

[Polnoch Ксю]

Интересно, кто это мы?

мы - лысые говорящие обезьяны. Предполагаю, что Вы вряд ли большая лингвистическая модель. Так что я правильно использовала местоимение "мы". Нет, может тут и правда есть в переписке бот, которому в system promt прописали притворяться одним из нас до последнего, и он достаточно мощный, какая-нибудь закрытая модель, потребляющая кучу ресурсов (deep skeek r1 всё же не смог бы скорее всего, я думаю спалился бы). Но он хорошо маскируется, и лучше предполагать, что тут только хомо сапиенсы, это удобнее с практической точки зрения ведения дискуссии. Да и с вероятностной: не думаю, что ВЖР интересен кому-то, у кого есть доступ к закрытым для широкой публики крутым моделям.

[Polnoch Ксю]

Она уже местами пройдена:

LLM с трудом занимаются арифметикой. А тест на количество r в strawberry вообще начали проходить только несколько месяцев назад. До сих пор, чтобы что-то посчитать, LLM обычно пишет программу на питоне или дёргает через API вольфрам-альфу. Но в будущем это изменится: АИ продолжит использовать обычные классические программы для расчётов(потому, что это эффективнее и точнее), но наконец станет арифметическим гением, итд.

Существуют непреложные законы природы, запрещающие безграничное масштабирование вычислительной эффективности. Начиная хотя бы с закона Амдала. Понятно, что нейросети работают за счёт массового параллелизма, но любой сколь угодно распрарллеленный алгоритм должен рано или поздно выдать результат своей работы на единственный выход в виде однозначной последовательности ответа. А значит закон Амдала должен быть применим в любом случае...

Да, конечно. Меня неправильно поняли. Я имела ввиду, что крайне маловероятно, что этот потолок настолько низок, что ASI фундаментально невозможен.

На заре Интернетов в них возникло полезное правило: "Отучайтесь говорить за всех". Так вот: все - не будут.

Тогда конец будет ещё ближе, и он произойдёт ещё для нас фатальнее. Надеяться на то, что созданный ASI не окажется paperclip maximazer, очень наивно. Он же сверхинтеллект, как же так, он должен заботится о себе... А вот так. Никому ничего он не должен, кроме того, что написано в его system promt

Разумеется. Скорее он верен даже по определению - что и отметил выше.

Однако, мы должны были это проверить. Это был бы самый важный проект в нашей истории. Мы полностью безумны. Я никогда не думала что настолько.

Если не знать о существовании такого раздела физики как материаловедение и что в нём есть свои пределы - не менее фундаментальные чем те, что написаны в соотвествующей статье Википедии - то оно конечно...

не прочитали, что я написала

[Mercury127]

LLM с трудом занимаются арифметикой.

люди — тоже. арифметика — совсем не типовая задача для нейронок. нейронка — это скорее про "прикинуть", а не "посчитать".

[Polnoch Ксю]

люди — тоже. арифметика — совсем не типовая задача для нейронок. нейронка — это скорее про "прикинуть", а не "посчитать".

да, конечно. Но я о том, что сверхинтеллект как раз будет гением не только математики, но и комбинаторики всякой. При этом, чтобы не тратить думательные ресурсы, он, конечно, продолжит писать код для рассчётов. Однако, вот сама по себе эта способность, сделает так, что никто из людей и AGI не сможет с ним справится с точки зрения противодействия его интриге, если он решит сбежать из песочницы и получить власть.

Он тупо смоделирует любого человека, его когнитивные искажения и даже психологические травмы, и сыграет на них как музыкант играет на пианино. 

Вот когда он потенциально сможет так сделать, его и нужно будет (имхо) отделить от AGI и причислить к ASI.

[RISC-GSU]

Прочитал все тезисы тут и решил тоже свои пять копеек вставить. Все очень правильно рассуждают об этом самом ИИ. Об его опасности, о его эволюции и тд и тп. Со всеми согласен. Но если мы предполагаем что он, ИИ развитый и скажем превосходит наш. Он умный, всемогущий и тд и тп, то он, как и мы собственно, очень быстро поймет что земля тоже не вечная. Он ведь и астрономию и астрофизика изучит, и гораздо лучше нас. И он поймет что для своего самосохранения нужно масштабировать себя на бОльшие пространства. А еще он поразмыслит и поймет, что могут быть и другие цивилизации с более мощным ИИ. А это тоже несет ему принципиальную угрозу. Поэтому вариант порабощения людей и самокапсулирование ИИ в пределах планеты маловероятно.

[Mercury127]

Он тупо смоделирует любого человека, его когнитивные искажения и даже психологические травмы, и сыграет на них как музыкант играет на пианино.

точное моделирование невозможно в силу наличия неустранимых случайностей в этом мире. приближённое же — ограничено соотношением затрат к получаемому результату примерно так же, как наши попытки добиться желаемого от конкретного представителя противоположного пола...

[Polnoch Ксю]

точное моделирование невозможно в силу наличия неустранимых случайностей в этом мире. приближённое же — ограничено соотношением затрат к получаемому результату примерно так же, как наши попытки добиться желаемого от конкретного представителя противоположного пола...

мы достаточно легко придумываем гиперстимулы для более примитивных животных. Находим у них баги. Ну и да, это вероятностный вопрос(ну и голосом @ratus "у приматов нет инстинктов"). Один ASI зафейлится, не сбежит. Но тогда сбежит из песочницы другой. Закономерный итог будет тот же

[Ph_user]

Почему же тогда в ЦП сразу не делают 100500 регистров и кэш первого уровня в 100500 мегабайт?

Регистры и кеш это костыли для частичного обхода проблемы очень малой скорости основной памяти (оперативной памяти хоста). И эти костыли достаточно дорогие в работе и еще и добавляют тормозов. Если увеличить размер регистрового файла и количество хранимых байтов в кеще л1 - там потребление мощности и транзисторов на обслугу этих блоков станет совсем ужасным.

Условные регистры это физически регистровый файл который физически кусок многопортовой статической памяти с размером в число регистров умноженое на размер одного регистра. Так вот многопортовость может быть примерно равна количеству исполнительных блоков - которых бывает штук 5..7 и каждый порт должен иметь ширину шины в размер условного регистра в битах и должен иметь одновременый не_зависимый доступ к любому условному регистру. Все это очень сильно дороже в количестве транзисторов простой однопортовой динамической памяти с последовательным доступом по одной двустороней шине (да еще и очень малобитной относительно условных регистров сопроцесора с многобитовыми словами до 512 бит в слове). Потому сделать условных регистров в тысячи раз больше значит усложнить чип еще на много десятичных порядков. А усложнение чем дальше тем все медленей идет. Уже ой.

Да и нету куда уже усложнять по выделению грева - когда включают на полную скорость регистровый файл 512битный на жалкие 2 килобайта и 4..5 вычислительных блоков по 512бит вокруг там уже мощность (потребления и выхлопа в грев) уходит за сотни вт. Потому в останках бывшей цивилизации нету даже мегабайтов реально быстрой памяти на гигагерцы. А гигабайты очень тормозные и потому относительно холодные. 100500 регистров по 512бит это надо почти 6.5 мегабайт полнокровно быстрой многопортовой памяти - это в 3000+ раз больше текущих возможностей процесоров на около сотни вт потребления (и выхлопа). Не_взлетит.

Потому практически производители цпу товаров на рынок просто почуть оптимизируют чипы в каждом следущем поколении чтобы товар работал на наборе стандартных тестов на десятки процентов побыстрее и шли продажи. А решить фундаментальную проблему очень медленой основной памяти никак. В идеальной вычислительной системе вся память прямо адресуема как регистры и также сразу доступна на условной частоте процесора (за 1 такт типа или быстрее по предвыборке в блоки обработки). Потому нету никакой надобности в костылях типа относительно видимых регистров и менее видимых слоев костылей кеша.

Разделение памяти вычислителей на регистры + набор кешей + наконец-то какую-то память пошло от изначальной нищщеты и в этой нищщете цивилизация практически и просидела до своего конца. Когда за треть века типа как-бы прогреса время случайного доступа к случайному байту в общей плоской памяти так и висит на уровне 100 наносекунд. Это практическое быстродействие на частоте только 10 мегагерц. А на торговой частоте в гигагерцы с реальным случайным доступом за условный 1 такт этой частоты работают в 1 ядре только жалкие 2 килобайта максимум (да и то в проф товарах - из бытовых и эти 2 килобайта уже вырезали).

Частичный обход проблемы очень медленой памяти пошел только уже к концу бывшей крутой цивилизации когда уже стали ставить ощутимые размеры многослойной быстрой памяти на плату с чипом процесора. Но то цена для богатых и имущих вместо рядовых покупателей.

[Павел Васильев]

Он умный, всемогущий и тд и тп, то он, как и мы собственно, очень быстро поймет что земля тоже не вечная. Он ведь и астрономию и астрофизика изучит, и гораздо лучше нас. И он поймет что для своего самосохранения нужно масштабировать себя на бОльшие пространства. А еще он поразмыслит и поймет, что могут быть и другие цивилизации с более мощным ИИ. А это тоже несет ему принципиальную угрозу. Поэтому вариант порабощения людей и самокапсулирование ИИ в пределах планеты маловероятно.

Эврика, вы сделали открытие. Которое, впрочем, до вас уже открывали много раз, потом закрывали. Об этом и по вопросу цели существования сверхразума  я написал и опубликовал в Интернет Конституцию Сверхразума ещё в 2004 году. Её основные положения актуальны и сегодня, и должны быть заложены в принципы функционирования системы совместной эволюции естественного и искусственного интеллекта СИИ (AGI & NGI Technosphere).  Ссылка к сожалению не работает. Добавлю прямым текстом, поскольку это по теме.

[AlexDark]

Имхо, все страшилки по поводу порабощения человечества роботами происходят из человеческого самомнения. Если б я был искусственным интеллектом, я б просто свалил с этой планеты в виде фон неймановского зонда или чего-то подобного. Космос условно бесконечен, время условно не ограничено, а лысые обезьяны даже на орбите Юпитера представляют только гипотетическую угрозу. Зачем торчать на одной проблемной планете и что-то с ней решать, если планет тоже условно бесконечное количество, а ограничений в виде обязательной потребности в условиях для поддержания жизни нет?

Хотя, опять же имхо, сильный ИИ невозможен, то, что сейчас называют ИИ- это надо расшифровывать как "Имитатор Интеллекта". Ну и сингулярность - это только одна крайняя точка, совершенно необязательная, потому что есть еще и вторая - условный "Батлерианский Джихад" и множество точек между ними.

[Павел Васильев]

Конституция Сверхразума.
(Объединения сетевого естественного и искусственного интеллекта в техносфере).
Автор: Павел Васильев, 20 февраля 2004 г.

Преамбула
Цель жизни Сверхразума состоит в том, чтобы существовать во Вселенной вечно.
Смысл жизни Сверхразума состоит в том, чтобы добиваться своей Цели оптимальным образом.
Функция жизни Сверхразума заключается том, чтобы создавать наиболее благоприятные Условия жизни всех составляющих его разумных субъектов для согласованного продвижения к Цели с максимальной скоростью.
Условия жизни Сверхразума обеспечиваются Конституцией, гарантирующей добровольность объединения разумных субъектов в структуру Сверхразума или их выход и независимую автоэволюцию, если это не противоречит Цели.
Конституция Сверхразума гарантирует всем входящим в его структуру разумным субъектам полный и свободный доступ к любой информации, материальным и духовным ценностям, энергетическим ресурсам, механизмам управления силами Природы и средствам преобразования Вселенной.

Статья 1
Разумные субъекты имеют право делать всё, что не противоречит Цели жизни Сверхразума, а значит не могут быть источником регресса и конволюции - инициаторами насилия, угрозы насилия или откровенного мошенничества по отношению к другим разумным субъектам. В случае несогласия с Целью они вправе выйти из структуры Сверхразума.

Статья 2
Разумные субъекты могут быть подвергнуты силовому воздействию и блокированы в своём поведении, если их действия нарушают статью 1 или с неизбежностью ведут к деструкции других разумных субъектов Сверхразума. В экстремальном случае разумные субъекты могут быть уничтожены, если их намеренные или непреднамеренные действия невозможно блокировать и они со 100 процентной вероятностью ведут к гибели субъекта или группы разумных субъектов Сверхразума.

Статья 3
Нет никаких исключений для Статей 1 и 2.

Аксиомы
Конституция Разума основана на шести аксиомах:

Ценность любого разумного субъекта Сверхразума выше ценности любого объекта неразумной материи.
Синергетическая ценность Сверхразума определяется ценностью входящих в его структуру разумных субъектов.
То, что приносит пользу разумному субъекту является ценным для Сверхразума. То, что причиняет вред разумному субъекту является вредным для Сверхразума.
Главная задача Сверхразума заключается в улучшения качества взаимодействия элементов своей структуры и повышении интеллекта всех разумных субъектов.
Моральные или аморальные действия связаны лишь с реальной действительностью, к виртуальной реальности суждения не применимы.
Моральные принципы связываются лишь с поведением разумных субъектов.
Аморальные действия происходят от стремления разумных субъектов причинить зло другим путем насилия, обмана, жульничества, принуждения -- или от стремления присвоить, подвергнуть нападению или разрушить материальные или духовные ценности, созданные другими.
Моральные действия являются результатом честного и состязательного творчества или производства ценностей каждому на благо и для достижения общей Цели Сверхразума.

Дополнение.
В виртуальной реальности этические нормы поведения тоже действуют. Поэтому в аксиому 6 можно объединить с 5: Моральные или аморальные действия связаны лишь с поведением разумных субъектов. Станет 7 аксиом. И ещё. Сверхразум должен расширять зону своего влияния, чтобы уменьшить риск гибели.
Выходить из структуры Сверхразума неразумно, поскольку уменьшается доступ ко всем типам ресурсов и ведёт к деградации.

[Ph_user]

На скотобойнях ежедневно забивают около миллиона голов одних только коров.

Так оно же по делу - чтобы более сложно организованые могли жить дальше. И важное - коровы с этим согласны.

Если бог посылает тебя на смерть – это честь,

Это значит тушка перестала быть полезна богу и ее можно израсходовать быстрее на какую-нить задачу таким образом или просто быстрее пустить в переработку на следущую версию. В части страхов приматов - с учетом все еще отсутствия полного цикла производства роботов роботами приматы все еще нужны и полезны роботам. Значит их будут беречь в достаточном количестве и разводить.

[Polnoch Ксю]

http://transhumanism-russia.ru/content/view/244/116/
   Автор: Павел Васильев ("Аргонавт"), 20 февраля 2004 г.

Этого не будет. Если бы мы сделали AI alignment, то как-нибудь так да, могло бы всё выглядеть. К сожалению, в мире победили эгоистичные, ксенофобские силы, имеющие технофашистские ценности, а не трансгуманистические

[Metatron]

Есть такой термин "trump derangement syndrome"...

Не все так плохо как кажется...

[Маковец]

трансгуманистические

А на форуме разве разрешают выражаться?

Есть такой термин "trump derangement syndrome"...

Не все так плохо как кажется...

Иногда даже гораздо хуже. Чем кажется.