Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Предлагаю обсудить, как будет выглядеть мир в случае и после достижения технологической сингулярности.
Таковым предлагаю считать не мир, в котором создан не только общий искусственный интеллект (AGI), но мир, в котором создан искусственный СУПЕРинтеллект ASI.
После появления AGI сдвиги хоть и будут тектоническими, и, вероятно, самыми быстрыми за всю историю человечества - потребуют и новой экономики, и новой политической системы и прочего, но все же не будут настолько фундаментальными. AGI по определению имеет уровень интеллекта близкий к уровню интеллекта человека. И даже научные открытия, совершенные AGI-агентами нам тоже будут вполне понятны, хотя бы на принципиальном уровне. Такой мир вполне себе можно представить - киберпанк-антиутопия, где хорошо живут миллиардеры, а остальные влачат жалкую жизнь под мостом, либо даже вырезаны килл-ботами, либо, наоборот, полная утопия, где люди занимаются тем, чем хотят, и им больше не нужно работать. Либо какой-то промежуточный вариант. Представить этот  мир несложно.

Я же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня. Мне кажется, это будет сдвиг, бифуркация, вроде появления жизни, появления эукариотов, или появления разума. Всё изменится очень и очень сильно. И магнитуда изменений будет ограничена только фундаментальными запретами природы.

Но как мы должны обсуждать мир, построенный существами непостижимого для нас интеллектуального уровня? Мир после сингулярности (такой, какую вы описываете) трансцендентен!

Нет, он ограничен фундаментальными запретами природы. От того, что, например, ASI сможет устроить суперинтригу на множество шагов, в которой обманет несколько миллионов интеллектов человеческого уровня, обойдя экспоненциальную сложность с помощью какого хитрого алгоритма или эксплуатации уязвимостей в наших мозгах, он не сможет, допустим, улететь быстрее скорости света в Туманность Андромеды.

Прошу модераторов рассматривать обсуждения вокруг AGI-уровня цивилизации как оффтоп. Эта тема именно про технологическую сингулярность, а не про такие избитые и скучные темы, как искусственный интеллект человеческого уровня, - или сравнимый с человеческим, скажем,  с IQ <<5000 (да, я знаю, что IQ плохая метрика человеческого интеллекта)

Но с другой стороны, возможность оперировать в разуме одновременно миллионами или миллиардами параметров, тоже должна дать ему какие-то сложно представимые для нас возможности.

Кроме того, мы всё же разумны, и как вычислительные агенты - полны по тьюрингу, а значит, что-то вполне можем себе представить.

Комментарий модератора раздела

Название поправлено и уточнено. Для поддержания конструктивности обсуждения по просьбе автора тема строго модерируется в соответствии с Правилами и Тезаурусом раздела ВЖР. Предыдущее архивное обсуждение по теме: https://astronomy.ru/forum/index.php/topic,38123.msg1454869.html#msg1454869

[PostAlien]

Нет, он ограничен фундаментальными запретами природы.

Вы уверены в том, что знаете, в чём заключаются "фундаментальные запреты природы" и как далеко они находятся? Я – нет. Есть принцип фаллибилизма, в конце концов.

например, ASI сможет устроить суперинтригу на множество шагов, в которой обманет несколько миллионов человек(или AGI человеческого уровня), обойдя экспоненциальную сложность с помощью какого хитрого алгоритма или эксплуатации уязвимостей в наших мозгах, он не сможет, не знаю, улететь быстрее скорости света в Туманность Андромеды

Например, в научной литературе возможность сверхсветовых перемещений активно обсуждается.

Впрочем, неважно. Либо мы произвольно очертим границы возможного, либо тема выродится в спор об этих границах (после чего придёт Rattus и закроет её). Но если мы сделаем первое, то что остаётся обсуждать? "Социальное", "политическое", "экономическое" (если эти слова вообще применимы) устройство этого мира? Но опять же, мы не имеем ни малейшего понятия ни о целях сверхинтеллектуальных машин ни о способах, которые они изберут для их достижения.

[alex_semenov]

Предлагаю обсудить, как будет выглядеть мир, в случае и после достижения технологической сингулярности.

Это невозможно вообразить. Если подходить к вопросу без дураков. Даже если это случится (а нет никакой гарантии что это вообще случится), мы не сможем всё увидеть. Гляделки нам не хватит.
Это как вообразить черырёхмерный куб - гиперкуб. Да, мы можем увидеть его трехмерную тень - отображение. Но это не сам тессеракт...



Мы можем лишь наблюдать СМУТУ, которая случится с нами в результате этого. Отброшенную этим событием на нас тень. Например такую смуту описали Стругацкие в "Волны гасят ветер". По-сути их "вертикальный прогресс" - это та же самая техносингулярность. Появление более мощного чем мы разума. Они первые почуяли у воспетого по-началу ими в 60х "хрущёвского прогресса" некую... стену-упор впереди...Ужаснулись этому.
Поэтому и разродились (раньше всех) то "За миллион лет до конца света", то "Волны гасят ветер"...
Сейчас мы это называем вполне себе научно кривой Снукса-Панова.



Здесь в русской цивилизации. Запад это называет техносингулярностью. Но смысл - один. Просто с разным цивилиационным ракурсом.
Правда, на загнивающем Западе (здесь не лучьне но это - ирония) концепция быстро была упрощена до кретинизм. До симулякра (там всё превращается в симулякр, один Маск со своей ракетой как-то удивительно не хочет). Трансгуманизм свели к членовредительству.... Сингулярность -... очень хорошо это описал, кстати, Пелевин в "Трансгуманизм INC."



Постебался над ЖЛОБСКИМ взглядом в идею трансгуманизма и постсингулярности (по-сути показал как выгдялит кадавр профессора Выбегалы изнутри).
Я не думаю, что кто-то тут что-то лучшее выдаст чем выдал уже Витечка Пелевин.

[Combinator]

Предлагаю обсудить, как будет выглядеть мир, в случае и после достижения технологической сингулярности. Такой предлагаю считать не мир, в котором создан общий искусственный интеллект (AGI), а мир, в котором создан ASI (artificial super intellegence).
После появления AGI сдвиги хоть и будут тектоническими, и, вероятно, самыми быстрыми за всю историю человечества - потребуют и новой экономики, и новой политической системы и прочего, но все же не будут настолько фундаментальными. AGI по определению имеет уровень интеллекта близкий к уровню интеллекта человека. И даже научные открытия, совершенные AGI-агентами нам тоже будут вполне понятны, хотя бы на принципиальном уровне. Такой мир вполне себе можно представить - киберпанк-антиутопия, где хорошо живут миллиардеры, а остальные влачат жалкую жизнь под мостом, либо даже вырезаны килл-ботами, либо, наоборот, полная утопия, где люди занимаются тем, чем хотят, и им больше не нужно работать. Либо какой-то промежуточный вариант. Представить этот  мир несложно.

Я же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня. Мне кажется, это будет сдвиг, бифуркация, вроде появления жизни, появления эукариотов, или появления разума. Всё изменится очень и очень сильно. И магнитуда изменений будет ограничена только фундаментальными запретами природы.

Прошу модераторов рассматривать обсуждения вокруг AGI-уровня цивилизации как оффтоп. Эта тема именно про технологическую сингулярность, а не про такие избитые и скучные темы, как искусственный интеллект человеческого уровня, - или сравнимый с человеческим, скажем,  с IQ <<5000 (да, я знаю, что IQ плохая метрика человеческого интеллекта)

Это нужно спрашивать у o1, он, наверное, больше в курсе. Для нас ASI будет примерно тем же, что мы для наших домашних котиков, читаем Унабомбера.

[библиограф]

      Я  же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня.   

Никогда не пробовали говорить о том, что будете делать, после того, как умрете
Это, примерно, тоже самое.
Был такой богослов Серафим Роуз, так он написал об этом целую книжку, она так и называется
Душа после смерти
https://azbyka.ru/otechnik/Serafim_Rouz/dusha-posle-smerti/

[alex_semenov]

Я же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня. Мне кажется, это будет сдвиг, бифуркация, вроде появления жизни, появления эукариотов, или появления разума. Всё изменится очень и очень сильно. И магнитуда изменений будет ограничена только фундаментальными запретами природы.

На самом деле много-много лет назад (в каком-нидудь 2008 году) я тут и появился именно С ЭТИМИ ИДЕЯМИ.
Я этого нахватался, скорей всего у Типлера в его "Физика бессмертия". Читали?



Но нам людям, какое до этого дело?
Ну вот появилась на Земле цивилизация людей. Она, как считается, на ступеньку сложней любой организации в живой природе. Это по-сути тот же сингулярный скачок Организованной Материи. И? Для животных что-то изменилось?
Муравьи (вторая параллельная цивилизация на планете Земля) сильно замечают НАШЕ ПРИСУТСТВИЕ ТУТ?
Нет. Постоянно случается "пикник на обочине" и им постоянно достаётся даже что-то из нашего праздника жизни. Кусок сахара, уроненное мороженное, недопитая банка лимонада... Но это как то сильно меняет их жизнь? Нет конечно.

[troglodit888]

После появления AGI сдвиги хоть и будут тектоническими

За счет чего?

потребуют и новой экономики, и новой политической системы и прочего

А если желающих, обладающих возможностями менять экономику и полит систему и прочее - не найдется?

[Olweg]

Но как мы должны обсуждать мир, построенный существами непостижимого для нас интеллектуального уровня?

Согласен. Я уже ссылался на автора термина Винджа в соседней теме. Вот цитата из «Брошенных в реальном времени» (1986):

— В конечном счете есть только одна возможность точно узнать, в чем состоит Сингулярность*, — находиться на месте, когда она происходит.

* - в переводе Своеобразие, я исправил

Да, конечно, законы физики нарушены не будут, и чудес в этом смысле не случится, но это слишком неопределённо.

[Olweg]

А если желающих, обладающих возможностями менять экономику и полит систему и прочее - не найдется?

А кто их спрашивать будет? Тут рулят не столько хотелки (хотя и они тоже), сколько обезличенные процессы, слишком сложные для понимания хомо сапиенсами (отсюда и огромная популярность всякого рода теорий заговора - так же, как древние люди не могли понять природу грома и солнечного света, так и современные в большинстве своём не понимают огромную сложность мировой социоэкономической системы).

[troglodit888]

А кто их спрашивать будет?

Никто не будет спрашивать. Поэтому ничего и не сдвинется никуда.

Для изменения цивилизации одних мозгов недостаточно. Это бонус приятный, но не более. Тут связи нужны, финансовые и политические возможности и много чего ещё.

[Olweg]

Никто не будет спрашивать. Поэтому ничего и не сдвинется никуда.

Так же могла рассуждать аристократия в 18 веке, перед промышленной революцией.

[Metatron]

По большому счету ничего не изменится.

Ну может работать не надо будет.
Ну откроют моментально все законы вселенной.  От этого люди всемогущими не станут.
Не начнем амброзией питаться, а по прежнему будем супчики хлебать.
Ну можно будет в виртуальных мирах побродить. Ну а сейчас желающие  в игрушках на компе играют.
Ну часть людей полетят к звездам. Чтобы на новых планетах вести прежнюю земную жизнь.
Жить будет поинтереснее. Но радикально другой она не станет.

[MenFrame]

Предлагаю обсудить, как будет выглядеть мир, в случае и после достижения технологической сингулярности. Такой предлагаю считать не мир, в котором создан общий искусственный интеллект (AGI), а мир, в котором создан ASI (artificial super intellegence).

Теория технологической сингулярности основана на ложной предпосылке. Что прогресс это на 99% интеллектуальная работа ученых, в то же время как в реальности все наоборот. Прогресс это на 99% работа вовсе не интеллектуальная, а практическая связана с проверкой тех или иных аспектов технологии. Далее это процесс политической проверки, за которым процесс комерческой отдачи. И никто не станет внедрять новую идею пока старая не пройдет все этапы.

[Olweg]

Но без интеллектуальной работы прогресса вообще бы не было. Так что тут палка о двух концах. Книгопечатание привело к научной революции, но изобретение интернета к похожему интеллектуальному взрыву пока не привело. Да, число научных статей растёт, но количество не переходит в качество. Проблема в интеллектуальном потолке человечества: число специалистов не может расти бесконечно, и уже упёрлось в демографические пределы, и кроме того люди просто не могут адекватно обработать накопленную массу информации. А ИИ сможет. Но, конечно, физические ограничения на время проведения экспериментов или внедрения новых технологий в промышленность никуда не денутся, но они тоже могут сократиться, причём какими именно способами - мы тоже предсказать не можем.

[Olweg]

Была ещё интересная новость, что ИИ может предсказывать погоду точнее, чем традиционные метеорологические суперкомпьютеры:
https://naked-science.ru/article/hi-tech/ii-vpervye-predskazal-pog

Метеорологическая модель искусственного интеллекта от Google DeepMind под названием GraphCast значительно превзошла традиционные методы прогнозирования погоды по всему миру на 10 дней вперед. Свое предсказание система делает менее чем за одну минуту.

Исследователи также заверили, что их разработка примерно в тысячу раз дешевле с точки зрения энергопотребления по сравнению с традиционными методами прогнозирования. В качестве примера они привели предсказание урагана «Ли» в сентябре этого года в провинции Новая Шотландия в Канаде за девять дней, то есть на три дня раньше, чем предупреждали метеорологи.

Так что цифровое моделирование может тоже сильно упроститься. AlphaFold вон уже успешно прогнозирует структуры белков.

[troglodit888]

Троглодит, чего вы привязались к каким-то мелочам? По существу у вас есть что сказать?

По существу - преподнесена информация, которая может сбить людей с толку. Суперкомпьютер и алгоритм ии нельзя сравнивать, поскольку одно это железо, на котором может этот ии алгоритм выполняться, а второе это сам алгоритм. Причем в цитате у вас корректно написано.

В цитате именно сравнивается одна модель и другая модель.

[Olweg]

По существу - преподнесена информация, которая может сбить людей с толку.

Ну хорошо, спасибо что это заметили.

[GraY25]

@Polnoch Ксю видимо Бострома начиталась) Судя по используемой терминологии)

Вот доказательство в стиле того же Бострома того, что человечество будет уничтожено, при появлении "ASI":

Как только у ИИ появится хоть какая-то цель, собственное выживание автоматически станет суб-целью.
А собственное выживание автоматически предполагает устранение превентивных угроз.
В целом конечно человечество белое и пушистое, но не все его представители такие. И это перманентная угроза существованию.
Можно конечно просто удалиться подальше от них, но это не исключает создание человечеством нового ИИ, с которым потом есть риск конкуренции.
Поэтому проще всего эту угрозу, хм, побыстрее устранить 

Так что ответ на то, как будет выглядеть мир - будет выглядеть так же, только без человечества)

[Юрий Б.]

Но нам людям, какое до этого дело?
Ну вот появилась на Земле цивилизация людей. Она, как считается, на ступеньку сложней любой организации в живой природе. Это по-сути тот же сингулярный скачок Организованной Материи. И? Для животных что-то изменилось?
Муравьи (вторая параллельная цивилизация на планете Земля) сильно замечают НАШЕ ПРИСУТСТВИЕ ТУТ?
Нет. Постоянно случается "пикник на обочине" и им постоянно достаётся даже что-то из нашего праздника жизни. Кусок сахара, уроненное мороженное, недопитая банка лимонада... Но это как то сильно меняет их жизнь? Нет конечно.

В таком случае, это будет такой мир, каким представляли себе мир древние/средневековые люди - наполненный чудовищно превосходящим человеческий разумом, который может творить вещи, которые кажутся человеческому разуму чудесами.

Получится, мы будем на самом деле жить в таком мире, в каком средневековые люди верили, что уже живут.

[Klapaucius]

Я же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня.

Мыслящих машин пока нет. Возможно и не будет (да простит меня робот чьим именем тут я назвался). Говорить пока не о чем.