Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Бобр-99]

Неудовлетворенные одиночки иногда высовывают нос за пределы - но большой разницы не делают

В этом и состоит парадокс Ферми. Что делают.

[Metatron]

Ну прилетел чужой звездолет на Землю. 200.000 лет назад.
Посидел, поисследовал. Поудивлялся на умных обезьян. И улетел обратно.

Как это на что-то повлияло?

[Бобр-99]

Как это на что-то повлияло?

Это разбиралось полвека назад. Например Шкловским. С нуля это не стоит обсуждать.

[Павел Васильев]

Это может быть тривиальным следствием того, что по достижении околосингулярной области все цивилизации неизбежно  быстро саморазрушаются.

А может, сверхцивилизации идут по пути компактизации, создают нейтронные звезды как компьютрониум, чёрные дыры как источник энергии...

Конечно может, но с какой долей вероятности? Экспансия в микромир и макромир неизбежна. Разум осознаёт, что существует катастрофическая возможность погибнуть, разделиться на атомы в окружающем нас адски красивом Космосе и опять превратиться в пепел звёзд, в долговременной перспективе.  Он стесняется открыто и громко сознаться в этом, ему страшно. Он ищет успокоения в вере, что есть трансцендентные силы которые его спасут или он через миллиард лет нырнёт в кротовую  нору и вынырнет в океане самого лучшего из миров. "Надежды юношей питают" и вдруг Он понимает, человече, "Иных уж нет, а те далече" .

Компьютрониум в нейтронных звёздах и чёрных дырах по известным нам в настоящий момент законам физики невозможен. Нет там устойчивых атомно-молекулярных связей, негде хранить информацию, а сплошная диссипация материи и энергии. Миры на уровне кварков это чересчур смелая фантазия. Для компьютрониума с AGI лучше всего должны подходить холодные  углеродные (плюс C, Li, As, Ga и т.п.) структуры со сверхпроводимостью - графеновые плёнки, литивые слои и целые железо-никелевые пласты оболочек астероидов между Марсом и Юпитером в поясе Койпера и комет в облаке Оорта. Спутники планет-гигантов тоже можно приспособить для компьютрониумов.

Такой распределеный сетевой AGI будет способен симулировать как индивидуальное, так и коллективное самосознание всего постсингулярного (в смысле объединённого) Человечества, создать достаточно точную виртуальную модель Солнечной системы, хорошую компьютерную копию Галактики и примитивную цифровую модель Вселенной.

[Бобр-99]

Всё это антропоцентризм.

[Mercury127]

Судя по всему он таки не будет один - собственно он уже сейчас - далеко не один.

что, с его точки зрения, опасно и неэффективно, и эту проблему он будет решать в первую очередь. и не обязательно войной — можно ведь и раствориться во взаимной любви...

Ага. И оный институт даже без сколь-нибудь долгосрочного планирования тысячи лет продержался. Это ли не признак стабильности?

а неолит и палеолит — так и вовсе образцы стабильности на геологических масштабах времени.
и всё равно рабовладение почему-то закончилось. говорят, погода испортилась. глобально. Римская житница — Египет и Испания — больше не могли ту ораву рабов прокормить. и вот тогдашний АИ (римская госмашина) решил переложить задачу прокорма рабов на них самих...

При этом низовое звено (сержанты-лейтенанты-капитаны метрополиции) может вполне оставаться человеческим и при необходимости - даже чипироваться, тогда как "пролы и животные остаются свободны". Но и без привелегий.

и вот у нас на горизонте уже феодализм, сословия... и "стеклянный потолок". а как известно, плох тот лейтенант, что не мечтает стать генералом.

Отобрать наименее строптивых

таки отбирали. и даже мысленную блокаду делали: "грех, грех, не вылезай, убьют!". не помогло — погода опять испортилась...

способных выполнять работу бледнотиков гораздо проще, чем научить какого-нибудь пуделя

помимо собак, в природе пока ещё остались и другие шимпанзе. и с мелкой моторикой у них вроде бы порядок? внедряем им "электроды счастья", дрессируем, обучаем, отбираем — и у нас вполне себе деликатный инструмент без претензий на власть... а со временем они эти навыки сами себе начнут передавать.

И кошка-жена с благодарность Председателя A-SI и жёлтые штаны - в отведённых пределах сможет выдавать без проблем.

вот именно — "стеклянный потолок". и в результате либо у нас в приоритете послушность — и тогда исполнитель деградирует умом (собака против волка), либо ум — и тогда мы без телепатии никогда не узнаем, о чём этот ум думает, и чего замышляет... а с учётом "самооптимизации" (вырождения) паразитирущего на всём этом АИ — конец немного предсказуем.
на это напоролись все механизмы монополизации власти, от Рима до Советов.

[Маковец]

Цивилизации создают ИИ, открывают термояд

Открыть "термояд"  - предел мечтаний?
  А осуществить управляемый - уже не охота?

 Мой одноклассник мечтал о мопеде ... 

[Metatron]

1) управляемый Термояд => неограниченная энергия для всех нужд цивилизаций.
2) ИИ+роботы    => отпадает необходимость в физическом труде, и вероятно в любом труде вообще

Достигается всеобщее благоденствие.
Какие стимулы после этого остаются у цивилизации?
99.99% населения с удовольствием переключается с работы ради зарабатывания денег - на жизнь для удовольствия.

Останется какой-то процент любопытных которые будут строить гигантсткие телескопы, бурить планеты насквозь и отправлять межзвездные зонды.
При условии что правительства будут выделять им достаточно денег.
Но такой режим тоже видимо продержится не вечно. Рано или поздно поток новой информации иссякнет. Все открытия будут сделаны.
Стимул любопытства - иссякнет. Что изучать если все изучено?
Денег (Ресурсы) на новые проекты давать перестанут. Цивилизация перестанет расширять свой ареал успокоившись на достигнутом. (Видно прекрасно на примере Европы - меньше денег на развитие - больше денег на гуманитарные программы)

[vika vorobyeva]

и вот у нас на горизонте уже феодализм, сословия... и "стеклянный потолок". а как известно, плох тот лейтенант, что не мечтает стать генералом.

Вот именно. Сословия или касты, и в социальный порядок неравенство будет входить неотъемлемой частью.
Это мы с детства испорчены тезисом, что все люди рождаются равными. В сословном обществе все знают, что люди НЕ равны, причем не равны от рождения. И крестьянин воспитывает своего сына так, чтобы тот хотел стать хорошим крестьянином, а не барином. Хороший слуга преданно служит своему господину, а не метит на его место. Кшатрий с младых ногтей знает, что он выше любого шудры, но зато его долг и цель – умереть в бою за своего князя, чего шудра делать не обязан. У каждого сословия, у каждой касты есть свои границы допустимого и возможного, очерченные традицией или законом.
К тому же сверхразумные ИИ будут для обычных людей богами, их неизмеримое превосходство будет очевидно каждому. Если бог посылает тебя на смерть – это честь, а не трагедия. Ты, человек, все равно слаб и ничтожен, подвержен страстям и болезням, из праха вышел, в прах превратишься. А боги мудры, прозорливы и бессмертны, идти против их воли может только безумец.
Так что все будет нормально с сословным обществом. Сильный ИИ как раз придаст ему устойчивость.

[Polnoch Ксю]

1) управляемый Термояд => неограниченная энергия для всех нужд цивилизаций.
2) ИИ+роботы    => отпадает необходимость в физическом труде, и вероятно в любом труде вообще

Достигается всеобщее благоденствие.
Какие стимулы после этого остаются у цивилизации?
99.99% населения с удовольствием переключается с работы ради зарабатывания денег - на жизнь для удовольствия.

Так могло бы быть. Но не будет. Последнее окошко закрылось осенью прошлого года. Теперь будет катастрофа, увы. Мы выбрали стабильное решение в дилемме заключенного вместо справедливого

[Olweg]

Думаете, это была точка бифуркации? Да, учитывая, что сингулярность с высокой вероятностью придётся на срок Трампа, можно конечно и так рассматривать. Но, повторюсь, противостояние США и Китая - главных игроков - было бы в любом случае. Так что тут скорее более сильное влияние на внутреннюю американскую политику и общество, чем на глобальную.

[Kaiserfrogling]

1) управляемый Термояд => неограниченная энергия для всех нужд цивилизаций.

А вы уверены, что США будет делится этим термоядом с конкурентами? Слышали историю с полимерными сверхпроводниками в начале 90х? Они сейчас шипят от ненависти на Китай, на Россию, на мусульман, на весь БРИКС.

Если бог посылает тебя на смерть – это честь, а не трагедия.

Если обычный генерал посылает тебя на смерть - у тебя щедрый выбор! Либо умереть в бою с врагами, либо бежать - и враги потом ограбят и  перебьют всех бежавших вообще без боя!

ПС:

Во первых, даже бесчеловечные люди сегодня не посылают хладнокровно наших братьев меньших, тех же домашних питомцев, обезьян или дельфинов на смерть. З

А вы знаете из чего делается колбаса? Вы не поверите, но она делается из убитых коров!

[Павел Васильев]

К тому же сверхразумные ИИ будут для обычных людей богами, их неизмеримое превосходство будет очевидно каждому. Если бог посылает тебя на смерть – это честь, а не трагедия.

Мрачная картина, но это точка мнения пессимистов, распространённый миф о СИИ, страшилки. Во первых, даже бесчеловечные люди сегодня не посылают хладнокровно наших братьев меньших, тех же домашних питомцев, обезьян или дельфинов на смерть. Зачем? Во-вторых, сверхразум на то и разум, чтобы иметь помимо просто умения быстро вычислять,  ещё и быть морально и этически подкованными, а не безжалостными уродами. Здесь законами робототехники для киборгов дело не ограничится. В третьих, даже стремительно самоэволюционирующему ИИ не удастся избавиться от людей, они уже сейчас являются владельцами и частью ИИ, а жизнеспособным может быть только человеко-машинный симбиоз людей с АGI. Любые мозги,  в том числе диких животных, являются ценным ресурсом с готовыми сенсорными биодатчиками в ноосфере, зачем же их уничтожать? Разумней интегрировать в глобальную сеть геокомпьютрониума.

[Polnoch Ксю]

Думаете, это была точка бифуркации?

Их несколько было. Первая - то, что плана маршалла не было в 1991м. Не обязаны были, да. Но история могла бы по-другому пойти. Вторая в 1999м и потом в 2007м, когда мы как вид и смертельно ранили Фукуяму. Ну и окончательно его добили в 2022м. Он оставался в коме. А убили его несколько месяцев назад.
Мы сделали выбор в пользу ксенофобии/национализма. Теперь будем тратить драгоценные ресурсы и ещё более драгоценное время вместо AI Aligment'а на тупое противостояние с друг другом, и учить ИИ убивать нас. Дегуманизировать корпус текстов в интернете. Тогда как важен каждый день до появления ASI, для того, чтобы инвестировать триллионы долларов в ценах 2024го года в AI Aligment.

Да, может он вообще невозможен. Но выйгрыш настолько большой, что проверить нужно было обязательно.

Мрачная картина, но это точка мнения пессимистов,

Наоборот, оптимистов 

[Olweg]

Во первых, даже бесчеловечные люди сегодня не посылают хладнокровно наших братьев меньших, тех же домашних питомцев, обезьян или дельфинов на смерть. Зачем?

Был бы смысл - посылали бы. Если уж своих единовидцев посылают только так, то уж представителей другого вида, да ещё и не особо разумных… На скотобойнях ежедневно забивают около миллиона голов одних только коров.

Во-вторых, сверхразум на то и разум, чтобы иметь помимо просто умения быстро вычислять,  ещё и быть морально и этически подкованными, а не безжалостными уродами.

Это проблема выравнивания (alignment). Проблема очень глубокая и многомерная. В целом, на мой взгляд, ИИ будет более-менее придерживаться человеческих ценностей, на которых был обучен (и дообучен), но, перефразируя, можно сказать, что ценность - как дышло, как повернул, так и вышло. Ради весьма высоких идеалов рылись весьма глубокие массовые могилы…

[BlackMokona]

Непонимаю почему все забывают про проблему сломанного телефона. Если пойдет сингулярность, вся информация будет переделана, переосмыслена и передана между ИИ столько раз. Что ничего от начальных установок там не останется.

[Ulkolainen]

(кликните для показа/скрытия)

А вы знаете из чего делается колбаса? Вы не поверите, но она делается из убитых коров!

>>

Мрачная картина, но это точка мнения пессимистов,

Наоборот, оптимистов 

***

Теперь будет катастрофа, увы. Мы выбрали стабильное решение в дилемме заключенного вместо справедливого

И даны были ему уста, говорящие гордо и богохульно, и дана ему власть действовать сорок два месяца.

[Павел Васильев]

Ну и окончательно его добили в 2022м. Он оставался в коме. А убили его несколько месяцев назад.
Мы сделали выбор в пользу ксенофобии/национализма.

Интересно, кто это мы? Говорите за себя, а не обобщайте голословно.

[Mercury127]

Так что все будет нормально с сословным обществом. Сильный ИИ как раз придаст ему устойчивость.

главный вопрос — будет ли этот "духовно-скрепный, дарованный богами, исконно-посконный АИ" добровольно "само-оптимизироваться", те деградировать? ну как любой паразит и всякие императорские династии — Тутан, Хамон, Цин, Мин, Карл, Маркс...

[Mercury127]

Вы не поверите, но она делается из убитых коров!

вы не поверите, но Индия давно в лидерах по производству [свящённой] говядины...