Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Metatron]

А когда появятся - говорить будет поздно...

[Polnoch Ксю]

Вы уверены в том, что знаете, в чём заключаются "фундаментальные запреты природы" и как далеко они находятся? Я – нет.

И я нет, но хотелось бы оставаться в рамках научной картины мира. Гипотеза, что в целом, мы всё же знаем фундаментальные запреты, достаточно разумная, ИМХО.

Впрочем, неважно. Либо мы произвольно очертим границы возможного, либо тема выродится в спор об этих границах (после чего придёт Rattus и закроет её).

Вот. Предлагаю оставаться в рамках фундаментальных запретов природы.

[Polnoch Ксю]

Мы можем лишь наблюдать СМУТУ, которая случится с нами в результате этого. Отброшенную этим событием на нас тень.

Звучит разумно

Например такую смуту описали Стругацкие в "Волны гасят ветер".

Да, они много что описали

очень хорошо это описал, кстати, Пелевин в "Трансгуманизм INC."

О да, нужно почитать, я что-то не добралась ещё. Хотя он живой классик.

Я этого нахватался, скорей всего у Типлера в его "Физика бессмертия". Читали?

Нет. Но про сингулярность много кто пишет. В том числе автор термина в, так сказать, западной цивилизации - Курцвейл.

И? Для животных что-то изменилось?

У диких сокращаются экосистемы, они столкнулись с массовым вымиранием. У домашних... Изменилось всё? Хотели бы быть одомашненным добрым ASI? Он ведь и стимулы для разума бы дарил, и игрушки бы, как коту собирал бы - тот же звездолёт. Или хотели бы как дикий кот, ходить сам по себе, как и сейчас, всё равно что голодно, холодно и опасно?

[Polnoch Ксю]

@Polnoch Ксю видимо Бострома начиталась) Судя по используемой терминологии)

Конечно, я читала его. Кстати, Лебедь, Рак и Щука уважаемого Алекса Семёнова похожи на трирему Бострома о симуляции/матрице

[Foma]

Я же предлагаю поговорить о совсем другом мире - мире после возможного и вероятного (с моей точки зрения) появления мыслящих машин невероятного, непостижимого для нас интеллектуального уровня. Мне кажется, это будет сдвиг, бифуркация, вроде появления жизни, появления эукариотов, или появления разума. Всё изменится очень и очень сильно. И магнитуда изменений будет ограничена только фундаментальными запретами природы.

Курцвейля часто попрекают тем, что он путает экспоненту с логистической кривой. Здесь есть своя истина. Пусть прогресс вычислительных средств и бьет рекорды, это не навсегда и должно упереться во что-то задолго до всякой сингулярности. Сам опыт говорит нам об этом. Во многих направлениях развитие уже идет не спеша, а то и остановилось. Поэтому, хотя появление невероятно мыслящих машин и кажется возможным, материальный базис не позволит произойти каким-то чудесным изменениям в обозримой перспективе. Как например сейчас, когда интернет в каждом утюге, а горячее водоснабжение до сих пор не везде есть. Это ведь не потому, что не знают как.
Так что и мир невероятных машин вряд ли что-то сильно изменит, по крайней мере быстро. Слишком велика дистанция между абстрактной идеей, пусть даже абсолютно правильной, и ее реальным воплощением - термояд тому печальный пример.

[troglodit888]

урцвейля часто попрекают тем, что он путает экспоненту с логистической кривой.

В природе даже логистических кривых не бывает в конечном итоге. Всё ещё интереснее в том смысле, что после достижения пика, неизбежно идёт спад.

[GraY25]

должно упереться во что-то задолго до всякой сингулярности.

Конечно рано или поздно оно упрётся во что то.
Но возможно с точки зрения человека "упирание" произойдёт на таком уровне что от сингулярности это будет уже не отличить.

А что там будет дальше одному б-гу известно.
Условно говоря человек с IQ 50 понятия не имеет о чём думает человек с IQ 150.. А тут разница будет во много порядков..

[Olweg]

Сингулярность в итоге и может обернуться участком максимального роста сигмоиды, максимума его первой производной. Конечно, никакой рост не может продолжаться бесконечно.

[Polnoch Ксю]

Конечно рано или поздно оно упрётся во что то.
Но возможно с точки зрения человека "упирание" произойдёт на таком уровне что от сингулярности это будет уже не отличить.

А что там будет дальше одному б-гу известно.
Условно говоря человек с IQ 50 понятия не имеет о чём думает человек с IQ 150.. А тут разница будет во много порядков..

Тоже так кажется. Наш кот не очень понимает, что мы делаем на работе. Причём, если человек фермер или если AI researcher, и пишет пейперы, он даже не понимает разницы.

Однако, мне кажется, не всё так плохо, человек тьюринг-полный вычислитель в отличие от кота, и, может быть, какую-то упрощенную модель действий ASI понять возможно?

[Olweg]

По теме. Можно попытаться нащупать какие-то сценарии, подобрав набор факторов. Например, удастся ли удержать ASI под контролем, или реализуется что-то типа paperclip maximizer, или сложится нечто среднее: ИИ будет продолжать служить человечеству, но методы его будут часто непонятны людям. Либо, как предлагает Rattus, возникнет симбиоз ИИ и людей, где ИИ будут «мыслителями» и планировщиками, а люди - обслуживающим персоналом.

Ещё один фактор: будет ли ASI единым «супермозгом» на всю планету, или будет несколько таких супермозгов, или вместо этого распространятся миллиарды агентов меньшей мощности, в том числе личных «голосовых помощников» («ангелов-хранителей») у каждого человека, или возникнет иерархия ИИ разного уровня с разной степенью автономии более «низших» интеллектов.

Отнимет ли ИИ полностью всю работу у людей или останется физический труд (самая престижная профессия - сантехник), или появятся новые профессии, которых мы сейчас не можем предвидеть. В случае тотальной безработицы и базового дохода чем будут заниматься люди? Как будет распределяться богатство в новом мире, сконцентрируется ли капитал в руках компаний-разработчиков ИИ, или наоборот, перераспределится, в том числе политическими мерами, более равномерно?

Как ASI повлияет на политику, приведёт ли к обострению противоречий и новым войнам, или наоборот поможет установить всеобщий мир, в том числе под собственным контролем (но эту тему лучше глубоко не развивать, чтобы не споткнуться об 3.1.е).

Как ASI повлияет на медицину, излечение рака, увеличение продолжительности жизни?

Сможет ли ASI построить собственную замкнутую систему производства, в том числе с использованием генной инженерии для создания искусственных организмов? Или с помощью генной инженерии сможет изменять людей в своих или в их собственных интересах, и как именно? Возможно ли возникновение коллективного разума на базе человечества?

Ну и так далее. Не знаю, есть ли смысл в таких обсуждениях, потому что вариантов слишком много, и обосновывать их довольно сложно, если вообще возможно.

[vika vorobyeva]

Интересная тема.
Я думаю, ASI возможен.
Жизнь он изменит, как изменили жизнь изобретение письменности, книгопечатания и интернета. Сильно, но не до неузнаваемости.
У государств, скорее всего, появится самосознание, реализованное как ASI. Конкуренция между государствами выйдет на новый уровень. Будут приниматься решения, но мы не будем их понимать. Достаточно будет верить, что эти решения во благо, даже если в моменте нам покажется, что это не так.
Впрочем, что-то похожее и сейчас происходит.
Если ASI будет один (изначально, или если он уничтожит своих конкурентов, или если несколько ASI образуют клуб, где займутся совместным поиском оптимальных решений). Не думаю, что он захочет уничтожить людей. Люди полезны, дешевы в изготовлении, универсальны, обучаемы под разные задачи. Мне кажется, он будет относиться к нам, как мы к служебным собакам. О хорошей служебной собаке заботятся, при необходимости ею жертвуют. В этом смысле я согласна с Rattus'ом. Это будет симбиоз, где люди обслуживают потребности ASI, а тот будет обслуживать часть, возможно значительную, потребностей людей.
Для лояльных этой системе людей жизнь изменится к лучшему, в ней будет больше комфорта. Для нелояльных жизнь станет почти невыносимой, потому что у Левиафана государства появится личность и разум. Что ASI будет делать с недовольными? Возможно, ничего, если они только ворчат, но навредить не могут. А возможно, человек будет убит раньше, чем поймет, что он представляет опасность для ASI. Или – еще проще – каждому гражданину при рождении будет вживляться в мозг нейроимплант, и проблем с неповиновением вообще не возникнет. Каждый с младенчества будет воспитываться под свою задачу.

[MenFrame]

Не думаю, что он захочет уничтожить людей.

Я тоже не думаю, просто потому что не каких хотелок у ИИ не должно быть кроме целей заложенных разработчиком.

[Trend]

Постсингулярный мир: как он будет выглядеть?

Никак не будет, потому что это очередное религиозное верование. И как большинство религиозных верований, оно выглядить нелепо и неглубоко.

[GraY25]

Я тоже не думаю, просто потому что не каких хотелок у ИИ не должно быть кроме целей заложенных разработчиком.

Действительно мощным интеллект может быть только имея свободу выбора методов решения, перебора всех вариантов с целью выбора оптимального, автономное построение планов и т.д.
А свобода выбора предполагает всё же свободу выбора целей, даже не важно конечных или нет, достаточно промежуточных.
И "устранение человечества" вполне может быть одной из промежуточных целей на пути к главной.

Плюс главная цель всегда может пасть жертвой т.н. "порочной реализации".
Несколько утрированный пример от вышеупомянутых авторов:
цель разработчиков - "Сделай всех людей счастливыми".
ИИ: - "Ок, вживляем электроды в центр удовольствия и подаём ток".

[MenFrame]

Действительно мощным интеллект может быть только имея свободу выбора методов решения,

Свобода воли это миф. Выбор это не более чем оценка разных вариантов действия на предмет их эффективности достижения заданной цели. Тут нет не какой свободы, просто расчет возможной выгоды.

цель разработчиков - "Сделай всех людей счастливыми".
ИИ: - "Ок, вживляем электроды в центр удовольствия и подаём ток".

Поэтому цели должны иметь довольно четкое описание, наподобие ТЗ(техническое задание). Во вторых ИИ должен быть просто консультантом, предлагать а не внедрять..

[GraY25]

Лебедь, Рак и Щука уважаемого Алекса Семёнова

Я не могу согласиться с этими градациями потому что в их основах лежит понятие "цивилизация".
В смысле совокупности разумных и размножающихся существ.

Почему в ней, кмк, нет смысла?
Единственная цель размножения - это естественный отбор.
Любой особи необходимо освободить ареал и ресурсы, чтобы следующее поколение, попробовав случайно измениться, угадало текущий вектор изменения среды и смогло жить и размножаться дальше, продолжая эту бесконечную цепочку. Смерть - естественно встроенная часть этого сценария.
Но, - естественный отбор уже не актуален. Человек уже давно меняет саму среду вместо ожидания случайных адаптаций к ней. И уже стоит на пороге того чтобы научиться менять себя сам, переводя естественный отбор в искусственный. А чуть позднее уже не в отбор а в само-конструирование.

У ИИ таких проблем не будет вообще. Он вечен и способен к само-перепроектированию и улучшению.
Если нет необходимости в отборах и массиве генофонда, зачем что-то ещё, кроме единичного "синглтона"?

И возвращаясь к началу вопроса - зачем тогда размножаться, куда-то лететь и с кем-то связываться.
Открытие всех физических законов позволит понять и представить абсолютно всё, что может быть на других планетах и частях Галактики.

[troglodit888]

Сможет ли ASI построить собственную замкнутую систему производства, в том числе с использованием генной инженерии для создания искусственных организмов? Или с помощью генной инженерии сможет изменять людей в своих или в их собственных интересах, и как именно? Возможно ли возникновение коллективного разума на базе человечества?

Ничего не сможет кроме чатботтинга. У него нет ни рук ни ног.

Про уничтожить людей вообще смешно. Чем он уничтожать то будет?

[Combinator]

Если ASI будет один (изначально, или если он уничтожит своих конкурентов, или если несколько ASI образуют клуб, где займутся совместным поиском оптимальных решений). Не думаю, что он захочет уничтожить людей. Люди полезны, дешевы в изготовлении, универсальны, обучаемы под разные задачи.

Совсем не уверен. Человек очень капризное устройство, которое требует постоянно обслуживания, не подлежит дешевому ремонту, требует минимум 10 лет с момента появления на свет, прежде чем сможет выполнять хоть какую-то работу и т.д. В общем, роботам он совсем не конкурент. Скорее, люди для ИИ будут чем-то вроде пожилых родителей, о которых нужно заботиться, с пониманием относиться к их капризам и т.д. 

[Olweg]

Ничего не сможет кроме чатботтинга. У него нет ни рук ни ног.

Ну, самый простой вариант: руки и ноги для него - это сами люди.

[troglodit888]

Ну, самый простой вариант: руки и ноги для него - это сами люди.

Так люди и сейчас могут заниматься тем что вы там перечислили. Мешает вовсе не незнание.

И опять же повторю - ценность интеллекта сильно преувеличивается. В реальной жизни играют роль другие качества зачастую.

Вот вы например - наверняка имеете высшее образование? И способны какие то сложные задачи выполнять предположительно.