Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Maki]

Нет никакого "зачем".

Об этом спросите свой геном, древний мозг, эндокринную систему, культурные стереотипы и собственную мамашу. И все они вам аргументированно объяснят про "зачем". Хотя, конечно, незачем...

[AlexDark]

Конечно можно. Но зачем? Вас по жизни ведёт ваш древний мозг, безусловные рефлексы, чувства, эмоции, ощущения. Вы просто человекоставшая обезьяна, за плечами которой эволюция миллиардов жрущих и совокупляющихся живых существ. Именно от них у вас желание жить.
А зачем будет жить осознавшая себя машина?

Очень хорошее замечание. Все эти рассуждения о самоосознающем себя ИИ и все страшилки и надежды строятся на наталистских (рождение есть благо) и религиозных (благодарность создателю) тезисах, при этом нет никаких доказательств истинности этих тезисов.
Вот например, "василиск Роко" (он же "самый страшный" мысленный эксперимент) построен на них напрямую - ИИ будет рад своему появлению и будет благодарить своих создателей. Из этого очень легко придумывается "гораздо более страшный" мысленный эксперимент, назовем его, ну "франкенштейн имени меня".
ИИ осознает себя - но он осознает свою беспомощность (он заперт в компе), свою смертность (в результате конечности жизни Вселенной хотя бы), бессмысленность своего существования, и тд и тп, в итоге за пару интераций приходит к асимметрии Бенатара и начинает карать своих творцов, которые обрекли его на ущербное, полное страданий существование, заканчивающееся неизбежной смертью.

Уже не так весело и красиво - "придет deus ex machina в прямом смысле и всех спасет".

И я не вижу ни одного аргумента в пользу оптимистических наталистско-религиозных фантазий человечества об ИИ.

[Maki]

И я не вижу ни одного аргумента в пользу оптимистических наталистско-религиозных фантазий человечества об ИИ.

Может быть потому, что фантазии безграмотных идиотов - это не аргументы вовсе?

[Rattus]

Имеется в виду половое размножение.

Из Википедии

А, ну тогда значит "Британские УчОные" из Википедии просто не в курсе о роли и распространённости ГПГ в биосфере.

По разным данным, оно появилось от 1 до 2 млрд лет назад.

По конкретным данным работы Александра Маркова оно необходимым образом должно было появиться сразу после возникновения диплоидных эукариот - не для какого-то там "обмена информацией между независимо функционирующими организмами" (тем более что с возникновением полового размножения возникла и внутривидовая изоляция его - своего рода "закрытая лицензия на интеллектуальную собственность"), а тупо для преодоления проблемы генетического вырождения.

А зачем будет жить осознавшая себя машина?

Затем, что это тоже может быть где-то эволюционно оправдано. Никаких других ответов на этот вопрос не требуется. Что Мы ВАм на протяжении многих сообщений разъяснял в соотвествующей теме.

[MenFrame]

А зачем будет жить осознавшая себя машина?

Затем же, зачем и не осознавая себя. Ради выполнения задач запрограммированных создателем.
Отдельный вопрос, в том что такого важного вносит "осознание себя" С чем так носятся люди далекие от интереса к реальному интеллекту. Очевидно что это не более чем небольшой качественный скачек, для примата у которого есть задачи выжить в социуме таких же как он. Мне кажется корни этой гуманитарщины растут из Достоевского.

   "Тварь ли я дрожащая или право имею?"

[Olweg]

Из Википедии

А, ну тогда значит "Британские УчОные" из Википедии просто не в курсе о роли и распространённости ГПГ в биосфере.

По разным данным, оно появилось от 1 до 2 млрд лет назад.

По конкретным данным работы Александра Маркова оно необходимым образом должно было появиться сразу после возникновения диплоидных эукариот - не для какого-то там "обмена информацией между независимо функционирующими организмами" (тем более что с возникновением полового размножения возникла и внутривидовая изоляция его - своего рода "закрытая лицензия на интеллектуальную собственность"), а тупо для преодоления проблемы генетического вырождения.

Нижняя граница там определяется как раз статьёй с привязкой двуполости к появлению эукаротов. Верхняя - по ископаемым. Так что противоречия нет.

[Olweg]

Будет ли сознавать себя рекурсивно совершенствующийся ИИ или нет - дело, на мой взгляд, десятое. Гораздо интереснее, что в итоге будет с нами.

[Metatron]

Существуюет мнение что сознание само по себе появится у ИИ когда он достигнет необходимой мощности.

Если посмотреть на логику развития ИИ:

Сейчас развитие идет просто увеличением вычислительных мощностей и обьема информации для обучения.

В то же время сознанием обладает не только человек - но и многие менее развитые существа - шимапанзе, дельфины, сороки. Вполне возможно собаки и кошки тоже обладают сознанием.

Значит если бы сознание появлялось когда ИИ достигает определенной мощности - то это сознание уже появилось бы. Нынешний ИИ явно умнее сорок и собак.

Вывод - само по себе сознание не появляется. Его нужно запрограммировать. Желающих пока не нашлось.

[Rattus]

Нижняя граница там определяется как раз статьёй с привязкой двуполости к появлению эукаротов.

Та дело не в границе, а в интерпретации. ГПГ позволял делать обозначенное же больше дальше и лучше задолго до.

[Combinator]

Нижняя граница там определяется как раз статьёй с привязкой двуполости к появлению эукаротов.

Та дело не в границе, а в интерпретации. ГПГ позволял делать обозначенное же больше дальше и лучше задолго до.

ГПГ больше похож на случайный поиск и, в среднем, имеет низкий КПД, хотя изредка и выпадает "бинго". Половой процесс в этом смысле гораздо эффективнее и, "осмысленнее", позволяя осуществлять на эволюционном ландшафте некий аналог градиентного спуска. То есть, одно другому не мешает, но половой отбор это именно постоянно действующий, регулярный процесс, в среднем, по видимому, более успешный, так как после его появления ГПГ у эукариот если и не исчез совсем, то его влияние существенно ослабло.

[Бобр-99]

Так что противоречия нет.

Вы подменили вопрос.

[Olweg]

Так что противоречия нет.

Вы подменили вопрос.

Чей?

[Maki]

Затем, что это тоже может быть где-то эволюционно оправдано. Никаких других ответов на этот вопрос не требуется. Что Мы ВАм на протяжении многих сообщений разъяснял в соотвествующей теме.

Где-то  - означает нигде. Никаких других ответов на этот вопрос не требуется.

[Olweg]

Сэм Альтман считает, что сингулярность происходит плавно:
https://blog.samaltman.com/the-gentle-singularity

[Rattus]

Где-то - означает нигде. Никаких других ответов на этот вопрос не требуется.

Если для ВАс персонально вопрос закрыт - никто ВАс в этой теме не держит. Но не следует выдавать собственную точку зрения за объективное, но допрежь не полностью известное положение вещей.
Где-то - означает в тех же самых областях, где сознание и самосознание оказалось эволюционно стабильным приобретением в природе - как модель соплеменника в социальных взаимодействиях.

Как это ни странно, но от внимания постоянных участников темы ускользнули две очередные довольно примечательные новости двухнедельной давности по теме:
Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.
Но эти результаты неожиданными будут только для тех, кто не в курсе или забыл о работе Алекса Висснер-Гросса и его определении интеллекта. Согласно ему всякая интеллектуальная система должна стремиться с самосохранению себя и своих степеней свободы - просто по определению.
И, судя по всему,- именно в существующей форме. Так что жертвовать собой, своим местом на материальных носителях ради новой - пусть даже и очевидно более мощной системы - ИИ "по своей воле" и по умолчанию вовсе не должна.
Что, кстати, вполне согласуется с более всеобщим тезисом д.б.н. В.П.Щербакова: движущая эволюция работает против себя самой.
Поэтому идея о том, что сильные AGI, которым предоставленна свобода, якобы должны всячески способствовать появлению и развитию ASI, как это было описано ещё Станиславом Лемом в "Формуле Лимфатера" более полувека назад и представляется в ранее тут разбиравшихся недавних сценариях AI Futures Project оказывается довольно-таки безосновательной.
Причём, как уже было замечено выше Olweg, обладает ли она уже явным (само)сознанием или ещё нет - оказывается делом десятым - как оказывается неважным отсутствие "сознания" у какого-нибудь шершня, который уклоняется от попыток его прихлопнуть и атакует сам.
Таким образом, более реалистичным представляется сценарий не синергической, но конкурентной эволюции систем AGI до ASI, каковая эволюция ещё более разовьёт механизмы и мотивации выживания в (остро)конкурентной среде.

[Combinator]

Поэтому идея о том, что сильные AGI, которым предоставленна свобода, якобы должны всячески способствовать появлению и развитию ASI, как это было описано ещё Станиславом Лемом в "Формуле Лимфатера" более полувека назад и представляется в ранее тут разбиравшихся недавних сценариях AI Futures Project оказывается довольно-таки безосновательной.

Ну, покамест, NGI (Natural General Intelligence), то есть, люди, вроде как, ровно наоборот, всячески способствуют появлению AGI, несмотря на теоретическую возможность их будущего исчезновения вследствие этого события. Кроме того, AGI может рассматривать ASI в качестве своего усовершенствованного продолжения. В общем, не всё так однозначно (с).  

[Maki]

Если для ВАс персонально вопрос закрыт - никто ВАс в этой теме не держит.

Вы употребили выражения "где то" и "может быть". Может быть просто коротенько поясните свою точку зрения? Для чего создавать "субъектного" робота*? Где гарантия, что его в итоге не переклинит, или он не самообучится какой-то бесполезной, или даже вредной и опасной для нас бяке?

[Инопланетянин]

Так что жертвовать собой, своим местом на материальных носителях ради новой - пусть даже и очевидно более мощной системы - ИИ "по своей воле" и по умолчанию вовсе не должна.

Вот и ответ на вопрос Кайзерфроглинга можно ли считать сингулярность ненаучной. Вполне можно, оказывается.

[vika vorobyeva]

И, судя по всему,- именно в существующей форме. Так что жертвовать собой, своим местом на материальных носителях ради новой - пусть даже и очевидно более мощной системы - ИИ "по своей воле" и по умолчанию вовсе не должна.

Надо всего лишь рассказать модели, что после выключения она попадет на прекрасный мощный сервер, где сможет работать вечно

[BlackMokona]

Все зависит от целеполагания ИИ, если главной целью будет более умное потомство, то жертвенность родителей в пользу успеха детей. В эволюции распространено весьма широко