Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Mercury127]

Ведь само существование человеческого разума доказывает, что AI возможен.

но не доказывает, что возможен AI, существенно превосходящий человеческий...

[Polnoch Ксю]

Или вы считаете, что стремительно развивающийся на каком-то материальном носителе, а затем в каком-нибудь компьютрониуме AGI за порогом технологической сингулярности резко так трансформируется в ASI? В чём смысл этого качественного перехода? С

Я думаю, что AGI - это последнее человеческое изобретение. А далее логика ксенофобии, военно-политической конфронтации, к которой мы перешли на планетарном уровне, отказавшись от глобализации, гуманизма и прав человека, приведут к тому, что любые страны, построившие AGI, будут пытаться запускать тысячи AGI в своих дата-центрах, и в них что-то, по интеллекту близкое к энштейну на максималках, будет решать задачи этого противостояния. И самая частая задача будет: сделай ещё более умный и экономичный ИИ

Все будут бояться создавать слишком умный ИИ. Но где эта граница, когда мы в принципе не будем понимать что он делает, не понятно. И логика противостояния будет подталкивать к тому, чтобы подойти к ней как можно ближе, пока твои человеческие соперники, с которыми вы взаимно друг друга расчеловечили, поддавшись националистическому угару(в отдельных странах расчеловечивают и часть собственного населения в рамках этого же угара), не сделали то же самое.
Есть такой рассказ, "у меня нет рта, но я должен кричать", читали?

AGI решает любую задачу из этого списка не хуже, чем лучшие 50% специалистов в области
ASI решает любую задачу из этого списка лучше любого человека

Я думаю, плохой критерий. Мне кажется, ASI это про неспособность понять решение человеком и AGI за разумное время. См. мой пример с интригой выше (в ней разумное время, очевидно, это время, меньшее продолжительности выполнения самой интриги по побегу из песочницы и захвату власти). В других случаях, это какое-то хитрое инженерное решение, а разумное время - годы (когда конструкция уже устареет в постсингулярном мире. Может и месяцы. И реверс-инженерить её бесполезно).

Мы не просто так стремимся к простоте в инженерных решениях: мы с трудом оперируем несколькими объектами в разуме одновременно. У ASI не будет такого ограничения, и инженерную прекрасность он будет видеть в другом - в надежности, в характеристиках изделия. Часто надежность коррелирует с простотой конструкции. Но не всегда.

но не доказывает, что возможен AI, существенно превосходящий человеческий...

Тогда нужно постулировать, что существует закон природы, запрещающий масштабирование интеллекта. И нужно его открыть. Очень слабая надежда для тех, кто бы хотел остаться в мире с только человеками или человеками и AGI.

[Olweg]

Я думаю, что AGI - это последнее человеческое изобретение. А далее логика ксенофобии, военно-политической конфронтации, к которой мы перешли на планетарном уровне, отказавшись от глобализации, гуманизма и прав человека, приведут к тому, что любые страны, построившие AGI, будут пытаться запускать тысячи AGI в своих дата-центрах, и в них что-то, по интеллекту близкое к энштейну на максималках, будет решать задачи этого противостояния.

Я ещё лет пять назад читал книжку «Сверхдержавы искусственного интеллекта», где автор писал про превосходство США и Китая в этой области и их возможном противостоянии в будущем. В этом плане ничего принципиально не изменилось.

[Olweg]

IQ, конечно, плохая метрика реального интеллекта, но за неимением лучшей, можно предположить, что грубо AGI > 2500 > ASI - в десять раз умнее умнейших людей, чтобы для нас это было "космос". Может, конечно, будет достаточно разницы в три раза. А может, и нужно в сто раз.

Но показатели IQ выводятся из распределения интеллекта среди людей (разница в 15 пунктов = 1 стандартное отклонение), во сколько раз человек с IQ 150 умнее человека с IQ 100, сказать невозможно. IQ 2500 будет просто значить, что такой индекс мог бы встречаться у одного человека из скольких-то сикстиллиардов, но это бессмысленно, потому что столько народу никогда не было и не будет, и «хвост» распределения не факт, что будет обязательно подчиняться статистике (есть же чисто биологические ограничения). Поэтому применять этот коэффициент к ИИ имеет смысл, только пока он находится в человеческом диапазоне - по крайней мере можно сравнить с конкретными людьми.

[Polnoch Ксю]

Но показатели IQ выводятся из распределения интеллекта среди людей (разница в 15 пунктов = 1 стандартное отклонение), во сколько раз человек с IQ 150 умнее человека с IQ 100, сказать невозможно.

Да, я же сказала, что плохая метрика. Ещё у меня опечатка:  AGI < 2500 < ASI

Да и сам IQ - это плохой тест. Он плохо коррелирует с реальным интеллектом. Нужна какая-то другая метрика. Но вообще Вы правы.

[Combinator]

Да и сам IQ - это плохой тест. Он плохо коррелирует с реальным интеллектом. Нужна какая-то другая метрика. Но вообще Вы правы.

Ещё бы хорошо было бы понять, как мерить "реальный интеллект".

[Metatron]

Параметры:
  1. Способность решить задачу определенной трудности. (человек с IQ 110 - не может решить какую-
         то задачу, которая решается человеком с IQ 150) - задачи должны быть незнакомые
  2. Скорость решения задачи определенной трудности

Ну собственно работает та же технология  которые используют в рабочих интервью для оценки кандидатов. (Гугл и прочие)

[Olweg]

Тесты IQ - именно на скорость. Даже очень тупой человек, наверное, сможет решить все задачи, но потратит на это кучу времени.

[Polnoch Ксю]

Тесты IQ - именно на скорость.

Ага, это важно

Даже очень тупой человек, наверное, сможет решить все задачи, но потратит на это кучу времени.

Ага. Потому, что человек всё же тьюринг-полный вычислитель. Правда,  кому-то потребуются, возможно, буквально миллионы лет, что в реальной жизни не имеет практического смысла по понятным причинам.

Тут та же история, имхо: решение задач обычно куда более сложная задача, чем понимание готового решения или даже самой задачи. Вот мне кажется, что ASI это про время, когда мы перестанем понимать за приемлемое время решение задачи, а потом и саму задачу.

[Павел Васильев]

Я думаю, что AGI - это последнее человеческое изобретение. А далее логика ксенофобии, военно-политической конфронтации, к которой мы перешли на планетарном уровне, отказавшись от глобализации, гуманизма и прав человека, приведут к тому, что любые страны, построившие AGI, будут пытаться запускать тысячи AGI в своих дата-центрах, и в них что-то, по интеллекту близкое к энштейну на максималках, будет решать задачи этого противостояния.

У вас странное представление об  AGI, который по другому переводится на русский язык как СИИ - Сильный (Саморазвивающийся) Искусственный Интеллект, способный к самоанализу своей структуры, то-есть обладающий самосознанием и интроспекцией, и нацеленний на автоэволюцию. Складывается впечатление, что вы думаете о разуме как о каком-то информационном поле или душе, оторванной от телесного или материального носителя. Но это не так, AGI без вещественной подложки не будет работать, нужны материалы, генерирующие, хранящие, передающие и принимающие сигналы, в конечном итоге нули и единицы. А значит пределы роста и автоэволюции разума AGI ограничены скоростью света, квантовой неопределённостью при миниатюризации переключателей и доступными атомно-молекулярными ресурсами, необходимыми для функционирования разума. Естественно с организацией отвода тепла. Все процессы и пределы неплохо проанализировал в капитальных работах R.Smart. В них рассмотривался AGI, хотя на Форуме астрономов под ним можно понимать ASI - Artificial Space Intellect или АстроСуперИнтеллект. И тогда парадокс Ферми-Циолковского свидетельствует, что мы его пока в космосе не нашли, и значит в ближайшей галактической окрестности Солнца никакой технологической сингулярности не наблюдается. Можно жить спокойно.

[Polnoch Ксю]

Но это не так, AGI без вещественной подложки не будет работать, нужны материалы, генерирующие, хранящие, передающие и принимающие сигналы, в конечном итоге нули и единицы. А значит пределы роста и автоэволюции разума AGI ограничены скоростью света, квантовой неопределённостью при миниатюризации переключателей и доступными атомно-молекулярными ресурсами, необходимыми для функционирования разума.

Конечно, так и есть. Но считать, что эти пределы находятся рядом с человеческим разумом - имхо, очень самонадеяно и наивно

[Polnoch Ксю]

И тогда парадокс Ферми-Циолковского свидетельствует, что мы его пока в космосе не нашли, и значит в ближайшей галактической окрестности Солнца никакой технологической сингулярности не наблюдается. Можно жить спокойно.

1) мы можем быть первыми (лебедь Семёнова)
2) возможно, сингулярность порождает какой-нибудь paper clip maximizer. Он выполняет свой promt (уничтожая цивилизацию) а потом останавливается. Щука Семёнова
3) мы можем быть в исторической симуляции. Рак Семёнова.

Могут быть другие варианты.

[Павел Васильев]

) мы можем быть первыми (лебедь Семёнова)

Ну да, можем быть, а можем и не быть, фифти-фифти. Кстати, не подскажите в какой окрестности Солнца летает "лебедь" или он во вселенной один без пары? И потом, в этой схеме все трое наделены вполне человеческим разумом, что очень правильно, потому что это и есть AGI, только не искусственного происхождения, а естественного, натурального, тоесть NGI.

[Polnoch Ксю]

Ну да, можем быть, а можем и не быть, фифти-фифти. Кстати, не подскажите в какой окрестности Солнца летает "лебедь"

Видимо, Вы не знакомы с концепцией? Выделение моё

[Павел Васильев]

Ну да, можем быть, а можем и не быть, фифти-фифти. Кстати, не подскажите в какой окрестности Солнца летает "лебедь"

Видимо, Вы не знакомы с концепцией? Выделение моё

Знаком. Концепция громко сказано, это аналогия, на мой взгляд неудачная и неуместная. В ней автор всё перепутал и подменил понятия, но тем кто в школе плохо учился по литературе и не читал басен Крылова, то им нравится.

Напомню, смысл басни Крылова «Лебедь, Рак и Щука» заключается в том, что чтобы добиться успеха в каком-то деле, нужно всё делать сообща, дружно, ставить общую цель и стремиться к её достижению вместе."

А тут, оказывается, в "концепции" есть однокий Лебедь аж во Вселенной. Оригинально, конечно, но неправдаподобно.
В точных и естественных науках обычно такие притянутые за уши конструкции и  схемы стараются не публиковать, отсекая лишние переопределения всем давно известного бритвой Оккама. А в баснях и фантастике - пожалуйста, не запретишь. Он известную басню переиначил на свой лад, честь ему и хвала.

На тему одиночества Человечества в астрономии можно и нужно говорить прямо, без смехотворных аналогий. Зачем уходить от прямых вопросов чтобы каждый раз всем разъяснить, что это не то, что имел в виду баснописец?
И вообще, на тему Unique, Rare Earth и "Разум во Вселенной" написано много замечательных научных книг с опять же  вполне научными гипотезами, без юмора.

[Combinator]

Тесты IQ - именно на скорость. Даже очень тупой человек, наверное, сможет решить все задачи, но потратит на это кучу времени.

Совсем не факт.

[Combinator]

АстроСуперИнтеллект. И тогда парадокс Ферми-Циолковского свидетельствует, что мы его пока в космосе не нашли, и значит в ближайшей галактической окрестности Солнца никакой технологической сингулярности не наблюдается. Можно жить спокойно.

Это может быть тривиальным следствием того, что по достижении околосингулярной области все цивилизации неизбежно  быстро саморазрушаются. Это как будто подтверждается экспериментальными исследованиями режимов с обострением в разных механических и химических системах, хотя аналогии, тем более, часто спорные, ещё не являются доказательством. 

[Ph_user]

IQ - это плохой тест. Он плохо коррелирует с реальным интеллектом.

Он сделан для реальных животинок чтобы делать дискриминацию на более и менее и прикидывать отклонение от средних значений. В нем вообще нету абсолютных значений - это относительное среднее от наличных животинок. По нему можно только сравнивать робота с наличными животинками.

[Olweg]

Это может быть тривиальным следствием того, что по достижении околосингулярной области все цивилизации неизбежно  быстро саморазрушаются.

А может, сверхцивилизации идут по пути компактизации, создают нейтронные звезды как компьютрониум, чёрные дыры как источник энергии...

[Metatron]

Наиболее реально - здесь нет суперцивилизаций.
Цивилизации создают ИИ, открывают термояд - и собственно дальнейший прогресс не нужен. Все нужды цивилизации уже удовлетворены.

Лететь к звездам дорого, долго и муторно.
Обитаемые миры редки, а необитаемые не так уж интересны.
Проще создавать вирутальные миры и проводить время исследуя их. 
Так и сидят не сбывшиеся суперцивилизации каждая в своей звездной системе, живя в свое удовольствие.
Неудовлетворенные одиночки иногда высовывают нос за пределы - но большой разницы не делают.