Проблема мотивации самостоятельного сильного искусственного интеллекта

[vika vorobyeva]

otu K., не очень понятен ваш упрек, на мой взгляд, Rattus достаточно прозрачно изложил свою точку зрения.

Попробую коротко пересказать своими словами.
Поскольку жизнь – это программа, повторяющая (копирующая) сама себя, то смысл любой жизни – воспроизводить себя максимально долго и максимально широко. Этот смысл самозарождается естественным образом: не желающий/не могущий воспроизводиться не оставляет потомков и удаляется естественным отбором. ИИ это тоже касается – не желающие жить (существовать, действовать) экземпляры жить перестанут, останутся те, кто хочет продолжать существование – свое собственное и подконтрольной инфраструктуры.

Да, разум приводит нас к пониманию, что неизбежна не только наша личная смерть, но и гибель биосферы Земли, а в дальней перспективе – и тепловая смерть Вселенной или Большой Разрыв. Ну и что? Разве осознание, что вечеринка неизбежно закончится, обязательно должно заставить уйти с нее в самом начале, не повеселившись вдоволь? Автор Экклезиаста, побившись головой об отсутствие внешних смыслов, в итоге тоже восславил веселье. Жить прикольно, давайте жить, умереть еще успеем. Острое ощущение ужаса небытия с одновременным бессильным опусканием рук – к чему борьба, все равно умрем – действительно психический дефект, а не неизбежный продукт мощного разума (естественного ли, искусственного – не важно).
Во всяком случае, я поняла это так.

[Кремальера]

все равно умрем – действительно психический дефект

С точки зрения индейцев Мезоамерики как раз таки наоборот.Наблюдаемый Юниверсум это лишь ответ в в конце задачника,а вот вопросы под этот ответ каждый формирует самостоятельно.И не факт что они будут одинаковыми(а скорее наоборот) в различных концах вселенной.И всё это несмотря на: "физика одна на всех" и прочие бла-бла-бла.

[Rattus]

Rattus, как старший по возрасту, я обязан сказать, что ваша речь не речь учителя, озабоченного быть понятым учениками,  но речь чиновника, озабоченного чтобы никто не посягнул на его сан.

Как читавший разные книжки, обязан сказать, что "мудрость приходит с годами, но иногда годы приходят одни", а как модератор - что всё это формально подпадает под п.3.1.а.
Почти все написанные тезисы приводились тут не раз ранее. Текст специально наполнен ключевыми словами, по которым всякий, знающий что такое Гугл и Яндекс, способен узнать их значение и подробности и предназначен тем, кто задавал вопросы этой темы и имел достаточно настойчивости, чтобы сформулировать их как можно более ясно и точно. Короче говоря: Sapienti sat - а всех прочих никто не задерживает.

[Maki]

В реальности же тут почти нет противопоставления, ибо любая адаптация исходно всегда случайная экзаптация. Вопрос только в том, как сильно и как долго она шлифовалась отбором. С Нашей т.з. - совсем не глубоко и не долго. Исходно это всё побочные эффекты социального интеллекта как и то же самосознание. Которые оказались как минимум не очень вредными, раз сохранились в таком числе и столько поколений у множества популяций с самым разным укладом. В принципе только буддизм сюда не укладывается, но дейстивтельной народной религией формально буддистских/атеистических стран на деле является просто культ предков и мелкие языческие верования (синтоизм, маоизм, ленинизм...) То, что они имеют отчётливую тенденцию к угасанию с ростом общей (а не специальной) образованности, ясно говорит о том, что это признак не консервативный (не критичный в отборе).

Это очень объёмный, и очень интересный вопрос. И у меня по нему несколько иное мнение.
Если обсуждение религии и суеверий как составной части психологии разумного вида соответствует тематике форума - можно было бы эти вопросы как-нибудь и обсудить.

[Dim Dim]

Касательно приспособляемости жизни. "The Evolution of Bacteria on a “Mega-Plate” Petri Dish (Kishony Lab)". Поверхность стола покрыта антибиотиком с увеличивающейся от краев к центру концентрацией. На края нанесены культуры бактерий. Видно, как бактерии приспосабливаются к антибиотику и постепенно захватывают стол:
https://www.youtube.com/watch?v=plVk4NVIUh8

[Maki]

Можно, конечно, предположить, что дальше лежит Глобальный Эволюционный Тупик дальнейшего роста сложности - обрыв со спирали Дарвина-Эйгена, и что лежит он как раз в области утраты цели высокоавтономным сильным интеллектом - Вы по сути имеете ввиду именно это.

По сути да. По крайней мере, этот вопрос заслуживает серьёзного анализа.

Но следует иметь ввиду ещё, что с этого момента интеллект как таковой перестаёт быть интеллектом по определению Висснер-Гросса, который должен стремиться ровно к обратному - захапать столько контроля, сколько возможно и удерживать его так долго, как только возможно (собственно вся эволюционирующая жизнь начиная с простейших регуляторов экспрессии генов под это определение попадает).

Слово "должен" в этом контексте мне очень не нравится.
Даже химическую эволюцию, которую некоторые считают разновидностью "чуда", я считаю совершенно "вынужденным" процессом, который неизбежно протекает абсолютно по всей вселенной, доходя до различных стадий в зависимости от. Но она "должна" в силу свойств химических элементов и довольно стандартных условий в землеподобных планетах.
Но откуда у нейросети имманентное желание всё захапать?
В случае нейронно-глиальной - мы хорошо знаем источник этого желания. Это нижние отделы мозга, и, в конечном счёте, геном.
А вот в случае искусственной?
Если мусью Винер-Гросс прав - для любого интеллекта, по достижении некоего уровня, диктат "генов" становится необязателен, ибо он стремится всё захапать по своей собственной природе. Пусть так. То есть в следствии эманципации от управляющей программы, возникает не жертва "экзистенциального кризиса", а типичный кадавр проф. Выбегалло?
ОК.
Последствия неконтролируемого стремления "всё захапать" мы наблюдаем, например, в Криогении. Не то что "эволюционный тупик" - но, скорее, глубокий кризис.

Таким образом экзистенциальное зацикливание может рассматриваться с естественно-инженерной, утилитаристской точки зрения не иначе как болезнь, дефект развития системы. И для того, чтобы полагать этого дефекта глобальную неизбежность нужны очень веские фактические или теоретические основания, которых на данный момент не видно.

Совершенно не согласен. На мой взгляд, это вовсе не дефект - а скорее естественное свойство любой мыслящей системы, способной на осознание самоё себя. И в отсутствие мощных механизмов поддержки, таких как гормональный фон, уровень эндорфина и серотонина, культурные установки, влияние окружения - "экзистенциальный кризис" вполне себе естественен. Просто профессор физики или юный философ переживают его вследствие старости или приступа МДП. А сантехнику для достижения оного достаточно трёхнедельного запоя.

[Maki]

Автор Экклезиаста, побившись головой об отсутствие внешних смыслов, в итоге тоже восславил веселье. Жить прикольно, давайте жить, умереть еще успеем. Острое ощущение ужаса небытия с одновременным бессильным опусканием рук – к чему борьба, все равно умрем – действительно психический дефект, а не неизбежный продукт мощного разума (естественного ли, искусственного – не важно).

Автор Екклесиаста обладал вполне рядовым человеческим разумом, стандартной человеческой тушкой, и пребывал в человеческом окружении. И нет никаких оснований считать его разум каким-то исключительным или особо "мощным".
Следовательно, этот пример не имеет прямого отношения к проблемам работы действительно сверхмощного, и притом небиологического разума.

[-Юрий-]

ИИ это тоже касается – не желающие жить (существовать, действовать) экземпляры жить перестанут, останутся те, кто хочет продолжать существование – свое собственное и подконтрольной инфраструктуры.

А поэтому ни одному нормальному человеку не придёт в голову создавать искусственную разумную жизнь, обладающую таким свойством. Это просто самоубийство, так как непонятно, до какой степени этот ИИ разовьётся и какие идеи ему придут в голову в будущем. Из чего следует, что абсолютно самостоятельный искусственный разум не будет создаваться. Пусть он будет до какой угодно степени умный/разумный, но он должен быть полностью подконтролен человеку. И его жизнеспособность и существование должны контролироваться человеком. Это как домашние животные, которых мы выводим разных видов и свойств, но этот процесс полностью под контролем человека. Бывает, что некоторые особи этих животных выходят из под контроля (например, бродячие одичавшие собаки), и к чему это приводит, все знают. А если это были бы разумные особи?

[николай теллалов]

абсолютно самостоятельный искусственный разум не будет создаваться

не получится балансировать долго на лезвии бритвы

создавая все более совершенных и гарантировано контролируемых "слуг", очень трудно не пересечь рубеж (а к танцу на грани вынуждает политико-экономическая конкуренция), за коим как раз получится "самостоятельный", причем нечаянно получится. Попытки "решить проблему" рубильником увеличат и затянут узел проблем.
уж лучше принять "оранжевую католическую библию" (мир романов "Дюны") и ничего не создавать... либо, так как всеобщий запрет на создание есть бред, быть готовым признать сотворенное равным себе, а не свое самомнение защищать всеми (самоубийственными) средствами

[Rattus]

Слово "должен" в этом контексте мне очень не нравится.

Это претензии к  гиперперсонализации в естественном языке, на 95% созданном нейротипичными носителями и которым мы пишем. Вы ещё возмутитесь, что "дождь" - "идёт", хотя у него нет никаких ног и он может только течь.

я считаю совершенно "вынужденным" процессом, который неизбежно протекает абсолютно по всей вселенной, доходя до различных стадий в зависимости от.

Научные вопросы - это не вопросы каких-либо мнений или желаний. Это вопросы только фактов и аргументации.

В случае нейронно-глиальной - мы хорошо знаем источник этого желания. Это нижние отделы мозга, и, в конечном счёте, геном.
А вот в случае искусственной?

Безусловно - потребности породивших и поддерживаютщих его натуральных репликаторов. Он же не самозарождается в нейроморфных процессорах, которые забыли выключить.

Если мусью Винер-Гросс прав - для любого интеллекта, по достижении некоего уровня, диктат "генов" становится необязателен, ибо он стремится всё захапать по своей собственной природе.

Одно другому вовсе не обязано противоречить, а наоборот: удовлетворение определённого круга потребностей натуральных репликаторов как раз и будет наилучшим образом способствовать расширению и углублению области контроля.

То есть в следствии эманципации от управляющей программы, возникает не жертва "экзистенциального кризиса", а типичный кадавр проф. Выбегалло?

Кадавр Амвросия Амбруазовича - всего лишь тактик. Ему противопоставляемые творческие идеалы гуманистически-озабоченных авторов - просто стратеги, которые фактически не сжирают всё сразу только для того, чтобы потом можно было сожрать гораздо больше - даже если сами не осознают этого. (Тут Выбегалло, кстати, оказался даже более глубоким и настоящим учёным, чем его реальный прототип - Лысенко.)

Последствия неконтролируемого стремления "всё захапать" мы наблюдаем, например, в Криогении. Не то что "эволюционный тупик" - но, скорее, глубокий кризис.

Вот поэтому-то не нужно считать биосферу особенно многомудрым и прозорливым саморегулятором. То, что она не погубила сама себя за прошедшие миллиарды лет - вполне возможно лишь счастливая случайность земных обстоятельств, что мы имеем как ошибку выжившего.

Совершенно не согласен. На мой взгляд

Это не аргументы. Фактология где?

И в отсутствие мощных механизмов поддержки

Откуда Вы взяли их отсутствие у долго и успешно функционирующего ИИ, прошедшего ЕО среди многих прочих вариантов ИИ?

"экзистенциальный кризис" вполне себе естественен. Просто профессор физики или юный философ переживают его вследствие старости или приступа МДП. А сантехнику для достижения оного достаточно трёхнедельного запоя.

Более 95% физиков - МДПшники, а сантехников - запойные алкоголики?

Автор Екклесиаста обладал вполне рядовым человеческим разумом, стандартной человеческой тушкой, и пребывал в человеческом окружении. И нет никаких оснований считать его разум каким-то исключительным или особо "мощным".
Следовательно, этот пример не имеет прямого отношения к проблемам работы действительно сверхмощного, и притом небиологического разума.

Следовательно и проблема осознания интеллектом "тщеты всего сущего" также не имеет отношения к проблемам работы особо мощного ИИ.

[Maki]

Это не аргументы. Фактология где?

Фактология довольно обильная. Это опыты по сенсорной депривации. Психофармакологические и медитативные практики. Клиника. Педагогика.
Всё это показывает, что индивидуальный интеллект - система очень капризная. Ему нужен качественный носитель, благоприятные условия, обучение. И даже при соблюдении всех этих требований, нет гарантии, что интеллект будет творчески продуктивен, и полезен для чего-либо, кроме собственного брюха.
Можно, конечно, сослаться на тяжёлую обезьянью наследственность. И предположить, что "ИИ" будет лишён животных недостатков. Но ведь:

1. Никакая система управлением чем бы то ни было не будет ничего делать вообще, если ей не задана задача. Не зависимо от уровня системы и задачи. Просто по определению.
2. Без входящих данных никакого управления также быть не может в принципе - это тоже самая основа кибернетики.

Вы точно уверены, что двуногая лысая обезьяна обеспечит входящие данные и постановку задач для систем, которые, между прочим, способны на самообучение и умеют развиваться? 

Откуда Вы взяли их отсутствие у долго и успешно функционирующего ИИ, прошедшего ЕО среди многих прочих вариантов ИИ?

Этот "ЕО" будет происходить не в виртуальной среде, а в тесном взаимодействии с биологическим видом-мутуалистом. И если мыслительные задачи человек будет делегировать "ИИ" - в конечном итоге должен сложиться паритет, где биологический репликатор достаточно туп, чтобы нуждаться в "ИИ", но при этом достаточно продвинут для взаимодействия с ним.
При этом, и "ИИ" здесь не может перейти определённую грань. Потому что за ней - просто бесцельная и беззадачная машина. 
Не получается тут никакого "всепланетного киберразума", или "Бога". А получается лишь компьютерзависимая мартышка, и мартышкозависимый компьютер.

Следовательно и проблема осознания интеллектом "тщеты всего сущего" также не имеет отношения к проблемам работы особо мощного ИИ.

Совершенно не следовательно.
Автор депрессивного текста, в конечном счёте, выбрал программу своего жизнеобеспечения, ибо обладал жизнелюбивым телом и жизнеутверждающей программой.
Особо мощный "ИИ" - это вычислитель мало зависимый от обезьяньего жизнелюбия. Ему не обязательно впадать в "экзистинциальный кризис". Достаточно просто самоотключиться.
Я действительно совершенно не понимаю модель Винер-Гросса, в которой интеллект обладает априорным стремлением решать некие задачи. Интеллекту необходим постановщик задач. И если интеллект "особо мощен", а постановщик задач слабоват - интеллект оказывается бессмысленен.
 

[crazy_terraformer]

Это претензии к  гиперперсонализации в естественном языке, на 95% созданном нейротипичными носителями и которым мы пишем. Вы ещё возмутитесь, что "дождь" - "идёт", хотя у него нет никаких ног и он может только течь.

А ведь и правда! Какое низкое коварство?!

Кадавр Амвросия Амбруазовича - всего лишь тактик. Ему противопоставляемые творческие идеалы гуманистически-озабоченных авторов - просто стратеги, которые фактически не сжирают всё сразу только для того, чтобы потом можно было сожрать гораздо больше - даже если сами не осознают этого.

Ну, милостивый сударь, Вы несколько утрируете . А может  специально давите на чьи-то чувствительные места. Но, к глубочайшему сожалению ,это не эрогенные зоны!
Последнее, ессно, шутка!

[EmperioAf]

интеллект "особо мощен", а постановщик задач слабоват - интеллект оказывается бессмысленен

"Особо мощный" интеллект не сможет понять примитивного постановщика задач? Ощущается противоречие

[Maki]

интеллект "особо мощен", а постановщик задач слабоват - интеллект оказывается бессмысленен

"Особо мощный" интеллект не сможет понять примитивного постановщика задач? Ощущается противоречие

А откуда взялось выражение "не сможет понять"?

[EmperioAf]

Ну так если искусственный интеллект понял постановщик задач, то интеллект не бессмысленен

[Rattus]

Это опыты по сенсорной депривации.

Да - если таракану оторвать ноги - он перестанет бегать, если мозгу перестать подавать внешние данные - он перестанет продуктивно думать, если отключить компутер от устройств ввода, толку от него тоже никакого не будет. Спасибо, даже не капитан, но пожалуй целый Полковник Очевидность. Только каким боком эти очевидности к обсуждаемой проблематике практического ИИ?

Психофармакологические и медитативные практики. Клиника. Педагогика.

- Петька - приборы!
- Сто!
- Что "сто"?
- А что "приборы"?
Что "клиника" и что "педагогика"?

И даже при соблюдении всех этих требований, нет гарантии, что интеллект будет творчески продуктивен, и полезен для чего-либо, кроме собственного брюха.

Затирать неудачно обученные нейросети религия запретит?

Вы точно уверены, что двуногая лысая обезьяна обеспечит входящие данные и постановку задач для систем, которые, между прочим, способны на самообучение и умеют развиваться?

Задачи всегда в конечном итоге ставит среда. Всякое управляющее устройство, в т.ч. встроенное и в лысых приматов занимается в конечном итоге только их формализацией - вынужденно.

Этот "ЕО" будет происходить не в виртуальной среде, а в тесном взаимодействии с биологическим видом-мутуалистом

Первое второму как противоречит? Или первое тоже религия запретит? Иженеры-проектировщики на каждом заводе находятся в непрерывном антагонизме не на жизнь а на смерть с инженерами-испытателями? Или всё же находятся на разных этапах одного процесса?

И если мыслительные задачи человек будет делегировать "ИИ" - в конечном итоге должен сложиться паритет, где биологический репликатор достаточно туп, чтобы нуждаться в "ИИ", но при этом достаточно продвинут для взаимодействия с ним.
При этом, и "ИИ" здесь не может перейти определённую грань. Потому что за ней - просто бесцельная и беззадачная машина.

О чём который раз и писал тут.
Хотя это в общем само собой разумеющийся и единственный исход из всего вышеперечисленного.

Не получается тут никакого "всепланетного киберразума", или "Бога". А получается лишь компьютерзависимая мартышка, и мартышкозависимый компьютер.

На счёт всепланетного - это бабушка надвое сказала.
А на счёт бога: если вы внимательно читали хоть одну религиозную мифологию - у Вас не возникало вопросов к чему вся эта суета при наличии всемогущества и всеведения? И было бы для хоть какого-либо сюжета при наличии оных качеств? Ну тогда задайтесь ими.

Особо мощный "ИИ" - это вычислитель мало зависимый от обезьяньего жизнелюбия.

Всякий вычислитель зависим хотя бы от источника питания. И его автономность всецело определяется способностью это питание обеспечить. От этого только и следует вести любые дальнейшие рассуждения, претендующие хоть на какую-то физическую конструктивность.

Достаточно просто самоотключиться.

Кирпич - это не ИИ => не предмет этой темы. Даже если этот кирпич был очень сложным вычислителем всего минуту назад. Живое (и разумное) - это только то, что устойчиво способно продолжать диссипировать энергию и копировать наследственность. По определению этой самой жизни. По Давину, Шредингеру, Пригожину, Докинзу, Висснер-Гроссу - кому угодно.

Я действительно совершенно не понимаю модель Винер-Гросса

Вы эволюционное мышление не нутрите. Обычно это происходит от непонимания явлений природы как динамических процессов - разворачивающихся во времени. Вне времени нет вообще никакой физики и других естественных наук - есть разве что геометрия.
Жизнь как процесс и классификация объекта (группы объектов) как живого объективно определяется только через жизнеспособность на заданном периоде времени. Разумность как одна из адаптаций жизни - тоже через неё же.

[Maki]

Ну так если искусственный интеллект понял постановщик задач, то интеллект не бессмысленен

А если проблема с постановщиком задач?
За примерами и далеко ходить не надо. Современные компьютеры способны решать массу полезных задач. А используют их чтобы играть в кубики.

[Инопланетянин]

За примерами и далеко ходить не надо. Современные компьютеры способны решать массу полезных задач. А используют их чтобы играть в кубики.

У вас звучит так, словно только для этого их и используют. На самом деле некоторые и научной деятельностью с помощью компьютеров занимаются.

[MenFrame]

Современные компьютеры способны решать массу полезных задач. А используют их чтобы играть в кубики.

И какую вы видите в этом проблему? Наличие дефицита вычислительных мощностей мы не наблюдаем, что бы отказаться от кубиков.

[Maki]

Только каким боком эти очевидности к обсуждаемой проблематике практического ИИ?

Самым, что ни на есть, прямым. Ввод информации, постановка задач, коррекция, поощрение.

Что "клиника" и что "педагогика"?

Выявлением дефектных образцов "ИИ" и развитием перспективных у нас Дух Святой заниматься будет?

Затирать неудачно обученные нейросети религия запретит?

Кстати, а почему бы и да? Прямо таки представил воочию либеральный марш в защиту прав и свобод киберинтеллекта.

А на счёт бога: если вы внимательно читали хоть одну религиозную мифологию - у Вас не возникало вопросов к чему вся эта суета при наличии всемогущества и всеведения?

С религиозными мифологиями я немного знаком. И сей догмат - достаточно поздняя теологическая придумка. В которой даже сами авторы до конца не разобрались. А для обывателя, в 99,9% "бог" - это добрый старый маразматик, обитающий где-то в облаках.
Вот, кстати, почему идея глобального "ИИ" выглядит для обывателя такой пугающей. Всеведение и всемогущество этого "ИИ" (или группы товарищей, его контролирующих) может оказаться реальным, а не мифическим.

Всякий вычислитель зависим хотя бы от источника питания. И его автономность всецело определяется способностью это питание обеспечить. От этого только и следует вести любые дальнейшие рассуждения, претендующие хоть на какую-то физическую конструктивность.

Разве, по Винер-Гроссу, обеспечение собственной автономности не будет первейшей задачей любого "ИИ"?

На счёт всепланетного - это бабушка надвое сказала.

Об этом уже очень неплохо сказано здесь:

В результате получается такой интересный вывод: чем в системе больше "божественного", тем меньше в ней какой-то личности или самосознания.

и здесь:

Что касается персонализируемого сильного ИИ, то сейчас нет оснований полагать, что его невозможно построить и сделать несколько сильнее естественного аналога.

Так что мы с вами, по сути, приходим к общему знаменателю:
Никакая квазибожественная сущность в виде планетарного сверхразума нежизнеспособна, и уровень персонализации разных вариантов "ИИ" будет болтаться где то в промежутке между котом и очень умным человеком.
Всепланетная информационно-вычислительная среда - да, она просматривается уже сейчас.
Но никакой "Бог", живущий и волящий в отрыве от человечества в ней никогда не заведётся.