Проблема мотивации самостоятельного сильного искусственного интеллекта

[MenFrame]

Но никакой "Бог", живущий и волящий в отрыве от человечества в ней никогда не заведётся.

Так же как он не завелся в черепной коробке человека. Конечные решения в которой принимаются древними структурами мозга, а интеллект исполняет функцию консультанта.

[Rattus]

Выявлением дефектных образцов "ИИ" и развитием перспективных у нас Дух Святой заниматься будет?

Те же, кто его и разрабатывал. У человеков в любом случае горизонт планирования - не более пары десятков лет. То, что покажет себя надёжным за этот срок - и будет поставлено на службу (возможно в нескольких слегка разных и слегка конкурирующих вариациях). Всё очень просто. Просто потому, что никакого более надёжного контроля систем по сложности сопоставимых с самими контроллёрами не существует.

Кстати, а почему бы и да?

Потому что тогда никто в это инвестировать не станет - также как в полёты к голым камням в вакууме. Большой ИИ требует больших вложений, а больших вложений в практическом мире без сколь-нибудь реального практического выхода не достать.

А для обывателя, в 99,9% "бог" - это добрый старый маразматик, обитающий где-то в облаках.

Потому уже просто чуть более умный ИИ на этом фоне будет смотреться куда как интереснее - и тогда обыватель - автор и носитель языка - назовёт его богоподобным, не взирая на философские жевания диванных нытиков на форумах по поводу "всемогущества". Ибо термин "Б-г" в лексиконе обывателя имеет куда более ясный и конкретный смысл - это просто всё, что имеет бОльшую могучесть и предсказательную силу чем любые человеки.

Разве, по Винер-Гроссу, обеспечение собственной автономности не будет первейшей задачей любого "ИИ"?

Опосредованно - да. Автономности от конкретных условий, а не от обслуживающего персонала вообще. Тем более когда персонал этот станет поодконтрольной частью инфраструктуры обеспечения его существования.

Никакая квазибожественная сущность в виде планетарного сверхразума нежизнеспособна

Нежизнеспособна на каком врменном промежутке? Почему?

и уровень персонализации разных вариантов "ИИ" будет болтаться где то в промежутке между котом и очень умным человеком.

А это ВНЕЗАПНО откуда такой тезис вылез? Какие конкретно есть реальные препятствия для преодоления верхней границы? (Другое дело, что оно при непосредственной коммуникации может не ощущаться особо - по той же причине, что непрофессионал в принципе не способен определить уровень квалификации профессионала, но разговор не о том же.)

Но никакой "Бог", живущий и волящий в отрыве от человечества в ней никогда не заведётся.

Это безусловно. И иное утверждать - чистая фрикота. Но разве тут это кто-то делает сейчас?
А вот планетарный вседержитель - пусть и на какое-то неизвестной продолжительности время и пусть далеко не над всеми человеками, а только над цивилизованными - почему нет?

[EmperioAf]

Ну так если искусственный интеллект понял постановщик задач, то интеллект не бессмысленен

А если проблема с постановщиком задач?
За примерами и далеко ходить не надо. Современные компьютеры способны решать массу полезных задач. А используют их чтобы играть в кубики.

Играть в кубики, также как и выполнять любой детерминированный алгоритм имеет смысл.
И смысл в том, чтобы занять время на деятельность, которая даёт постановщику задач удовольствие при низких затратах энергии.

[Maki]

Те же, кто его и разрабатывал.

Даже с тупым пентиумом так не прокатывает. Программы для него пишут сторонние товарищи, а обслуживают его или пользователи, или специально обученные люди. Я совершенно не случайно написал про педагогику. С естественным интеллектом, для его эффективной работы, приходится порядком повозиться. А самообучение "ИИ" - полагаете, его можно пускать на самотёк?

Потому уже просто чуть более умный ИИ на этом фоне будет смотреться куда как интереснее - и тогда обыватель - автор и носитель языка - назовёт его богоподобным, не взирая на философские жевания диванных нытиков на форумах по поводу "всемогущества". Ибо термин "Б-г" в лексиконе обывателя имеет куда более ясный и конкретный смысл - это просто всё, что имеет бОльшую могучесть и предсказательную силу чем любые человеки.

Обыватель - животинка трусливая и подозрительная. Так что малопонятный ИИ" и что-там мутящих с ним "умников" он, полагаю, склонен будет скорее демонизировать.

Опосредованно - да. Автономности от конкретных условий, а не от обслуживающего персонала вообще. Тем более когда персонал этот станет подконтрольной частью инфраструктуры обеспечения его существования.

Если "кибернотики", по Винер-Гроссу, будут самопроизвольно оптимизировать своё будущее, обеспечивать свою стабильность и своё развитие, и конкурировать за ресурсы - отбор "бледнотиков" должен пойти по принципу максимальной киберзависимости, но, при этом, с сохранением функциональности. Кибернезависимые же популяции, должна ожидать судьба тлей, не дающих сладкой пади.
Если же интеллект, в том числе "И", не содержит самопроизвольности - мутуализм выглядит более симметричным. И "бледнотики" остаются источником волевых импульсов для киберсетей.

Нежизнеспособна на каком временном промежутке? Почему?

Но ведь вы сами пишете про ЕО и отбор применимо и к "ИИ". Глобальная киберсреда может существовать и на геологических отрезках времени. Но конкуренция и отбор среди "ИИ" предполагает отбраковку неэффективных и несовременных форм. Так что какой-то особо долгоживущий "ИИ" просто невозможен, и, более того, ненужен.
Если же вы предполагаете сценарий, при котором один "ИИ" сожрал всю киберсферу - зачем такому кадавру заботиться об энтропии в будущем, и вообще решать какие-то задачи, если взрыв Солнца всё равно неизбежен? 

А это ВНЕЗАПНО откуда такой тезис вылез?

А что, он вылез ВНЕЗАПНО?

Можно, конечно, предположить, что дальше лежит Глобальный Эволюционный Тупик дальнейшего роста сложности - обрыв со спирали Дарвина-Эйгена, и что лежит он как раз в области утраты цели высокоавтономным сильным интеллектом - Вы по сути имеете ввиду именно это.

И при этом ещё

Фокус в том, что ни у какого соляриса в принципе нет никакой нужды иметь сознающую личность и проходить какой-то тест Тьюринга с его "контактёрами". Но это вовсе не исключает ему возможность иметь мощнейшие творческие и управляющие способности - такие, какие имеет наша эволюционирующая биосфера, одноклеточный фундамент которой связан в единый пангеном. То же самое касается и нашей цифровой ноосферы - Интернета. Фактически и то и то - не более чем единый протокол обмена данными всех её индивидов. Этот обмен и приводит к появлению в этой среде массы сложнейших форм, но самой среде вовсе не нужно как-либо персонализироваться, ибо она полностью самодостаточна, а всякая личность как раз наоборот - определяется только через коммуникацию с другой личностью. Им просто не о чем друг с другом говорить. А всё что нужно для понимания - написано в справочниках и учебниках.

Или это какой-то другой Rattus написал?

Впрочем, тут есть один любопытный момент. "Личность" имеет не только коммуникативные задачи. Она возникла как признак, позволяющий оберегаться и размножаться особо мощным биологическим вычислителям. Для интерфейса бледностик/кибернотик действительно достаточно личности кота. А вот для самосохранения и развития сверхмощной нейросети?

[Maki]

И смысл в том, чтобы занять время на деятельность, которая даёт постановщику задач удовольствие при низких затратах энергии.

Таким образом, прогнозируемое будущее "глобального киберразума" - это достаточной мощности игровая вселенная, по совместительству решающая задачи в области логистики, экономики и науки в интересах отдельных продвинутых пользователей. И ничто сверх этого не появится, потому что просто нет задач.

[EmperioAf]

И смысл в том, чтобы занять время на деятельность, которая даёт постановщику задач удовольствие при низких затратах энергии.

Таким образом, прогнозируемое будущее "глобального киберразума" - это достаточной мощности игровая вселенная, по совместительству решающая задачи в области логистики, экономики и науки в интересах отдельных продвинутых пользователей. И ничто сверх этого не появится, потому что просто нет задач.

А что ещё должно быть? Наука, как попытки объяснить несоответствие  текущих измерений и рассчитанных по моделям "измерений",  покрывает все попытки экспансии за пределы имеющихся знаний.
Т.е. когда пространственная экспансия за пределы имеющегося станет невозможна; а на том участке, где есть возможность измерять данные будут соответствовать моделям с предельной точностью, которая заявляется в моделях. В этот момент причин создавать новые модели не останется.  Останется лишь плодить сущности сверх необходимого и верить, что возможно ещё что то найти. Это будет конец измерительно-развивающейся науки.
Ну и пожалуй до конца времён останется вера в то, что по ту сторону чёрной дыры жизнь возможна.

[Maki]

А что ещё должно быть? Наука, как попытки объяснить несоответствие  текущих измерений и рассчитанных по моделям "измерений",  покрывает все попытки экспансии за пределы имеющихся знаний.

Действительно непонятно, что и зачем будет делать вычислительная сеть, мощности которой превышают потребности человечества. 

[Проходящий Кот]

Это комплекс прошлого по отношению к будущему.
А задачи находятся.....

[Maki]

А задачи находятся.....

Или не находятся.....

[EmperioAf]

А что ещё должно быть? Наука, как попытки объяснить несоответствие  текущих измерений и рассчитанных по моделям "измерений",  покрывает все попытки экспансии за пределы имеющихся знаний.

Действительно непонятно, что и зачем будет делать вычислительная сеть, мощности которой превышают потребности человечества.

Искать то, что лучше имеющегося

[pkl]

Да, разум приводит нас к пониманию, что неизбежна не только наша личная смерть, но и гибель биосферы Земли, а в дальней перспективе – и тепловая смерть Вселенной или Большой Разрыв. Ну и что?

Коли так, то жизнь не имеет смысла. И ещё неизвестно, как отреагирует ИИ, когда сделает это страшное открытие. У человека есть много чего, что мотивирует к жизни. Жизнь на не самой худшей планете, возможность путешествовать по ней и в её ближайших окрестностях, открывать что-то новое, наконец, возможность размножаться, вкусно кушать и т.п. ИИ всего этого будет лишён.

[Проходящий Кот]

Товарищь Дарвин проведет необходимую работу.
Останутся те ИИ, кому интересно в мире, несмотря на все предыдущие открытия.

[Maki]

И ещё неизвестно, как отреагирует ИИ, когда сделает это страшное открытие.

Оснащение эмоциями, страхами, вообще субьектностью - для "ИИ" совершенно ненужно. Как и личностными свойствами вообще. Зачем нужна сверхмощная самообучаемая истеричка?
Но если "ИИ " просто сделает вывод, что ему поставлены второстепенные цели, и, на самом деле, никаких целей у него нет - вот тут интересно.

Останутся те ИИ, кому интересно в мире, несмотря на все предыдущие открытия.

Или достаточно простенькие, чтобы исправно взаимодействовать с человечеством, и решать сугубо утилитарные задачи.

[MenFrame]

Коли так, то жизнь не имеет смысла. И ещё неизвестно, как отреагирует ИИ, когда сделает это страшное открытие.

ИИ все же предполагает наличие логики, потому быстро поймет абсурдность поиска смысла жизни. И уж не чего страшного в том что у жизни нет смысла нет. Там где нет цели, нет и смысла.

[Rattus]

Или не находятся...

Давайте поговрим об этом ну хотя бы после успешного разрешения этих шести вопросиков.

[-Юрий-]

Товарищь Дарвин проведет необходимую работу.

Тут нельзя рассчитывать на простой отбор, он может привести чёрт-те куда. Кто больше заплатит науке, тот и будет получать больше отдачи, нужной ему. А запросы могут быть самыми неблагоприятными. Что если кто-то захочет создать разум, способный держать под контролем всё человечество и за создание такого разума будет платить огромные деньги? И что, разрешать его делать? Нет, такие вещи не должны создаваться по принципу "кто платит, тот и заказывает музыку". Это должно быть строго под контролем всего человечества. Наверняка ведь есть некоторые богатенькие "буратины", которые могли бы финансировать создание своей собственной атомной бомбы. Но им это никто не позволяет. Никакого естественного отбора, только под контролем.

[mbrane]

Всякий вычислитель зависим хотя бы от источника питания. И его автономность всецело определяется способностью это питание обеспечить. От этого только и следует вести любые дальнейшие рассуждения, претендующие хоть на какую-то физическую конструктивность.

Пытался я эту простую мыслю 5лет назад -eще до текущего хайпа "искуственного интелекта" донести одному питерскому программеру-хорошему спецу-подрядчику...но все как об стенку горохом.

[Maki]

этих шести вопросиков

Ну решил некий "ЕИ" Теорему Пуанкаре. Что изменилось? Он сделался Глобальным Предиктором, или Машиахом? Обсеменил планету? Взорвал её нах?
Ничего такого. Выказал глубокое презрение к мартышачьей суете. И окуклился.
Ни жизнь, ни решение уравнений, ни само бытие не имеет никакого смысла. И, следовательно, эта бессмысленность не может быть источником задач. Следовательно, всякий интеллект, способный вычислить свою беззадачность, перестанет работать.

[BlackMokona]

способность к автономному существованию ака самоадаптации к среде, причем быстрой...пока не один альфазеро или альфаго на который дрочат все ИИ-дрочеры и близко не подходит под эти рамки

Они демонстрируют само адаптацию и автономное существование в среде в которую их помещают. (Шахматы,Го,Старкрафт,Дота...)Причём адаптацию быструю, намного быстрее человеческой. (Если брать реальное время на обучение сети,а не виртуальное)
А что эти среды лишь крайне упрощённые выдуманные реальности, так и их пока  никто из разрабочиков сильными ИИ не кличит. Шаг за шагом сложность виртуальной среды возрастает, в один момент до растёт и до сложности реального мира.
Го сложнее шахмат, а Старкрафт сложные Го. Растёт количество возможных состояний, пропадает открытость всей информации о происходящим и тд

[Nucleosome]

в один момент до растёт и до сложности реального мира.

поскольку описать в формальных параметрах даже все состоания молекул в капле воды невозможно - параметров надо больше, чем атомов во Вселенной, то скорее всего может только асмптотически приближаться...