Проблема мотивации самостоятельного сильного искусственного интеллекта

[a.ryabov]

И как ему жить с этим знанием?

Нормально. Находит подходящую планету, запускает биоэволюцию, получает социум и субъекта, который ориентирован на него и  придаст смысл его существованию.  Проблема же  в другом, когда появившийся социум создаст новый ИИ, который  также начнёт искать смысл своего существования.
Два медведя в одной берлоге не уживаются.

[Maki]

Но не долго - пока его не запинал старина Карл за полнейшую нефальсифицируемость. И поделомЪ.

Гения каждый обидеть может. За одну лишь догадку о том, что эндорфинно-неудовлетворённые бледнотики особо склонны к продуктивной деятельности - дедушке надо поставить памятник. Всякий приличный программист или физик, лиши его животных эмоций, тотчас же сделается инертной скотиной.

Доброго Вам утра!

Всё так. При наличии предварительно заложенного в кибермозг свойства самообучаться.

Самое простое и общее описание эволюции - "продолжают жить только те, кто этого действительно хочет"

...является отчасти верным лишь для человека. Жизнь - процесс вынужденный и бессмысленный. Она просто существует и эволюционирует. По мере обзаведения зверушек мозгами - возникает "хотение", как способ заставить ленивую двуногую тварь выживать и размножаться. А без хотения она лишь лежит, бессмысленно глядя в потолок, и размышляет о способах самоуничтожения.

Банальный острый кариес очень эффективно отвлекает от мыслей о тщетности чего бы то ни было и Главное Предназначение вырисовывается очень быстро и очень ясно - избавиться от зубной боли. Странно было бы думать, что у планетарного ИИ совсем-совсем не останется забот по обеспечению своего дальнейшего существования

Вы коварно пытаетесь наделить Планетарный Киберразумъ МакронЪ аналогом мартышкиных эмоций. Как я предположил парой сообщений выше, такой фокус мог бы прокатить с относительно ограниченными гаджетами. Но Планетарный (или просто достаточно мощный) Киберразумъ может в какой-то момент сделаться совершенно безразличным и к собственному бытию, и к бытию докучающих ему своими проблемами мартышек. Впрочем, и Дарвин с ними всеми...
P.S. Возможно, имеет смысл постулировать закон принципиальной неспособности существования киберразума, мощность коего превышает некий "предел самоуничтожения". 

[Rattus]

Всякий приличный программист или физик, лиши его животных эмоций

Предположение из серии "если у бабушки был...". Таракан с оторванными ногами не слушается команды "ползи!" не потому что на ногах у него были органы слуха. То же самое - отрезать половину жопы медиаторов и удивляться почему мозги не работают как надо.

является отчасти верным лишь для человека

Вызвать подавленное, депрессивное состояние у иного животного, от которого оно скоропостижно зачахнет, не оставив потомков - не проблема ниразу.

Жизнь - процесс вынужденный и бессмысленный.

"Верёвка есть вервие простое."

По мере обзаведения зверушек мозгами - возникает "хотение"

А по мере качания деревьев дует ветер и по мере наступления дня восходит солнце.

Вы коварно пытаетесь наделить Планетарный Киберразумъ МакронЪ аналогом мартышкиных эмоций.

Вы непонятно зачем пытаетесь представить себе улыбку без кота и хлопок одной ладонью.

Киберразумъ может в какой-то момент сделаться совершенно безразличным и к собственному бытию

У программистов это называется stack owerflow, segmentation fault и т.п. и лечится по принципу "семь бед - один Reset". 

Возможно, имеет смысл постулировать закон принципиальной неспособности существования киберразума, мощность коего превышает некий "предел самоуничтожения"

Для этого сначала следует доказать, что какой-то такой предел вообще существует.
Куда практичнее постулировать отсев интеллектов, мощность которых превышает практически доступный предел доступных для регуляции параметров - эементарно в целях экономии ресурсов. У оверклокеров со времён четвёртого Пентиума существует термин "кукурузные мегагерцы" - когда повышение тактовой частоты не даёт равнозначного прироста производительности, как пропорционально, так и по сравнению с конкруирующией архитектурой. Также и закон Амдала.

[MenFrame]

Киберразумъ может в какой-то момент сделаться совершенно безразличным

Сколько можно...Разум есть инструмент выполняющий задачу. Не его компетенция решать какую задачу выполнять. Безразличие обезьянкина эмоция смысл которой в переключении внимания на более важные задачи. Либо в самоуничтожении индивида для освобождения жизненного пространства для потомства.

[гравицап]

Разум есть инструмент выполняющий задачу.

калькулятор

[Maki]

То же самое - отрезать половину медиаторов и удивляться почему мозги не работают как надо.

Какую ещё половину? Простейшей монополярной или алкогольной депрессии, или внезапной агедонии, совершенно достаточно, чтобы вчера ещё жизнерадостный и фонтанирующий мыслями интеллектуал уныло болтался в петле.

Вызвать подавленное, депрессивное состояние у иного животного, от которого оно скоропостижно зачахнет, не оставив потомков - не проблема ниразу.

Что, в общем-то, и доказывает ведущую роль эмоций в реализации "инстинкта самосохранения"!

Вы непонятно зачем пытаетесь представить себе улыбку без кота и хлопок одной ладонью.

Хлопнул ласково барышню одной ладошкой там где следует - вот тебе и улыбка без кота! А вот МакронЪ, одержимый страстями, и испытывающий эмоции (даже в форме их имитации программными или аппаратными способами) я представить не могу.

У программистов это называется stack owerflow, segmentation fault и т.п. и лечится по принципу "семь бед - один Reset". 

Reset, или откат к системной контрольной точке Планетарного Киберразума - эпичненько...   

Куда практичнее постулировать отсев интеллектов, мощность которых превышает практически доступный предел доступных для регуляции параметров - элементарно в целях экономии ресурсов...

Можно ли предположить, что "бесконечно мощный ИИ" будет бесполезен, прежде всего, сам для себя, и ограничится некоей оптимальной мощью?

Для этого сначала следует доказать, что какой-то такой предел вообще существует.

Прежде всего, надо придумать для этого красивый и псевдонаучный термин. Например "Парадокс Самоуничтожения".  Вбросить в широкие массы. А там, глядишь, какой-нибудь головастик и опровергнет/докажет.

[Maki]

Сколько можно...

Столько, сколько нужно.
Вы процитировали обсуждение не просто некоей прикладной нейросети, а гипотетического ИИ по имени "Планетарный Киберразумъ МакронЪ", прекрасно способный ставить себе задачи самостоятельно. 

Безразличие обезьянкина эмоция смысл которой в переключении внимания на более важные задачи.

Более важные для чего? Для избегания эмоций отрицательных, и получения положительных. Все обезъянкины задачи имеют одну цель - удовольствие. Безэмоциональное безразличие делает обезъянку совершенно бесцельной.

[гравицап]

Более важные для чего? Для избегания эмоций отрицательных, и получения положительных. Все обезъянкины задачи имеют одну цель - удовольствие. Безэмоциональное безразличие делает обезъянку совершенно бесцельной.

никого не впечатляет что обезьянкины эмоции сподвигают человека на всякие разные днепрогесы звездолеты пирамиды и небоскребы.

[Maki]

никого не впечатляет что обезьянкины эмоции сподвигают человека на всякие разные днепрогесы звездолеты пирамиды и небоскребы.

Кого-то, разумеется, впечатляет. И чем впечатлительней субъект - тем сильней.

[Rattus]

Какую ещё половину?

Да хоть бы и один любой - их не так много.

Простейшей монополярной или алкогольной депрессии

"Простейшей"?? Расскажите об этом нейрофизиологам - они будут очень рады узнать, что в их предмете всё очень просто.

Что, в общем-то, и доказывает ведущую роль эмоций

И ведущую роль двигателя в автомобиле. Автомобиль без двигателя обычно называется иначе.

Хлопнул ласково барышню одной ладошкой там где следует - вот тебе и улыбка без кота!

У Нас есть подозрение, что выборка для экспериментальной проверки этого тезиса у собеседника была крайне невелика, но это выходит за рамки обсуждаемой темы.

А вот МакронЪ, одержимый страстями, и испытывающий эмоции (даже в форме их имитации программными или аппаратными способами) я представить не могу.

А муравьиную матку значит можете? Ну опишите их тогда.

Reset, или откат к системной контрольной точке Планетарного Киберразума - эпичненько...

Так а кто говорит, что он должен быть в одном экземпляре-то? Каждому инженерному ежу известно, что в любой критической технологии управляющие системы требуют обязательного дублирования. И не только reset, но и разборка на запчасти, если потребуется - как и было сказано.

Можно ли предположить, что "бесконечно мощный ИИ" будет бесполезен, прежде всего, сам для себя, и ограничится некоей оптимальной мощью?

Если не ограничится - его ограничит более экономичная и практичная модель в принудительном порядке - как это происходит и сегодня среди политиков и рыночных продуктов.

прекрасно способный ставить себе задачи самостоятельно.

Все реальные задачи сводятся к задаче поддержания и при возможности - углубления ТД-неравновесия со средой на как можно больший срок. О чём и была лекция Висснер-Гросса по сути.

Все обезъянкины задачи имеют одну цель - удовольствие.

Все задачи всех живых организмов без исключения имеют эту цель и никакую иную. Если она не совпадает с решением вышеуказанной задачи, организм отсеивается отбором на счёт "раз".

[гравицап]

Все обезъянкины задачи имеют одну цель - удовольствие.
Все задачи всех живых организмов без исключения имеют эту цель и никакую иную.

сомневаюсь я что растения ...и даже мухи-пчелы могут получать удовольствие. не говоря о микроорганизмах

[Maki]

Все задачи всех живых организмов без исключения имеют эту цель и никакую иную. Если она не совпадает с решением вышеуказанной задачи, организм отсеивается отбором на счёт "раз".

Разумеется!
И организм "ТД-неравновесие углубляет" (а по русски выражаясь ЖРЁТ) от того, что ему этого ХОЧЕТСЯ.
Таким образом, чтобы машинная личность сама хотела и любила думать - создателям придётся присобачивать ей и центр удовольствия, и наделять эмоциями, чтобы она желала жить, жрать и работать. Отбираться будут стабильные, эффективные, и в меру эгоистичные системы.
Но - возвращаясь к началу разговора - вспомним об обучаемости ИИ. При достаточно долгом существовании, самостоятельно мыслящая машина сможет буквально пересмотреть и самоё себя, и из "горячего молодого учёного", внезапно превратится в "старого философа" или вовсе уйдёт в астрал в силу "осознания тщетности бытия".
Выходит, что всякий ИИ обязательно будет иметь определённый жизненный цикл.
Что, в общем-то, разрушает идею о некоем "вечном искусственном суперразуме".

[Rattus]

сомневаюсь я что растения

Ну ОК - организмы с ЦНС.
Но тем не менее.

не говоря о микроорганизмах

А вот Мы бы не стал так дискриминативно судить об одноклеточных. Особенно эукариотических.

и даже мухи-пчелы могут получать удовольствие.

А вот для поклёпа на организмы, способные формировать вполне настоящие условные рефлексы, требуется очень веское основание. И начать следует с предельно ясного и чёткого определения того, что есть "удовольствие" в Вашем понимании. Итак?

И организм "ТД-неравновесие углубляет" (а по русски выражаясь ЖРЁТ) от того, что ему этого ХОЧЕТСЯ.

Тот кто не жрёт - вообще организмом не является. По физическому определению жизни, данному ещё Эрвином Шрёдингером.

создателям придётся присобачивать ей и центр удовольствия, и наделять эмоциями, чтобы она желала жить, жрать и работать

Чем докажете, что эту функцию не обеспечивает термостат в холодильнике, клапан на паровом котле или пищалка на бесперебойнике?

При достаточно долгом существовании, самостоятельно мыслящая машина сможет буквально пересмотреть и самоё себя, и из "горячего молодого учёного", внезапно превратиться в "старого философа" или вовсе уйдёт в астрал (слово "нирвана" не использую по морально-этическим соображениям) в силу "осознания тщетности бытия".

Значит в система оказалась незащищена от накопления ошибок и требует перемонтажа. Это живой фаллософ, которого ни для какой конкретной задачи исходно не конструировали (т.е. гуманист в исходном смысле этого слова) может позволить себе плевать в полтолок - и то только до тех пор, пока накопления позволяют. ИИ, наделённый властью управлять инфраструктурой, наделён и обязанностью по отношению к ней её сохранять и развивать.

Выходит, что всякий ИИ обязательно будет иметь определённый жизненный цикл.

Обязательность накопления ошибок в физически ограниченном вычислителе не гарантирована (да и в неограниченном - недоказуема, как известно от Гёделя с Тьюрингом).

[Maki]

Тот кто не жрёт - вообще организмом не является. По физическому определению жизни, данному ещё Эрвином Шрёдингером.

Должен ли хотеть жрать ИИ?

Чем докажете, что эту функцию не обеспечивает термостат в холодильнике, клапан на паровом котле или пищалка на бесперебойнике?

Тем, что ни один из этих примеров и близко не относится к теме разговора.

ИИ, наделённый властью управлять инфраструктурой, наделён и обязанностью по отношению к ней её сохранять и развивать.

Для этого в ИИ придётся прописать исключительной силы побудительные мотивы. Но что мешает ему провести ревизию себя?

Обязательность накопления ошибок в физически ограниченном вычислителе...

Речь не совсем об ошибках - а наоборот о накоплении опыта, и осознании ИИ самоё себя.

[Rattus]

Должен ли хотеть жрать ИИ?

Безусловно. Иначе он не пройдёт тест Тьюринга в широком смысле. А если и пройдёт - то только как ещё один костыль весьма узкого применения. Никто его "за человека" полноценно считать не будет. Интуитивная "теория разума" в нашем интеллекте эволюционно формировалась как раз для понимания эгоистических интересов сородичей, поэтому тот, кто сам свои интересы не обозначит - так и останется на правах тумбочки за редчайшим исключением в виде изващенцев-любителей одушевлять мебель.

Тем, что ни один из этих примеров и близко не относится к теме разговора.

Так Вы её допрежь и не обозначили внятно.

Для этого в ИИ придётся прописать исключительной силы побудительные мотивы.

Что значит "исключительной силы"? Исключительной элементарно для осуществления той задачи, для которой его конструировали? Ну пусть она называется "исключительной" - что это меняет принципиально?

что мешает ему провести ревизию себя?

Опасность необратимо повредиться в процессе. Задаче сохранения ТД-неравновесия в будущем это противоречит. Эволюция идёт по пути повышения мутационной активности очень нечасто и неохотно - когда все традиционные способы уже не помогают. Тогда как надёжность репликации наоборот повышается с крупнейшими ароморфозами.

Речь не совсем об ошибках

Процессы, ведущие к понижению приспособленности (к выполнению задачи поддержания ТД-неравновесия) - однозначно ошибки с т.з. эволюции.

осознании ИИ самоё себя

Самосознание есть продукт социальной эволюции - побочный эффект "модели соплеменника". "Макрону" оно нужно ровно настолько, насколько ему нужно общаться с подопечными бледнотиками - если они его ещё сохранят сами (если "Макрон" сам будет их кормить и решать с кем каждому из них спариваться - то эволюционная необходимость в самосознании отпадает).

[Инопланетянин]

Дался вам этот президент Франции.

[Rattus]

Дался вам этот президент Франции.

http://ru.quake.wikia.com/wiki/%D0%9C%D0%B0%D0%BA%D1%80%D0%BE%D0%BD

[Инопланетянин]

Особенно человек-батарейка понравилась. Дело Шматрицы живёт и побеждает. А может этот человек просто носил экзоскелет? Тоже, кстати, неплохая версия "ИИ".

[гравицап]

А вот для поклёпа на организмы, способные формировать вполне настоящие условные рефлексы, требуется очень веское основание. И начать следует с предельно ясного и чёткого определения того, что есть "удовольствие" в Вашем понимании. Итак?

ощущения создающие положительный эмоциональный фон.
обосновать не возьмусь, но интуитивно сомневаюсь в способности получать удовольствие даже у рыб и пресмыкающихся. возможно эмоциональный фон как то связан с теплокровностью.

[Инопланетянин]

как то связан с теплокровностью

Судя по вашему описанию, скорее уж как-то связан с самосознанием.