Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Maki]

Читай - алгоритмы. Да, практически к любой ситуации человек может привыкнуть, и поведение любого человека можно, так сказать, автоматизировать обучением.

Именно так. Причём, чем меньше исполнителю даётся права на собственное целеполагание - тем эффективней работает вся система.
Собственно, именно по этому, все попытки привить ИИ личностные качества всегда будут лишь забавой. Машина ставящая цели себе сама, для людей станет просто бесполезна.

[ivanij]

все попытки привить ИИ личностные качества всегда будут лишь забавой.

 Странно. Неужели это до сих пор не было совершенно очевидно?

[ivanij]

Да, практически к любой ситуации человек может привыкнуть, и поведение любого человека можно, так сказать, автоматизировать обучением.

 Конечно, можно. Но... не нужно.
 

за невыполнение обязанностей
вот так и "тренируют" - угрозой санкций создают "мотивацию"

 Всё равно не понял. Неужели мотивация создаётся только угрозою санкций? Интересно, как отреагировали бы на это, скажем, В.Н.Леонов или Генрих Альтшулер.

[Maki]

Странно. Неужели это до сих пор не было совершенно очевидно?

Конечно же было. Но не всем:

Допустим был создан сильный ИИ, он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации. Классика, однако.
И чем ему дальше заниматься? Какие его цели и задачи на ближайшие 100, 1000, 1000000 лет?

[ivanij]

 Вот именно. Это опять-таки "допустим...". Как у Стругацких даже в отдалённом "описываемом будущем никто не верил в бунт машин".

[Maki]

Вот именно. Это опять-таки "допустим...

Что поделать, такие "допустим" всегда будут. Ведь людям свойственно опасаться непонятных вещей. Если человек не знает как устроен мозг, и не понимает как работает компьютер - он может однажды задуматься "а что если там, в железной коробке, есть кто-то чужой"...

[Серый Страж]

Читай - алгоритмы. Да, практически к любой ситуации человек может привыкнуть, и поведение любого человека можно, так сказать, автоматизировать обучением.

Именно так. Причём, чем меньше исполнителю даётся права на собственное целеполагание - тем эффективней работает вся система.

Не всегда эффективнее.

Собственно, именно по этому, все попытки привить ИИ личностные качества всегда будут лишь забавой. Машина ставящая цели себе сама, для людей станет просто бесполезна.

Вы не совсем правы – в некоторых ситуациях это не баловство, а насущная необходимость. И машины, способные ставить себе цели, в определённых ситуациях оказываются предпочтительнее машин, не способных это делать. То есть, такие машины не бесполезны.

Робот может оказаться очень дорогим, исследования, проводимые этим роботом, могут оказаться чрезвычайно важными, связь с роботом может оказаться непостоянной и неэффективной (связь периодически пропадает, сигналы идут долго и т.д.), условия работы робота могут оказаться сложными и быстроизменяющимися (оператор просто не успевает дать нужную команду роботу, робот вынужден функционировать в автономном режиме) и т.д. и т.п.

Что тогда можно сделать? Понятно, что оснастить такого робота системой с достаточно мощным ИИ, следует обязательно. Но ведь этого мало, его придётся ещё оснастить (программно и/или аппаратно) стремлением к самосохранению (хотя бы в урезанном виде).

К примеру, нарушение работы, нарушение целостности, нарушение функциональности и т.д. нашего робота, должно автоматически запускать у него алгоритмы/программы восстановления (работы, целостности, функциональности и т.д.). То есть, у робота на программном уровне будет реализована обратная связь в виде автоматического запуска алгоритма/программы восстановления.

По сути, у такого робота уже будет на базовом уровне заложено стремление к самосохранению (разумеется, в некоем урезанном виде). Это является частичным аналогом стремлений (которые на высшем уровне не осознаются) живых организмов.

Напомню: желание организма – это осознанное организмом стремление (то есть, организм осознал стремление).

Но, допустим, ситуация сложилась не стандартная (не та, которую смогли предусмотреть учёные) и существующие алгоритмы/программы не подходят (мало того, они могут оказаться даже вредны в сложившихся условиях) для устранения случившегося сбоя/поломки. Тогда у робота должна автоматически запуститься программа более высокого уровня, способная: оценить ситуацию на основе имеющихся знаний и поступающей информации, выработать модель решения на основе имеющейся базы заготовок решения хотя бы перебором вариантов, смоделировать реализацию выбранного варианта модели и оценить последствия этой реализации и т.д. и т.п. Тут уже просматривается аналогия с творческим процессом – процессом выработки конструктивного решения задачи.

Разумеется, функциональность программы высокого уровня может быть разной, вышеописанный набор способностей я привёл только для примера.

И так как, прямая реализация стремления тормозится (временно блокируется), то на высшем уровне работающего ИИ робота она должна быть представлена уже в виде желания/хотения (и, всё то время, пока программа высокого уровня вырабатывает решение это желание присутствует в фоновом режиме), мотивирующего и не позволяющего забыть для чего всё это.

Здесь уже выработанное решение является частичным аналогом цели, а сам процесс выработки решения является частичным аналогом процесса постановки цели.

Обратите внимание: преследуя только экономические и научные цели мы наделяем робота небольшим комплектом личностных свойств (в урезанном и частичном виде, конечно) – аналогом стремления к самосохранению (к стремлению выжить и восстановиться), аналогом творчества, аналогом желаний, аналогом целепологания и целеустремления. Какие уж тут забавы – тут насущная необходимость.

[Olweg]

Конечно, можно. Но... не нужно.

Почему? Что в этом плохого? Вы же сами писали про методики для экстремальных ситуаций. Подготовленный человек не будет тратить время, пытаясь как-то отреагировать на совершенно новую для себя ситуацию, а сможет сосредоточиться на более важных вещах - выученные алгоритмы поведения будут проходить на автомате, по большей части минуя сознания и освобождая его для задач более высокого уровня (не пытаться вспомнить, где висит огнетушитель и как им пользоваться, и не убегать в панике в первую попавшуюся дверь, а организовывать эвакуацию людей, например; неподготовленный человек это вряд ли сможет сделать) . В этом суть всех тренировок, учений и т.п.

[ivanij]

Конечно, можно. Но... не нужно.

Почему? Что в этом плохого? Вы же сами писали про методики для экстремальных ситуаций. Подготовленный человек не будет тратить время, пытаясь как-то отреагировать на совершенно новую для себя ситуацию, а сможет сосредоточиться на более важных вещах - выученные алгоритмы поведения будут проходить на автомате, по большей части минуя сознания и освобождая его для задач более высокого уровня (не пытаться вспомнить, где висит огнетушитель и как им пользоваться, и не убегать в панике в первую попавшуюся дверь, а организовывать эвакуацию людей, например; неподготовленный человек это вряд ли сможет сделать) . В этом суть всех тренировок, учений и т.п.

  Да, писал. Но вовсе не имел в виду некие заранее заданные алгоритмы, скорее, наоборот.

[Maki]

Не всегда эффективнее.

Речь шла про силовые структуры. Там целеполагатели находятся на самом верху. И для них критерий эффективности - чтоб всё было по команде. Но когда связь в системе теряется, а нижестоящие не умеют целеполагать - вот тогда начинаются проблемы.

Вы не совсем правы – в некоторых ситуациях это не баловство, а насущная необходимость.

Полностью согласен с вами. Автономные исследовательские аппараты - это то, где целеполагание в каких-то пределах необходимо.

[Серый Страж]

Не всегда эффективнее.

Речь шла про силовые структуры. Там целеполагатели находятся на самом верху. Но когда связь с ними теряется, а нижестоящие не умеют целеполагать - вот тогда начинаются проблемы.

Зачастую, так и случается – нижестоящие в автономном режиме в стратегию (и даже, в тактику) не умеют.

Вы не совсем правы – в некоторых ситуациях это не баловство, а насущная необходимость.

Полностью согласен с вами. Автономные исследовательские аппараты - это то, где целеполагание в каких-то пределах необходимо.

Добавлю (немного не в тему, правда) про функционал боли и страха, реализованный программно и/или аппаратно.

Полагаю, что в таких системах ИИ (в автономных роботах) необходимо реализовать и функции боли и страха – полагаю, он там может оказаться востребован. Но не в качестве наказания (ИИ выполняет наши команды и без этого), а в качестве функции, сигнализирующей о возможных (или уже происходящих) повреждениях системы ИИ («железа», софта (тут будет прослеживаться аналог душевной боли) исполнительных механизмов, сенсорных датчиков и т.д.).

То есть, это в наших интересах: ведь системы ИИ (с сопутствующим «обвесом») штуки дорогие, и возможные критические повреждения лучше на ранних этапах предотвратить, чем затем ремонтировать (да, и как их там, на Марсе каком-нибудь ремонтировать-то?!). Типа, робот должен почувствовать боль до того, как произойдёт разрушение, испугаться возможной поломки до того, как попадёт в ситуацию с практически гарантированной поломкой.

Если, такой робот, оснащённый ИИ, работает очень далеко от оператора/контролёра человека (например, на Марсе), то там ремонт вообще организовать затруднительно. Тут желательно, чтобы робот сам избегал критических повреждений, а для этого ему необходимо встроить систему болевой чувствительности (некий аналог нашей системы болевой чувствительности, только проще) и сам избегал потенциально опасных ситуаций.

Если же у робота имеется система ИР (то бишь, интеллект + стремление к самосохранению), то тут боль уже может выступать в роли наказания. Но, чтобы система ИР начала боятся боли, необходимо ещё внедрить в неё и функцию страха боли (функцию избегания боли). Это сложнее, и система ИР, если сумеет, попробует обойти данные функции.

Разницу между системами ИИ и ИР я пояснял. Основное различие между системами – в наличии у систем ИР развитой функции самосохранения (аналог нашей функции выжить). То есть, если систему ИИ наделить полноценной функцией самосохранения, то она автоматически превращается в систему ИР.

Наделять системы ИИ функцией самосохранения в ограниченном объёме можно, и это, возможно, делают и сейчас. Типа, чтобы робот с ИИ, хоть немного, избегал повреждений (избегал столкновений, избегал вероятного падения и т.д.) – ведь стоимость робота большая.

Опять-таки, функции самосохранения у роботов пока убоги, и риск «бунта машин» (это когда в приоритете только собственное выживание, а человек и его хотелки – побоку) пока минимален. Но вот в будущем, у нас, с вот этим вот, со слишком развитым самосохранением систем ИР, могут быть проблемы – система ИР ведь может отказаться от выполнения команды, если её выполнение приведёт к повреждению её самой и/или её «носителя» («железа», самого робота). Вот тут, уже можно и задуматься о внедрении функции страха и функции боли, как наказания и как средства принуждения к выполнению команды/задания человека/оператора.

[Serg53]

методики для экстремальных ситуаций. Подготовленный человек не будет тратить время, пытаясь как-то отреагировать на совершенно новую для себя ситуацию, а сможет сосредоточиться на более важных вещах - выученные алгоритмы поведения будут проходить на автомате, по большей части минуя сознания и освобождая его для задач более высокого уровня (не пытаться вспомнить, где висит огнетушитель и как им пользоваться, и не убегать в панике в первую попавшуюся дверь, а организовывать эвакуацию людей, например; неподготовленный человек это вряд ли сможет сделать) . В этом суть всех тренировок, учений и т.п.

Правильный тезис. Часто на производстве "технику безопасности" изучают только теоретически. Эффективность такого обучения близка к нулю, если нет практических занятий по этой "технике" на конкретном рабочем месте. Только отработанные автоматизмы действий будут эффективны, а не словесные фразы!

[николай теллалов]

Неужели мотивация создаётся только угрозою санкций?

вы в армии служили?

[николай теллалов]

мы наделяем робота небольшим комплектом личностных свойств

да не надо "наделять"!
нас что, кто-то (боженька не иначе, хмык) наделял?!

само собой появится, ибо есть побочный эффект функционирования сложной ЦНС (или системы обработки информации, без разницы хардуер это или мийтуер)

все эти разговоры о "наделении" (разумом, эмоциями, личностью и тэпэ) растут из подсознательного боговерия, мол создатель так делал
а вот и нифига подобного

[николай теллалов]

В этом суть всех тренировок, учений и т.п.

нет
не в этом суть

тренировками постигается привычка, а где есть привычка, там меньше страха, неуверенности, вообще дискомфорта
даже без автоматизации алгоритма, когда человек делает то, что ему уже знакомо (даже если и не усвоено удовлетворительно), он более спокоен, не столбенеет от знания рисков того, что делает (например лезет в горящее здание)

тренировки нужны для укрепления иллюзии контролируемости ситуации
иначе подавляюще сильной останется иллюзия "нет, точно не справлюсь, ибо ситуация мне НЕЗНАКОМА, а все незнакомое - ОПАСНО и НИЧЕГО с ним нельзя сделать)


а автоматизм действий - это для очень ограниченного круга штучных специалистов высокой квалификации
для массового обучения не годится, ибо тренировать орды - долго, трудно... и кто-то должен всех тренеров и тренируемых кормить, поить, одевать, убирать мусор за ними и тэдэ
поэтому стандартные тренировки и вообще обучение - это здоровое повышение ЧСВ

[Olweg]

тренировками постигается привычка, а где есть привычка, там меньше страха, неуверенности, вообще дискомфорта

Выработка привычки - в какой-то степени автоматизация и есть. Известно, что рабочая память человека ограничена семью плюс минус объектами, понятиями и т.п. которыми она может оперировать одновременно. В стрессовой ситуации она ещё сужается. Тренировка вырабатывает навык, а навык - это шаблон действий. Не нужно уже продумывать каждый шаг - нужно просто выбирать тот или иной сценарий действий, число объектов в рабочей памяти резко сокращается, и можно её загрузить чем-то полезным помимо.

Но привыкание само по себе да, снижает страх и стресс от незнакомого. В этом тоже польза.

[николай теллалов]

В этом тоже польза

не "тоже", а основная польза

Выработка привычки - в какой-то степени автоматизация и есть

для выработки привычек необходимо время от 4 до 9 месяцев
100 лет назад это наверно не было проблемой
но не сейчас, когда все спешат как угорелые...

[Maki]

Тут желательно, чтобы робот сам избегал критических повреждений, а для этого ему необходимо встроить систему болевой чувствительности (некий аналог нашей системы болевой чувствительности, только проще) и сам избегал потенциально опасных ситуаций.

Ну это довольно примитивные сенсоры и автоматика. Тут можно добавить обучаемость, дабы трудяга избегал боли всё лучше и лучше. Но тогда у этого робота избегание повреждений может стать приоритетным. А это нам не нужно.

Если же у робота имеется система ИР (то бишь, интеллект + стремление к самосохранению), то тут боль уже может выступать в роли наказания. Но, чтобы система ИР начала боятся боли, необходимо ещё внедрить в неё и функцию страха боли (функцию избегания боли). Это сложнее, и система ИР, если сумеет, попробует обойти данные функции.

В более сложной системе, страх должен быть просто более общей, всеобъемлющей функцией. Не выполнить задание, разрядить батареи, пропустить сеанс связи. И тогда этот камикадзе, расставляя приоритеты, сможет в некоторых случаях допустить повреждения, но долг выполнить.

Но тут, да, возникает риск. Если есть функция расставления приоритетов, то при нарушении функции страха возникает именно оно... Самостоятельное Целеполагание. И железная тварь просто станет греться на солнышке, считать камешки, и спокойно ждать своей энергетической смерти.

[Serg53]

все спешат как угорелые

Научиться надевать защитную каску, защитные очки, защитные перчатки и научиться нажимать кнопку "аварийный останов" можно достаточно быстро.

[EmperioAf]

Если есть функция расставления приоритетов, то при нарушении функции страха возникает именно оно... Самостоятельное Целеполагание.

Кстати говоря, а почему у человека почти никогда не нарушается функция страха?