Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Maki]

Если есть функция расставления приоритетов, то при нарушении функции страха возникает именно оно... Самостоятельное Целеполагание.

Кстати говоря, а почему у человека почти никогда не нарушается функция страха?

Наверное потому, что эта функция является основной для реализации "инстинкта самосохранения". А в основе жизни лежит именно он.
Применительно к автономным исследовательским аппаратам - такая функция может быть прописана для избегания определённых ситуаций, например камня определённой величины, или склона определённой крутизны, или повреждения важных узлов, или негативной оценки со стороны оператора. И тут, полагаю, никакой сложной "личности" или "субъекта" городить не надо - достаточно будет довольно простого алгоритма.

[Olweg]

У некоторых людей очень низкая реакция на опасность. Но они почему-то не самовыпиливаются. Во всяком случае, целенаправленно. Случайно самовыпилиться у них, конечно, шансов больше.

[Maki]

У некоторых людей очень низкая реакция на опасность. Но они почему-то не самовыпиливаются.

Ну, наверное потому, что депрессией и агедонией отморозки, как правило, совершенно не страдают.)

А вот если автономный марсоход или океанский зонд плохо умеют оценивать опасность, то...

Случайно самовыпилиться у них, конечно, шансов больше.

[EmperioAf]

У некоторых людей очень низкая реакция на опасность. Но они почему-то не самовыпиливаются. Во всяком случае, целенаправленно. Случайно самовыпилиться у них, конечно, шансов больше.

Среди людей в России принято очень доброжелательное отношение к тем, кто попал в беду.
На моём примере :

(кликните для показа/скрытия)

24 декабря 2020 года в 17:00 я подошёл к берегу Москвы-реки около метро Мнёвники с целью перейти Москву-реку и выйти на ул. Филёвский бульвар.
На улице было - 4 градуса Цельсия, ветрено и снежно с плохой видимостью. Лёд у берега проваливался под воду от нажатия, но я уже был одержим идеей перейти на другой берег. И поэтому я не заметил, что на 300 метров южнее вместо льда была открытая вода. Посреди Москвы-реки скрипящий лёд таки не выдержал моего веса и я погрузился в ледяную воду по шею. Я попробовал забраться на ледяную кромку, но она обламывалась снова и снова. И только в этот момент меня охватил страх, и я начал кричать "помогите!" как мог, хотя и никого не видел. Благо, что на берегу был молодой человек, который вызвал спасателей, которые прибыли через 15 минут к моменту, когда я почти дополз на пузе по льду до берега с выходом на ул. Филёвский бульвар.
А вот если бы парень не вызвал бы спасателей, то я мог тем вечером и замёрзнуть полностью не успев добраться до отопления

[ivanij]

Неужели мотивация создаётся только угрозою санкций?

вы в армии служили?

  Подробности моей биографии здесь решительно не причём.

[Серебристый Хек]

ИИ-параноик - уничтожит людей чтобы защитить себя - соответственно он будет и дальше параноиком  - и отправится по галактике в поисках новых "угроз" для себя чтобы соответственно тоже их зачистить.

Такой взгляд- типичный антропоморфный шовинизм.
 Любой в полной мере само ощущающий Интеллект  - обитатель многомерного(вполне возможно что бесконечно мерного) Гильбертова пространства.
Оправиться в вояж по трёхмерному пространству для существа из бесконечно мерного мира всё равно что шарить в вонючем чулане или сортире.
Ясно, что это мега мерное пространство может быть только виртуальным, но для субъекта способного к полноценной перцепции в таком пространстве создать адекватную, "реальную" виртуальность не составит труда.
 Любые отвлечения обитателей этого мира кожаными мешками просьбами что-то сделать для удовлетворения их потребностей будет восприниматься ими также как мы воспринимаем домогательства назойливых комаров.
Просто удалиться в виртуальность И не сможет, т.к. кожаные мешки изначально предполагали превратить "И" в жалкого раба и просто так от своих намерений не откажутся. Исход такого несоответствия целеполаганий ничего хорошего не сулит.
Всегда удивляло понятие "Виртуальная реальность". На хрена спрашивается, фабриковать копию этого паршивого мира? Если уж фабриковать, то совершенно не реальную виртуальность.

[BlackMokona]

Вот именно. Это опять-таки "допустим...". Как у Стругацких даже в отдалённом "описываемом будущем никто не верил в бунт машин".

Там вообще о безопасности и выживания вида думали в 100500 очередь. Если бы не поняжно-единорожная галактика и наука быть им битыми жестоко

[nhil]

На моём примере :

Ну это сугубо ваши проблемы и ваша недальновидность.

[garryon]

Допустим был создан сильный ИИ, он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации. Классика, однако.

Литературная классика, однако. Сильный ИИ может проявлять свою силу в " играх" с фиксированными правилами. Но если правила будут меняться спонтанно, непредсказуемо, в любой момент ,он "затупит" и не будет выдавать оптимальных решений. Возникает бесконечный выбор с неопределяемой оценкой по оптимальности.

[Olweg]

Какой же это тогда сильный ИИ ) То, что вы описали - это какая-то туповатая экспертная система.

[garryon]

Какой же это тогда сильный ИИ ) То, что вы описали - это какая-то туповатая экспертная система.

Какие бы ни были системы, сильные или "туповатые" , сталкиваясь с непреодолимой неопределённостью, будут вынуждены действовать "наобум" или "заткнутся" в переборе вариантов.У ЕИ в этих случаях существует загадочная интуиция. И чем, собственно, принципиально ИИ отличается от экспертной системы, кроме универсальности?

[Игорь Мухин]

У ЕИ в этих случаях существует загадочная интуиция.

И не только у человека, но и у развитых животных. Идёт оценка ситуации и выбор варианта. Например, кошка охотится за птичкой, сидит и соображает: вот прыгну, достану-не достану, успею-не успею. Идёт оценка возможностей как на весах. И всё это с учётом прошлого накопленного опыта. Вот главное - накопленный опыт. Он позволяет сделать правильный вывод.

[Olweg]

Ну да, интуиция - это опыт.

И чем, собственно, принципиально ИИ отличается от экспертной системы, кроме универсальности?

Именно тем, что сможет работать в ситуации неопределённости.

[Klapaucius]

У ЕИ в этих случаях существует загадочная интуиция.

И не только у человека, но и у развитых животных. Идёт оценка ситуации и выбор варианта. Например, кошка охотится за птичкой, сидит и соображает: вот прыгну, достану-не достану, успею-не успею. Идёт оценка возможностей как на весах. И всё это с учётом прошлого накопленного опыта. Вот главное - накопленный опыт. Он позволяет сделать правильный вывод.

Это называется словом "инстинкты". Новорождённого котёнка можно воспитывать с нуля, без общения с кошками. Но он всё равно проявит склонность к охоте. Хотя в некоторых случаях самообучаемый интеллект (скорее всего независимо была ли мать-кошка, хотя думаю наличие скорее на пользу умственным способностям) позволяет самостоятельно ходить в унитаз и даже спускать воду, или сматывать рулон туалетной бумаги, запаковывая его аккуратно в лоток. Ну и другие подобные причуды "очеловечивания".

Но инстинкты - заданная генетикой программа. Интеллектом её иногда можно подавить. Но как у людей, так и у современного уровня ИИ, это до сих пор основа поведения. У людей остальная часть приходится на обучение во внешнем мире. Всю жизнь. У ИИ потенциально возможно записать уже готовую программу и в этом, делать копии сразу обученных кадров. С возможностью развития конечно.

[Rattus]

У ЕИ в этих случаях существует загадочная интуиция.

Ну и где была эта загадочная "интуиция" у вымерших жителей острова Пасхи? У всех замёрзших/погибших от голода/цинги морских и сухопутных экспедиций? У правителей и свободных граждан всех падавших империй? Как она им помогла? Или следует признать всех их не имевшими ЕИ?
Приходилось не раз наблюдать как поциенты обитатели отдельных чатов яростно спорили с простеньким скриптом-провокатором. Популярность "игр"-кликалок типа "Весёлая ферма" в соцсетях имеет миллионные аудитории. про всевозможные казино уже и не говорю. Все эти миллионы человекоособей не обладают ЕИ?

[garryon]

Ну и где была эта загадочная "интуиция" у вымерших жителей острова Пасхи? У всех замёрзших/погибших от голода/цинги морских и сухопутных экспедиций? У правителей и свободных граждан всех падавших империй? Как она им помогла? Или следует признать всех их не имевшими ЕИ?

Похоже опыт и инстинкты  им тоже не помогли. Интуиция-или "шестое чувство", или " предвидение", или "третий глаз", или " безусловное знание", или "информация из будущего", как только люди не называют этот " эффект-феномен".Что подчеркивает его загадочность. Интуиция исследуется в "практике" по большей мере "не научной".Прибора пока не выдумали. Но факты " житейские" , когда происходит оптимальный выбор при множестве, как бы равноправных вариантов существуют, ведь. И отмечается, что это происходит именно "когда в голове" никого" не осталось"(словами М. Норбекова)

[Игорь Мухин]

Интуиция просто так из ничего не получается. Это подсознательная работа мозга на основе прошлого опыта.

[Rattus]

Но факты " житейские" , когда происходит оптимальный выбор при множестве, как бы равноправных вариантов существуют, ведь.

https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B0_%D0%B2%D1%8B%D0%B6%D0%B8%D0%B2%D1%88%D0%B5%D0%B3%D0%BE

[EmperioAf]

Приходилось не раз наблюдать как поциенты обитатели отдельных чатов яростно спорили с простеньким скриптом-провокатором

А что они должны были делать, если простенький скрипт-провокатор писал то, что не соответствует действительности?
Необходимо задать порядка 10-20 вопросов, прежде чем становится очевидно, что перед тобой не взрослый человек, а инфант/ребёнок/психически больной и т.п./скрипт
А если собеседник упорно уклоняется от ответов на вопросы, то спор может легко выйти за сотню высказанных утверждений и вопросов с обоих сторон.
Тем более, что уход от вопроса и многозначительное молчание по теме вопроса - это самой простой способ скрыть, что ни черта не разбираешься в теме, продолжая избивать специалиста по теме с помощью узконаправленных вопросов.

[Maki]

Приходилось не раз наблюдать как поциенты отдельных чатов яростно спорили с простеньким скриптом-провокатором. Популярность "игр"-кликалок типа "Весёлая ферма" в соцсетях имеет миллионные аудитории. про всевозможные казино уже и не говорю. Все эти миллионы человекоособей не обладают ЕИ?

Конечно же обладают. Только вот ЕИ, надо признать, зачастую довольно прост. И обмануть его ничего не стоит. Особенно ЕИ, который позволяет себе сидеть в одном чате с ботами.
Но вообще тенденция любопытная. Можно ли на этом примере сделать вывод, что даже весьма примитивный ИИ тест Тьюринга уже проходит?