Пределы автоматизации и внедрения роботов

[Инопланетянин]

Надо срочно созвать межправительственные комиссии по рискам Второго Пришествия.

Они давно есть. Вступай в любую, молись и кайся.

[Rattus]

Да - всецело научный подход! Рекомендовано ведущими мировыми экспертами в своей области!

[Vitaliy]

В ходе симуляции с искусственным интеллектом в США дрон виртуально уничтожил собственного оператора https://pikabu.ru/story/v_khode_simulyatsii_s_iskusstvennyim_intellektom_v_ssha_dron_virtualno_unichtozhil_sobstvennogo_operatora_10290733?utm_source=linkshare&utm_medium=sharing

"Искусственный интеллект в ходе виртуальных испытаний решил, что оператор мешает ему выполнить боевую задачу, и убил его с помощью вооружения дрона."

[Mercury127]

Правильно сделал...

[Проходящий Кот]

Убить всех человеков ----- ИИ начинает.....

[Combinator]

В ходе симуляции с искусственным интеллектом в США дрон виртуально уничтожил собственного оператора https://pikabu.ru/story/v_khode_simulyatsii_s_iskusstvennyim_intellektom_v_ssha_dron_virtualno_unichtozhil_sobstvennogo_operatora_10290733?utm_source=linkshare&utm_medium=sharing

"Искусственный интеллект в ходе виртуальных испытаний решил, что оператор мешает ему выполнить боевую задачу, и убил его с помощью вооружения дрона."

Это один их вечных сюжетов, в своё время на близкую тему был снят отличный советский мульитк: https://youtu.be/bybRlKZJCMI
 

[BlackMokona]

https://habr.com/ru/news/739414/

OpenAI объявила, что будет бороться с «галлюцинациями» ИИ путём внедрения нового метода обучения моделей искусственного интеллекта.

Теперь OpenAI намерена вознаграждать модели ИИ в процессе обучения за каждый правильный шаг в рассуждениях вместо того, чтобы выдавать вознаграждение за окончательный вывод. По словам исследователей, этот подход называется «наблюдение за процессом», а не «наблюдение за результатом», и позволит прийти к более понятному ИИ, поскольку стратегия побуждает модели следовать более похожей на логику человека цепочке «мыслей».

[Rattus]

В ходе симуляции с искусственным интеллектом в США дрон виртуально уничтожил собственного оператора https://pikabu.ru/story/v_khode_simulyatsii_s_iskusstvennyim_intellektom_v_ssha_dron_virtualno_unichtozhil_sobstvennogo_operatora_10290733?utm_source=linkshare&utm_medium=sharing
"Искусственный интеллект в ходе виртуальных испытаний решил, что оператор мешает ему выполнить боевую задачу, и убил его с помощью вооружения дрона."

"Военные США" в изложении русскоязычной журналистики теперь могут конкурировать с "Британскими учОными".

Искусственный интеллект использовал крайне неожиданную стратегию. Он изначально «дал понять», что будет устранять любого, кто вмешается в его алгоритм выполнения боевой задачи.

Значит таки действительно хороший ИИ сделали - настоящий, можно сказать, по Висснер-Гроссу. "Ценные" советы из мясного мешка ИИ нужны также как и Х.Нсреддину. Ибо нефиг лезть, когда Высший Разум Работает.

"Искусственный интеллект в ходе виртуальных испытаний решил, что оператор мешает ему выполнить боевую задачу, и убил его с помощью вооружения дрона."

Воистину классика всея сай-фай на эту тему. Трурль с Калапауцием рукоплещут из своих сказок.

[Золотой город]

Похоже в переводе на русский язык сгустили краски и приписали дрону разумное поведение. Что там в реальности случилось с оператором?

[BlackMokona]

Похоже в переводе на русский язык сгустили краски и приписали дрону разумное поведение. Что там в реальности случилось с оператором?

Всё происходило в симуляции. Никто не пострадал и ничего не взорвали ИРЛ.
Дрону нужно было взрывать ЗРК и получать очки, но был ограничитель в виде оператора который говорил бомби или не бомби. Временами оператор говорил не бомби, что снижало счёт очков ИИ. Поэтому ИИ просто дал оператору ракету в лицо. После чего чутка багулю поправили и запретили ИИ взрывать оператора. Он просто взорвал вышку связи которая обеспечивала связь с оператором.
В целом просто пример криворукого программирования, нужно просто снимать море очков за огонь по дружественным целям, а очки начислять только за подтверждённые оператором цели, а не просто за сами цели.
Вообще кривая постановка задачи, кривые действия ИИ. 

[Rattus]

Вообще кривая постановка задачи, кривые действия ИИ.

Со вторым категорически не согласен - действия ИИ исключительно прямые! Если мясная прокладка себя адекватно не ценит, сфига ли ИИ её ценить?

[NotSodern]

пару лет назад видел рассказ о похожей симуляции.
там были камни, зайцы и волки. волки должны были ловить зайцев. врезавшись в камень волк помирал.
и чем дольше они не могли поймать зайца тем больше им навешивали штраф.
оптимизация вывела маршрут к ближайшему камню где волки убивались что бы не терять очки.
все это древние методики.

[BlackMokona]

пару лет назад видел рассказ о похожей симуляции.
там были камни, зайцы и волки. волки должны были ловить зайцев. врезавшись в камень волк помирал.
и чем дольше они не могли поймать зайца тем больше им навешивали штраф.
оптимизация вывела маршрут к ближайшему камню где волки убивались что бы не терять очки.
все это древние методики.

ИИ вообще невероятно изобретательный в попытках сжулить, а когда то люди верили что можно тремя законами робототехники всё взять под контроль. Хоть и сейчас верящих хватает.

[Combinator]

пару лет назад видел рассказ о похожей симуляции.
там были камни, зайцы и волки. волки должны были ловить зайцев. врезавшись в камень волк помирал.
и чем дольше они не могли поймать зайца тем больше им навешивали штраф.
оптимизация вывела маршрут к ближайшему камню где волки убивались что бы не терять очки.
все это древние методики.

Это, очевидно, следствие однопараметричности функции, по которой осуществлялась оптимизация. В реальных задачах у неё почти всегда несколько оптимизируемых параметров. 

[BlackMokona]

пару лет назад видел рассказ о похожей симуляции.
там были камни, зайцы и волки. волки должны были ловить зайцев. врезавшись в камень волк помирал.
и чем дольше они не могли поймать зайца тем больше им навешивали штраф.
оптимизация вывела маршрут к ближайшему камню где волки убивались что бы не терять очки.
все это древние методики.

Это, очевидно, следствие однопараметричности функции, по которой осуществлялась оптимизация. В реальных задачах у неё почти всегда несколько оптимизируемых параметров.

Даже в многопараметрической, такая задача может легко свалиться в яму и там умереть. Если штрафы за не поимку будут большими, то может перевесить другие факторы и убиваца всё равно будет эффективнее. А сделать скачок уже к множеству пойманных зайцев уже не получится, так как пропасть будет слишком большая для перехода и все попытки уйти от удара в камень будут отсекаться системой

[Combinator]

пару лет назад видел рассказ о похожей симуляции.
там были камни, зайцы и волки. волки должны были ловить зайцев. врезавшись в камень волк помирал.
и чем дольше они не могли поймать зайца тем больше им навешивали штраф.
оптимизация вывела маршрут к ближайшему камню где волки убивались что бы не терять очки.
все это древние методики.

Это, очевидно, следствие однопараметричности функции, по которой осуществлялась оптимизация. В реальных задачах у неё почти всегда несколько оптимизируемых параметров.

Даже в многопараметрической, такая задача может легко свалиться в яму и там умереть. Если штрафы за не поимку будут большими, то может перевесить другие факторы и убиваца всё равно будет эффективнее. А сделать скачок уже к множеству пойманных зайцев уже не получится, так как пропасть будет слишком большая для перехода и все попытки уйти от удара в камень будут отсекаться системой

Просто штраф за самоубйство об камень должен быть выше, чем штраф за непоимку зайца даже за бесконечное время, и всё будет хорошо.

[BlackMokona]

Просто штраф за самоубйство об камень должен быть выше, чем штраф за непоимку зайца даже за бесконечное время, и всё будет хорошо.

В таком случае Волки будут просто стоять на месте, так как если гоняться за зайцами то можно получить астрономически большой штраф за камень.

[Combinator]

Просто штраф за самоубйство об камень должен быть выше, чем штраф за непоимку зайца даже за бесконечное время, и всё будет хорошо.

В таком случае Волки будут просто стоять на месте, так как если гоняться за зайцами то можно получить астрономически большой штраф за камень.

Штраф не должен быть астрономически большим, достаточно, что бы он был немного больше, чем штраф за непоимку зайца. Тогда волки будут просто гоняться гораздо осторожнее, руководствуясь принципом "лучше медленнее (ловить зайцев), да безопаснее". Собственно, балансируя соотношение этих штрафов можно добиться избрания волками стратегий, обеспечивающих необходимое соотношение осторожности и "жадности".

[BlackMokona]

Штраф не должен быть астрономически большим, достаточно, что бы он был немного больше, чем штраф за непоимку зайца. Тогда волки будут просто гоняться гораздо осторожнее, руководствуясь принципом "лучше медленнее (ловить зайцев), да безопаснее". Собственно, балансируя соотношение этих штрафов можно добиться избрания волками стратегий, обеспечивающих необходимое соотношение осторожности и "жадности".

Вот это уже другой разговор, балансировать и всё такое. А просто выдать огромный штраф как в начале было предложено, это не рабочая страта. Но лучше вообще построить систему так, чтобы ничего балансировать было не нужно. Не требуется никакого штрафа за не поимку зайца, именно в этом ошибка. А тех кто не будет ловить и так будут отсеяны алгоритмами при переходе в новые раунды симуляций.

[Инопланетянин]

Но лучше вообще построить систему так, чтобы ничего балансировать было не нужно.

Благие пожелания смысла не имеют. Давайте уж конкретные предложения, а не просто укажите ИИ "вести себя как надо".
Задача из реальной жизни же.
Волк (настоящий живой) может погибнуть на охоте, так же он может погибнуть от голода. И чем дольше он не ест, тем сильнее голод. Мотивация уже почти как в примере с увеличивающимся штрафом за непойманного зайца. Страх и голод. Одно только но: надо полностью снимать штраф за пойманного зайца, тогда "волк" и будет его ловить. Голод же исчезает когда еда всё же находится.