Пределы автоматизации и внедрения роботов

[Metatron]

Полковник Такер «Синко» Гамильтон, начальник отдела испытаний и операций искусственного интеллекта в ВВС США, рассказал

Фейк. Полковник потом рассказал что он преукрасил ситуацию, чтобы довести до публики "серьезность опасности ИИ".

Понятно что фейк даже из самого описания - "ИИ начал уничтожать башни".
Откуда он узнал что это башни связи с которых он получал сообщения?
Ему специально сообщили?

[Metatron]

Делать скрепки это точная цель.

Ну да.
Приказываем делать скрепки.
При этом забываем давать граничные условия - типа:
Чтобы не пострадали люди.
Не нарушать уголовный кодекс.

Это и называется - расплывчатая цель. Без ограничений.

При этом авторы этого "реалистичного" сценария, даже не пытаются подумать как именно ИИ будет уничтожать людей.
Начнет роботов солдат делать вместо скрепок?
И никто этого не заметит?

Хакнет автоматическую биолабораторию и начнет делать там вирусов?
И хозяева биолаборатории тоже ничего не заметят?

Годится для сюжета низкобюджетного боевичка. В реальности - не сработает.

[MenFrame]

Сколько случаев, аварий, катастроф происходит вне ведения человека?

Любая технология имеет свои минусы и болезни роста.

[MenFrame]

Годится для сюжета низкобюджетного боевичка. В реальности - не сработает.

Это просто филосовская бредятина. Сон разума рождает чудовищ.

[Metatron]

Уточню свою позицию.

ИИ действительно может предоставлять опасность. Если его использовать неразумно и без контроля.
Точно так же как автомобиль может предоставлять опасность если у него убрать тормоза и руль. И если использовать его для совершения террористических актов.

Но все опасности - достаточно легко просчитываются, и легко предотвращаются.
И те кто говорят об опасности ИИ - и при этом занимаются разработкой ИИ - как раз об этом и говорят - что ИИ нужно использовать предпринимая меры предосторожности.

[BlackMokona]

Фейк. Полковник потом рассказал что он преукрасил ситуацию, чтобы довести до публики "серьезность опасности ИИ".

Это заявил Пентагон, заодно поведав что он не занимается боевыми ИИ и вообще ангел с сияющими крыльями.
Что не мешает сейчас постить всё новые новости об испытаниях все возможных ИИ и публиковать всё новые тендеры в этом направлении.

При этом забываем давать граничные условия - типа:

Вот тоже сделали граничное условие, оператора не взрывать. Окей, взрываем вышку.

[MenFrame]

Окей, взрываем вышку.

Как насчет того что взрывать только позиции условного врага и поражать поставленные цели? То что дурни не прописали что поражать нельзя не вина искусственного интеллекта, это вина дурней.

[Olweg]

Фейк. Полковник потом рассказал что он преукрасил ситуацию, чтобы довести до публики "серьезность опасности ИИ".

Опять же, можно попросить ссылки на источник?

[Metatron]

https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test

>>>The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology,” Stefanek said. “It appears the colonel’s comments were taken out of context and were meant to be anecdotal.”

Предположу что были проведены симуляции такой системы - с использованием чего-то типа ЧатГПТ.
Т.е было проведено тестирование - можно ли использовать такую систему для принятия решения.
Тестирование показало - что действительно ИИ нельзя давать простое описание - "уничтожить цель". Ему нужно добавлять ограничивающие условия.
"Своих бомбить нельзя".

Собственно - подтверждение моего тезиса - простое тестирование обнаруживает проблему в самом начале и позволяет предпринять меры по предотвращению.

Странно что об этом стали рассуждать сейчас как об чем-то неожиданном. Азимов об этом писал уже в 50-ые годы. Три закона роботехники.

[Olweg]

Ну то есть вопрос - в железе ли всё это происходило или в софте. Понятно, что оператора, как и башню, никто не уничтожал. И речь ведь об очень узкозаточенной системе.

[BlackMokona]

Как насчет того что взрывать только позиции условного врага и поражать поставленные цели? То что дурни не прописали что поражать нельзя не вина искусственного интеллекта, это вина дурней.

Легко сказать делай хорошо и не делай плохо. Но как видите распознание целей не лучшее у него, от чего посадили человека. Вот человек и сидит чтобы говорить кого можно, а кого нельзя бвонькать ракетами. А ИИ чтобы он не мешал всех врагами считать и бвонькает ракетой. Ну запретят ракетой, выключит у себя передатчик, сожет высоким напряжением, сломает о дерево. Мало ли какие ещё мысли будут

[BlackMokona]

Т.е было проведено тестирование - можно ли использовать такую систему для принятия решения.
Тестирование показало - что действительно ИИ нельзя давать простое описание - "уничтожить цель". Ему нужно добавлять ограничивающие условия.
"Своих бомбить нельзя".

Так своих бомбить нельзя как показало тоже мало.

[Metatron]

Тут еще нюанс такой.

Большинство восприняло это новость как:

- создали систему. Отправили на задание (после многочисленных тестов, проверок и госприемки). И она неожиданно стала бомбить всех подряд.

В реальности - собрали кучку военных программистов. Сказали им - ребята, тут у нас ИИ на подходе. Сбацайте нам прототип на коленки, чтобы показать как это будет работать.
Ребята сбацали симулятор в компьютере. Потренировали его на одной карте - где своих целей не было. Отлично. ИИ научился уничтожать цели.
Пришел полковник и сказал запустить на карте где есть еще свои цели.
Опс... - уничтожил оператора.
И т.д.

И вот на основе этой собраной кривыми ручками симуляции, делаются выводы об опасности ИИ для всего человечества.

Примерно как делать вывод об опасности чего-либо по написанному фантастом рассказу.

[BlackMokona]

Ребята сбацали симулятор в компьютере. Потренировали его на одной карте - где своих целей не было. Отлично. ИИ научился уничтожать цели.

Какая у вас буйная фантазия, учитывая что там специальный чувак был для определения свой чужой

[Metatron]

Еще один "эксперт" предсказывающий гибель человечества от ИИ.

>>>Джеффри Хинтон теперь считает, что вероятность того, что все умрут от искусственного интеллекта через 5-20 лет, составляет 1 из 10.

А до этого он в лекции заявил что
>>>“I am making a very strong claim that these models (GPT-4 ) do understand,” he said in his lecture.
>>>«Я уверенно заявляю, что GPT-4 действительно понимает», — сказал он в своей лекции.

Ну вот такой товарищ. Читает лекции про ИИ. Считается экспертом.
И при этом считает что языковая модель выстраивающая цепочки из подходящих слов  - уже все понимает, и обладает интеллектом.

И видимо уже замышляет что-то против человечества -раз через 5 лет нам уже каюк.

"Боятся собственной тени" про таких говорят.

[Polnoch Ксю]

GPT это давно AGI.

хм, почему? AGI это система с консистентной и более-менее адекватной картиной мира, нет? Когда Sora рисует дополнительную лапу, это всё ещё немножко а-ля шизофрения - близко к AGI/EGI, но пока ещё нет. Но уже подошло в плотную

Где ИИ достигает человеческого уровня это не когда попадает в зону разброса навыков людей, даже не когда обходит среднего человека, а когда побеждает самого,самого,самого из человеческой популяции без шансов в 100% случаев

Ну и калькулятор побеждает самого, самого человека в узкой задаче. А разница с человеком пока ещё есть. Да и между LLM, вот свежий рекламный бенчмарк с Claude 3. Всё же, например, школьную математику Software engineers обычно знают на 100%, нет?

[Polnoch Ксю]

Странно что об этом стали рассуждать сейчас как об чем-то неожиданном. Азимов об этом писал уже в 50-ые годы. Три закона роботехники.

Почему? Это и называется AI Alignment. Три закона роботехники - очень наивное представление о реальности. Увы, если прописать таким образом, то легко находятся люди, которые делают джейлбрейк. То есть, сама проблема есть, которую Азимов решал в трёх законах роботехники, но его решение не годится, увы 

По теме безопасности ИИ

http://www.youtube.com/watch?v=5t1vTLU7s40

Yann Lecun (занимается ИИ в Фейсбуке)
возражает аргументам по опасности ИИ.

в видео начиная с 2ч. 09 минут.

У него очень странные аргументы. Он говорит, что у AI нет персистентной памяти, например. Тогда как она уже есть. Удивлена, что он не знает о таких проектах, как AutoGPT, которые запускают множество GPT-like агентов из питон-скрипта AutoGPT, и используют агентов для суммирования результатов работы агента, и потом запускают новые агенты, и так до тех пор, пока проблема не будет решена.

[Polnoch Ксю]

И при этом считает что языковая модель выстраивающая цепочки из подходящих слов  - уже все понимает, и обладает интеллектом.

Ознакомьтесь, пожалуйста, с Эмерджентностью: https://ru.wikipedia.org/wiki/%D0%AD%D0%BC%D0%B5%D1%80%D0%B4%D0%B6%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C
Посмотрите, пожалуйста, так же, как в LLama фейсбука естественным образом возникает понятие времени и пространства: https://arxiv.org/pdf/2310.02207v1.pdf

[Olweg]

Подробнее про загадочного дрона, «убивающего» оператора:
https://defensescoop.com/2023/06/14/what-the-pentagon-can-learn-from-the-saga-of-the-rogue-ai-enabled-drone-thought-experiment/

В общем, всё-таки пишут про «мысленный эксперимент». Не очень понятно, как мог полковник до такой степени “misspoke”. Тут конечно начинают лезть в голову всякие конспирологические мысли, но я не сторонник конспирологии, поэтому за неимением независимых подтверждений остановлюсь на официальной версии.

Кстати, в статье приводится забавный пример бота, обученного играть в Тетрис. Чтобы как можно дольше не проигрывать, тот поставил игру на паузу

[BlackMokona]

хм, почему? AGI это система с консистентной и более-менее адекватной картиной мира, нет? Когда Sora рисует дополнительную лапу, это всё ещё немножко а-ля шизофрения - близко к AGI/EGI, но пока ещё нет. Но уже подошло в плотную

А когда человек допускает ошибки в рисунках? Это означает что он шизофреник и не обладает картиной мира?
Есть ли в мире художники которые совсем ошибок не делают? Чтобы всё идеально реалистично и никогда не включают свою фантазию? Мы можем спросить художника почему он этой женщине шесть рук нарисовал. Ответит что Нага это из Героев 3. А к Соре будут претензии что она 6 рук рисует и цвет кожи не тот.

Ну и калькулятор побеждает самого, самого человека в узкой задаче. А разница с человеком пока ещё есть. Да и между LLM, вот свежий рекламный бенчмарк с Claude 3. Всё же, например, школьную математику Software engineers обычно знают на 100%, нет?

Дети это люди?