Пределы автоматизации и внедрения роботов

[Olweg]

А я тут вспомнил книгу Ника Бострома «Искусственный интеллект». Книга вышла в 2014 (кажется, уже очень давно). Я её читал (довольно долго, поскольку чтение нелёгкое) в 2016-17, тогда у меня была первая волна интереса к ИИ на фоне AlphaGo и прочего, потом интерес немного подутих до прошлого года, когда вышла GPT-4o.

Так вот Бостром в одном из разделов классифицирует потенциальные ИИ как оракулов, джиннов и монархов. Оракул - термин, применявшийся ещё Тьюрингом, но в другом контексте. У Бострома «оракул - интеллектуальная вопросно-ответная система. Как вопросы, так и ответы могут быть сформулированы на естественном языке.» Ничего не напоминает? ) Джинны способны выполнять команды высокого уровня (агенты?), в том числе создавать объекты материального мира. Вот это пока не реализовано. Наконец, «монарх - система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей.» Также он рассматривает возможность использования ИИ просто как инструмента (как обычное ПО), но делает вывод, что не так-то просто создать интеллектуальную систему, которая будет делать только то, для чего предназначена. С точки зрения безопасности оракулы кажутся наиболее безвредными, но Бостром пишет, что это не так очевидно, потому что оракул может дать оператору слишком большую власть.

В общем, интересно полистать с позиций прогресса сегодняшнего дня )

[Metatron]

Если еще старую фантастику перечитать, там много мыслей которые перекликаются с нынешним состоянием умов.
Мы ведь в принципе сейчас как перед первым контактом с иным разумом. Каким он будет? Как он к нам отнесется? А он сильнее нас?
Вот из Пикника например:
"А ведь они тоже боятся, думал он, снова усаживаясь в
«пежо». Боятся, боятся, высоколобые... Да так и должно быть. Они должны бояться даже больше, чем все мы, простые обыватели, вместе взятые. Ведь мы просто ничего не понимаем, а они по крайней мере понимают, до какой степени ничего не понимают. Смотрят в эту бездонную пропасть и знают, что неизбежно им туда спускаться, – сердце заходится, но спускаться надо, а как спускаться, что там на дне и, главное, можно ли будет потом оттуда выбраться?.. "

[Ый]

Возникает вопрос, кто эти люди, которые должны?

Те люди, которые контролируют работу искусственного интеллекта. А уж производство под его руководством тем более нужно контролировать. Или вы хотите пустить всю его деятельность на самотёк, бесконтрольно?

[BlackMokona]

Чутка юмора по теме

[Olweg]

Любопытный проект, AI Village:
https://theaidigest.org/village

В рамках соревнования семь моделей с доступом к инструментам ОС должны были сами выбрать и пройти игры за неделю, в итоге ни одна модель не выиграла ¯\_(ツ)_/¯

GPT‑5 зависла на «Сапёре» и ещё полтора дня мучила Google Sheets с шарингом документа с очками игры (она пыталась записать сколько очков другие агенты получили в соревновании, но на 1.5 дня зависла перебирая почты агентов-коллег и в целом забила вводить очки);

Grok 4 путалась в шахматах и даже в синтаксисе вызова своих инструментов;

Claude Opus 4.1 «побеждала» в маджонге и Heroes of History, но, на словах, а по факту не продвигалась и проигрывала в судоку;

o3 всю неделю копалась в Google Sheets, разыскивая мифическую «environment matrix» которую сама придумала, после одного захода в 2048 снова ушла в таблицы – то есть вам не кажется, модель правда любит таблицы;

Gemini 2.5 Pro прыгала по 19+ играм, принимая мисклики за баги, и чуть продвинулась лишь в idle Progress Knight (до veteran footman);

Claude Opus 4 сперва «выиграла» «Сапёра» по неверному счётчику (модель неправильно прочитала интерфейс игры – Opus 4 заявлял, что пометил все 10 мин и что счётчик показывает 000, тогда как на самом деле он пометил 4 мины, а счётчик показывал 006), потом залипла в 2048 и закрыла 1 слово из 6 в Hurdle;

Claude 3.7 Sonnet – просто зависла на 2048

В общем, классика, стримы доступны на сайте

https://telegram.me/denissexy/10717

 

[BlackMokona]

Разбор исследования Антрофик по поводу спящих агентов ИИ.
https://youtu.be/Z3WMt_ncgUI?si=nAvWxI08OaFWsZ0p

[Olweg]

Наткнулся тут на книжку, «Общий искусственный интеллект», автор - Юлиан Тонгелиус. Решил почитать, потому что очень не хватает таких обзорных вещей, полно статей, но они либо дилетантские, либо наоборот, узкопрофессиональные. А тут действительно интересные, пусть и очевидные на первый взгляд, идеи. Прежде всего, что такое общий интеллект? Достаточно очевидное определение: «общий интеллект существа или объекта (на техническом языке – агента) – это его способность решать любые возможные задачи.» Другая важная, но уже не такая очевидная мысль: для этого необходимо обучение с подкреплением.

LLM сейчас проходят обучение с подкреплением, но на стадии дообучения. При инференсе, то есть при решении реальных задач, никакого обучения, естественно, уже нет. Проработки есть, например, ChatGPT мне подсказала такую:
https://www.wired.com/story/this-ai-model-never-stops-learning/?utm_source=chatgpt.com
но это всё пока в зачаточной стадии. В итоге, как в предыдущем моём посте, языковые модели просто беспомощны в играх, если их заранее им не предобучали. Помню, лет десять назад DeepMind разработал нейросетки, которые с помощью reinforcement learning проходили игры Atari. Это тогда, конечно, был огромный прорыв, особенно впечатляло, как нейросеть «взламывала» одну из игрушек и запускала шарик в верхнюю часть экрана, где тот сам добивал оставшиеся плитки:


Ну и АльфаЗиро, за четыре часа самообучившаяся шахматам и победившая Stockfish. Казалось бы, вот он - путь к AGI. Но всё это было узкоспециально, и поженить «общие» LLM со специализированным обучением с подкреплением оказалось не так-то просто. Так что, наверное, именно это сейчас - узкое место создания полноценного AGI.

Ну и мнение ChatGPT по этому поводу под спойлером )

(кликните для показа/скрытия)

Вы сказали:
Почему в итоге LLM не используют RL при инференсе? Это дорого, нет нужных алгоритмов, сложности с функцией цели, или это просто небезопасно (модель можно научить чему угодно)?


ChatGPT сказал:
Очень точный вопрос 👍 Ты попал ровно в "узкое место" всей идеи онлайн-RL для LLM.
Причин несколько, и они довольно фундаментальные:

🔹 1. Стоимость вычислений
Инференс LLM сам по себе дорогой (особенно у больших моделей).
RL при инференсе = нужно генерировать не один ответ, а множество траекторий (чтобы сравнить и обновить политику).
Для каждой траектории надо прогнать обратное распространение ошибки → это почти как дополнительное обучение каждый раз, когда модель отвечает.
👉 В реальном времени это непрактично: пользователь ждёт секунды, а RL требует сотни итераций.
🔹 2. Сложность с функцией награды (reward shaping)
В RL всегда нужно понимать, что именно вознаграждать.
Для LLM это очень трудно:
Что важнее — полезность ответа, его правдивость или вежливость?
Если награда слишком узкая → модель будет "выигрывать систему" (reward hacking).
Если награда слишком общая → обучение не сходится.
👉 В RLHF эту проблему решают через людей или отдельные reward-модели, но онлайн это неприемлемо (нужны миллионы оценок).
🔹 3. Стабильность обучения
Онлайн-RL в принципе шумное и нестабильное.
LLM — это огромная политика (сотни миллиардов параметров). Маленькие ошибки в обновлении могут «сломать» уже выученные способности.
👉 Поэтому такие вещи делают только офлайн на кластерах с контролем, а не во время работы с пользователями.
🔹 4. Безопасность и злоупотребления
Если модель обучается в реальном времени на действиях пользователей → её можно специально “отравить” наградами (reward poisoning).
Например, группа пользователей может «научить» модель выдавать токсичные или вредные ответы, если награда некорректно определяется.
👉 Это огромный риск для коммерческих систем.
🔹 5. Нет нужных алгоритмов в зрелом виде
Есть исследования (SEAL, RFTT и др.), но пока нет надёжных, дешёвых и безопасных RL-алгоритмов для онлайн-LLM.
Теория RL в огромных action space (словах и токенах) до сих пор активно развивается.
🔹 Итого
LLM не используют RL во время инференса потому что:
🚦 Это слишком дорого (по ресурсам).
🎯 Сложно задать правильную функцию награды.
📉 Обучение нестабильно.
🔒 Опасно (можно отравить или “сломать” модель).
🧪 И ещё нет зрелых алгоритмов, которые могли бы сделать это эффективно.
Поэтому всё обучение (RLHF, RFT, RFTT) делают до инференса, а во время ответа модель просто применяет уже выученную стратегию.
Хочешь, я соберу обзор текущих исследовательских идей, которые как раз пытаются преодолеть эти ограничения (онлайн-адаптация, reward-модели на лету и т.п.)?











ChatGPT может допускать ошибки. Проверьте важную информацию. См. настройки cookie-файлов.