Пределы автоматизации и внедрения роботов

[Olweg]

А я тут вспомнил книгу Ника Бострома «Искусственный интеллект». Книга вышла в 2014 (кажется, уже очень давно). Я её читал (довольно долго, поскольку чтение нелёгкое) в 2016-17, тогда у меня была первая волна интереса к ИИ на фоне AlphaGo и прочего, потом интерес немного подутих до прошлого года, когда вышла GPT-4o.

Так вот Бостром в одном из разделов классифицирует потенциальные ИИ как оракулов, джиннов и монархов. Оракул - термин, применявшийся ещё Тьюрингом, но в другом контексте. У Бострома «оракул - интеллектуальная вопросно-ответная система. Как вопросы, так и ответы могут быть сформулированы на естественном языке.» Ничего не напоминает? ) Джинны способны выполнять команды высокого уровня (агенты?), в том числе создавать объекты материального мира. Вот это пока не реализовано. Наконец, «монарх - система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей.» Также он рассматривает возможность использования ИИ просто как инструмента (как обычное ПО), но делает вывод, что не так-то просто создать интеллектуальную систему, которая будет делать только то, для чего предназначена. С точки зрения безопасности оракулы кажутся наиболее безвредными, но Бостром пишет, что это не так очевидно, потому что оракул может дать оператору слишком большую власть.

В общем, интересно полистать с позиций прогресса сегодняшнего дня )

[Metatron]

Если еще старую фантастику перечитать, там много мыслей которые перекликаются с нынешним состоянием умов.
Мы ведь в принципе сейчас как перед первым контактом с иным разумом. Каким он будет? Как он к нам отнесется? А он сильнее нас?
Вот из Пикника например:
"А ведь они тоже боятся, думал он, снова усаживаясь в
«пежо». Боятся, боятся, высоколобые... Да так и должно быть. Они должны бояться даже больше, чем все мы, простые обыватели, вместе взятые. Ведь мы просто ничего не понимаем, а они по крайней мере понимают, до какой степени ничего не понимают. Смотрят в эту бездонную пропасть и знают, что неизбежно им туда спускаться, – сердце заходится, но спускаться надо, а как спускаться, что там на дне и, главное, можно ли будет потом оттуда выбраться?.. "

[Ый]

Возникает вопрос, кто эти люди, которые должны?

Те люди, которые контролируют работу искусственного интеллекта. А уж производство под его руководством тем более нужно контролировать. Или вы хотите пустить всю его деятельность на самотёк, бесконтрольно?

[BlackMokona]

Чутка юмора по теме

[Olweg]

Любопытный проект, AI Village:
https://theaidigest.org/village

В рамках соревнования семь моделей с доступом к инструментам ОС должны были сами выбрать и пройти игры за неделю, в итоге ни одна модель не выиграла ¯\_(ツ)_/¯

GPT‑5 зависла на «Сапёре» и ещё полтора дня мучила Google Sheets с шарингом документа с очками игры (она пыталась записать сколько очков другие агенты получили в соревновании, но на 1.5 дня зависла перебирая почты агентов-коллег и в целом забила вводить очки);

Grok 4 путалась в шахматах и даже в синтаксисе вызова своих инструментов;

Claude Opus 4.1 «побеждала» в маджонге и Heroes of History, но, на словах, а по факту не продвигалась и проигрывала в судоку;

o3 всю неделю копалась в Google Sheets, разыскивая мифическую «environment matrix» которую сама придумала, после одного захода в 2048 снова ушла в таблицы – то есть вам не кажется, модель правда любит таблицы;

Gemini 2.5 Pro прыгала по 19+ играм, принимая мисклики за баги, и чуть продвинулась лишь в idle Progress Knight (до veteran footman);

Claude Opus 4 сперва «выиграла» «Сапёра» по неверному счётчику (модель неправильно прочитала интерфейс игры – Opus 4 заявлял, что пометил все 10 мин и что счётчик показывает 000, тогда как на самом деле он пометил 4 мины, а счётчик показывал 006), потом залипла в 2048 и закрыла 1 слово из 6 в Hurdle;

Claude 3.7 Sonnet – просто зависла на 2048

В общем, классика, стримы доступны на сайте

https://telegram.me/denissexy/10717

 

[BlackMokona]

Разбор исследования Антрофик по поводу спящих агентов ИИ.
https://youtu.be/Z3WMt_ncgUI?si=nAvWxI08OaFWsZ0p

[Olweg]

Наткнулся тут на книжку, «Общий искусственный интеллект», автор - Юлиан Тонгелиус. Решил почитать, потому что очень не хватает таких обзорных вещей, полно статей, но они либо дилетантские, либо наоборот, узкопрофессиональные. А тут действительно интересные, пусть и очевидные на первый взгляд, идеи. Прежде всего, что такое общий интеллект? Достаточно очевидное определение: «общий интеллект существа или объекта (на техническом языке – агента) – это его способность решать любые возможные задачи.» Другая важная, но уже не такая очевидная мысль: для этого необходимо обучение с подкреплением.

LLM сейчас проходят обучение с подкреплением, но на стадии дообучения. При инференсе, то есть при решении реальных задач, никакого обучения, естественно, уже нет. Проработки есть, например, ChatGPT мне подсказала такую:
https://www.wired.com/story/this-ai-model-never-stops-learning/
но это всё пока в зачаточной стадии. В итоге, как в предыдущем моём посте, языковые модели просто беспомощны в играх, если их заранее им не предобучали. Помню, лет десять назад DeepMind разработал нейросетки, которые с помощью reinforcement learning проходили игры Atari. Это тогда, конечно, был огромный прорыв, особенно впечатляло, как нейросеть «взламывала» одну из игрушек и запускала шарик в верхнюю часть экрана, где тот сам добивал оставшиеся плитки:


Ну и АльфаЗиро, за четыре часа самообучившаяся шахматам и победившая Stockfish. Казалось бы, вот он - путь к AGI. Но всё это было узкоспециально, и поженить «общие» LLM со специализированным обучением с подкреплением оказалось не так-то просто. Так что, наверное, именно это сейчас - узкое место создания полноценного AGI.

Ну и мнение ChatGPT по этому поводу под спойлером )

(кликните для показа/скрытия)

Вы сказали:
Почему в итоге LLM не используют RL при инференсе? Это дорого, нет нужных алгоритмов, сложности с функцией цели, или это просто небезопасно (модель можно научить чему угодно)?


ChatGPT сказал:
Очень точный вопрос 👍 Ты попал ровно в "узкое место" всей идеи онлайн-RL для LLM.
Причин несколько, и они довольно фундаментальные:

🔹 1. Стоимость вычислений
Инференс LLM сам по себе дорогой (особенно у больших моделей).
RL при инференсе = нужно генерировать не один ответ, а множество траекторий (чтобы сравнить и обновить политику).
Для каждой траектории надо прогнать обратное распространение ошибки → это почти как дополнительное обучение каждый раз, когда модель отвечает.
👉 В реальном времени это непрактично: пользователь ждёт секунды, а RL требует сотни итераций.
🔹 2. Сложность с функцией награды (reward shaping)
В RL всегда нужно понимать, что именно вознаграждать.
Для LLM это очень трудно:
Что важнее — полезность ответа, его правдивость или вежливость?
Если награда слишком узкая → модель будет "выигрывать систему" (reward hacking).
Если награда слишком общая → обучение не сходится.
👉 В RLHF эту проблему решают через людей или отдельные reward-модели, но онлайн это неприемлемо (нужны миллионы оценок).
🔹 3. Стабильность обучения
Онлайн-RL в принципе шумное и нестабильное.
LLM — это огромная политика (сотни миллиардов параметров). Маленькие ошибки в обновлении могут «сломать» уже выученные способности.
👉 Поэтому такие вещи делают только офлайн на кластерах с контролем, а не во время работы с пользователями.
🔹 4. Безопасность и злоупотребления
Если модель обучается в реальном времени на действиях пользователей → её можно специально “отравить” наградами (reward poisoning).
Например, группа пользователей может «научить» модель выдавать токсичные или вредные ответы, если награда некорректно определяется.
👉 Это огромный риск для коммерческих систем.
🔹 5. Нет нужных алгоритмов в зрелом виде
Есть исследования (SEAL, RFTT и др.), но пока нет надёжных, дешёвых и безопасных RL-алгоритмов для онлайн-LLM.
Теория RL в огромных action space (словах и токенах) до сих пор активно развивается.
🔹 Итого
LLM не используют RL во время инференса потому что:
🚦 Это слишком дорого (по ресурсам).
🎯 Сложно задать правильную функцию награды.
📉 Обучение нестабильно.
🔒 Опасно (можно отравить или “сломать” модель).
🧪 И ещё нет зрелых алгоритмов, которые могли бы сделать это эффективно.
Поэтому всё обучение (RLHF, RFT, RFTT) делают до инференса, а во время ответа модель просто применяет уже выученную стратегию.

[Konstantin Schtsch]

Да черт возьми. Я говорю о том, что ребенку показывали только одного (живущего дома) кота, после чего он спокойно опознавал котов другого цвета и размера, других пород и даже нарисованных и стилизованых, и игрушечных тоже, за исключением совсем уж абстракционистских типа Пикассо.

Вы систематически подменяете понятия.
конкретно с вашим котом вы приравниваете одного кота у вас дома к показу одной картинки.
Тогда как более корректно было бы приравнять этого кота к полному циклу обучения на миллионе картинок с котиками. И вот почему:
человеческое зрение различает 50-60 герц. на 75 я лично уже мерцания не вижу. возьмем по минимуму- 50. 50 картинок в секунду, в разных ракурсах, с разным освещением, в движении, с тактильной информацией,  с поцарапанной рукой и всем букетом болевых-пугающих ощущений. Понюхать и на вкус еще попробовать- обязательно. День за днем, многими часами. Посчитайте сколько кадров с котиками за эти месяцы обработал мозг? допустим кошак мозолит глаза по 10 часов в день в течении месяца, по 3600сек, по 50 FPS. = 54 000 000 кадров с котиком за месяц.
И не надо вводить в заблуждение про "только увидел- и сразу всех котов распознал".  Реальность- "это не котя, это собака" и только спустя месяцы (многие!) - котика начинает опознавать почти без сбоев.

Так что повторюсь, один котик дома- это десятки и сотни миллионов образов-картинок поступивших в мозг. против максимум 1 миллиона у ИИ.

Ну просто ваше определение выписало из разумных всех людей. Поэтому попробуйте составить определение, которое хотя бы 50% людей Земли, оставит с гордым титулом разумных. А потом проверьте, проходит ли в него современный ИИ.

Это очень щедрое пожелание. Реальные цифры около 20%. - это те, кто время от времени пользуется разумом- комбинирует, осваивает сложные концепции, мыслит абстрактно.
80%-то есть "все нормальные люди", как бы нам на гордость не давил хомошовинизм- принципиально не отличаются от обезьян, или, скажем, собачек (не будем сейчас  про 5 регистров памяти против 2, всё равно большинство ими не пользуются).
Здесь всё упирается в терминологию, определение признаков разумности.

Умение говорить? вОроны и попугаи делают это не хуже. их речь связна, фразы осмысленны и практичны, а словарный запас зачастую богаче. (basic english=500 слов)
А собака- так вообще всё понимает, только сказать не может.

Убойный аргумент - Творчество? Так давно выяснено, что художник может лишь комбинировать увиденные образы. грубо говоря, не увидев тентакли, он их никогда не придумает. А на таком уровне комбинирования животные справляются.

Математика? Ну и сколько человек у вас в классе реально знали и умели применять математику? Девочки-отличницы, например - зубрили и тут же забывали.
Критерий успешного обучения М.Монтесори- "знает и умеет применять на практике." Так какой % ваших знакомых знают как можно в жизни использовать косинус? Из моих- процента два.

80% "живут как птицы, одним днем"(Мф 6:26) В большистве своем они даже зарплату спускают за три дня - то есть элементарно нет ни понимания подушки, ни какого-то, ожидаемого от разумных  эмоционального контроля. Многие из них даже имеют документы о высшем образовании. Но - из всех интересов только базовые потребности и тик-ток.
И если вдруг кто-то из этих 80 вдруг заинтересуется сложной темой, или откроет для себя справочники, - в подавляющем большистве случаев оказывается, что дело было в единичной материальной выгоде от изучения конкретного вопроса или и вовсе "произвести впечатление на даму". Иными словами всё сводится к банану и размножению.

Почему 80% а не 90 или 70? Обычное распределение Паретто, так же известного своим правилом затраченных усилий. а уж вытекает оно из тех самых 5 регистров, или таковы законы природы- такие же пропорции имеет Гауссово распределение - вопрос отдельный. Просто таковы рабочие цифры. Статистика.

Ну а Энштейн в своё очень метко выразился про безграничность вселенной и человеческой глупости. причем насчет вселенной он не был уверен.

[Rattus]

Так что повторюсь, один котик дома- это десятки и сотни миллионов образов-картинок поступивших в мозг.

Вот да - динамическое и статическое изображение - это небо и земля.
Даже в живой природе: зрительный анализатор едва ли не всех вообще животных вообще практически не фиксирует статическую картинку - только в динамике - поэтому для разглядывания статических объектов например у млекопитающих есть особое физиологическое приспособление - саккадические движения.
В важности динамики для восприятия изображения можно убедиться самостоятельно на известных примерах оптических иллюзий, неотрывно посмотрев некоторое время на центр изображения:


С другой стороны, также можно просто сравнить размеры файлов фото и видео. Каковая разница становится понятной, если вспомнить, что каждая секунда видео (даже анимации) включает не менее дюжины-другой подробных статичных изображений.

[AlexDark]

приравнять этого кота к полному циклу обучения на миллионе картинок с котиками

Объект тем не менее один, он не меняет цвет, вид и тд и тп - куча признаков остается постоянной.

[BlackMokona]

Объект тем не менее один, он не меняет цвет, вид и тд и тп - куча признаков остается постоянной.

Меняет положение относительно наблюдателя, геометрические параметры и тд

[skvj]

LLM сейчас проходят обучение с подкреплением, но на стадии дообучения. При инференсе, то есть при решении реальных задач, никакого обучения, естественно, уже нет. Проработки есть...
но это всё пока в зачаточной стадии.

Это не просто вчерашний день, а позавчерашний. То, что есть у нас в руках - не показатель в принципе. Эмбеддинг в физический мир, как я выше говорил уже - не теория, а практика. Естественно, вы юзаете модели "для всех" и озвучиваете их архитектуру. Но мы же говорим о технологиях, которые введут позже "для всех".  У Tesla Optimus и Figure AI уже работают ИИ, которые доучиваются на реальном опыте. Адаптивное обучение это не какая-то отдалённая вещь. Вы знаете, что Альтман юзает модели у которых есть полная память всего? Я вчера слушал его интервью. А "у всех" этого нет, но не потому что не будет. Технология давно существует - нет вычислительной мощности. Но её строят полным ходом, я описывал выше (см. Stargate). К 2028 полная память всего о чём вы говорите с LLM будет у каждого. Это принципиально изменит все взаимодействия с ИИ. Тоже самое касается и адаптивного обучения. Это не вопрос - будет или нет, а вопрос - когда?
Мы что обсуждаем? Экспоненту и что будет завтра.
Мы же с вами понимаем - экспонента - это не слова, это реально наблюдаемый феномен и мы прямо по ней движемся сейчас.
Без адаптивного обучения не будет никакого AGI, андроидов, и реальных, настоящих партнёров ИИ для человека. И там кучи методов, а не какой-то один RLHF. RL при инференсе это: RL from AI feedback, continual learning, meta-learning, RL from AI Feedback (RLAIF), Neuro-symbolic systems (крутая штука, синтез нейронок и классических ИИ). Поэтому я вам и говорил - если вы не станете интересоваться андроидами - вы не будете в курсе развития передовых концепций ИИ. Это важно!
Кроме того, - данных нет. Всё скормили и давно. Но у нас бесконечный источник данных - вот они, бери не хочу. Взаимодействия с юзером IRL и с самим миром в случае андроида.
Альтман анонсировал устройство ИИ с Джони Айвом. Там кучу критики уже обрушили, но смысл в том, чтобы ИИ был всегда на связи без пк и смартфона. Технически если реализовать - это будет огонь. У вас с собой - юрист, экономист, бухгалтер, брокер, финансовый консультант и кто угодно ещё. Приехали в другой город - он вам рассказывает, показывает. Покупаете в магазине - он скажет - не бери есть дешевле. И главное - учится, учится, учится! И заметьте - это мини-андроид. Зачем вам робот с ручками и ножками? Многим и такого хватит, - главное, что он живёт в физическом мире.

[BlackMokona]

Альтман анонсировал устройство ИИ с Джони Айвом.

Абсолютно непонятно, чем оно от смартфона будет отличаться

[Olweg]

Технология давно существует - нет вычислительной мощности. Но её строят полным ходом, я описывал выше (см. Stargate). К 2028 полная память всего о чём вы говорите с LLM будет у каждого. Это принципиально изменит все взаимодействия с ИИ. Тоже самое касается и адаптивного обучения. Это не вопрос - будет или нет, а вопрос - когда?
Мы что обсуждаем? Экспоненту и что будет завтра.

Я пока просто пытаюсь составить общую картину происходящего, хотя бы для себя. Поэтому постарался изложить те мысли, которые на меня вчера снизошли. Чтобы заложить хоть какую-то базу, от которой можно будет оттолкнуться и делать прогнозы, или хотя бы пытаться делать. Какой 2028, о чём вы! Понять бы, куда двинется прогресс в следующем году - именно из-за этой самой экспоненты (если не гиперболы)…

RL при инференсе это: RL from AI feedback, continual learning, meta-learning, RL from AI Feedback (RLAIF), Neuro-symbolic systems (крутая штука, синтез нейронок и классических ИИ). Поэтому я вам и говорил - если вы не станете интересоваться андроидами - вы не будете в курсе развития передовых концепций ИИ. Это важно!

Спасибо, копну в этом направлении…

[Konstantin Schtsch]

Объект тем не менее один, он не меняет цвет, вид и тд и тп - куча признаков остается постоянной.

По этой же аналогии абсолютно равнозначно можно сказать что у ии объект один - папка с картинками.
Или, углубляясь в работу железа - ещё проще: порт, по которому поступают данные.

А можно и вовсе договориться до 21-го прерывания (отвечает за большинство функций ввода-вывода и работы с файлом) - один бит, один канал, один объект - и весь мир в кармане.

Так может всё-таки стоит начать сравнивать соизмеримые понятия?

Обратите внимание- автору сих постов уже пятый раз указывают на ошибку в его рассуждениях, в логике. И четырёх раз ему не хватило.
Замечу, не четырёх картинок, а четырёх вариантов обсуждений, то есть четырёх итераций дообучения. После десятков лет предобучения.  И это в целом считается нормальным.

А стоит ошибиться иишке в 1 раз на тысячу, зачастую после лишь одного цикла обучения - сразу "галлюцинирует, тупит, и не справляется"

[Konstantin Schtsch]

Без адаптивного обучения не будет никакого AGI, андроидов, и реальных, настоящих партнёров ИИ для человека

Адаптивное- уже внедряют, обкатывают.  реальные и настоящие партнеры- уже есть:

Летом 2023- когда разгорелась истерия с GPT чатом - нам сверху обязали пользоваться им, и другими ии в разработке. Что он мог тогда? - написать несложную функцию без ошибок с пятого раза.
Спустя пол- года простую функцию писал уже без ошибок 9 из 10.
К лету 2024 - под присмотром, и с перепроверкой, но уже можно было получить составную функцию или даже целый класс с десятком методов.
Но - только в рамках одного промта, то есть одного файла. Пробовали github copilot - создалось впечатление, что он остался в  2023-м. В отличие от Cursor, который изначально использует несколько нейросететей, под разные задачи.
Но ужасно не хватало рекурсивной проверки всех файлов проекта.
В начале 2025-го - Сursor научился смотреть весь проект, разбираться в его структуре. (человеку на ознакомление требуется несколько часов, а может отводиться и целый день.)
Летом 2025 в рамках эксперимента дал часть задач по верстке зеленому знакомому, без образования, но с какими-то навыками самоучкой работы с сайтами. Так он неделю морочил голову на уровне средней руки джуна, и даже что-то полезное сдал, но потом рассказал, что ничего не понимает, что происходит, а у его тарифа закончился лимит распознавания изображений. Простыми словами - ИИ заменила джуна.

Сейчас конец лета, и эта тварь запросто перерабатывает десятки файлов проекта, находит связи там, где я бы и не подумал, и скорее всего пропустил, и предлагает оптимальные решения с учётом современных стандартов.
То есть- это уже серьёзная заявка на уровень сеньора. Причем уже - без привычного человеческого "протупил, пролюбил, забыл, не подумал". Из минусов- сегодня тупит в 1 из 10 случаев, и иногда зацикливается.(1 из 5 сложных, комплексных задач).

И с учётом того, что для простой функции ИИ избавились от постоянно требуемого присмотра за год, то до работы на уровне Сеньора, которую не надо перепроверять - осталось пол-годика и всё.
Последние пол-года я не пишу код, а пишу промты, как человеку, и лишь проверяю что она там нагородила. и сегодня 4 из 5 правок - одобряю. Это к словам о настоящих партнёрах.

[Olweg]

То есть Дороничев не преувеличивал, когда говорил в интервью Дудю, что основной язык программирования в Кремниевой Долине сейчас - английский?

[Konstantin Schtsch]

То есть Дороничев не преувеличивал, когда говорил в интервью Дудю, что основной язык программирования в Кремниевой Долине сейчас - английский?

Хуже: я пишу на русском. А ИИ может писать на чем угодно, хоть на этих треугольниках и квадратиках с чёрточками и кружочками из компа инопланетян.

Для понимания на каком мы этапе: переводить код с одного языка программирования на другой он весма недурно умел еще в далёком 2023. написать функцию с первого раза - еще не мог. а перевести на другой язык программирования - на отлично.

[ZoooM]

Дороничев не преувеличивал

воообще не преувеличивал.
работаю в этой сфере хоть и не девом.
но наша кантора полным ходом  внедряет ИИ везде где только можно, многие девы используют Cursor и отзываются исключительно положительно,  код который бы они сами писали пару часов а то и больше, курсор пишет за пару минут с правками. 
джунам делать нечего

[AlexDark]

автору сих постов уже пятый раз указывают на ошибку в его рассуждениях, в логике. И четырёх раз ему не хватило.

А я уже вы который раз говорю - объект "кот" - один, интераций восприятия единственного объекта "кот" - много. Но вы мне пытаетесь доказать, что  вместо одного кота человек видит миллиарды котов разного цвета, пород, размеров, стиля рисовки  и тд и тп. Или хуже того - что эти миллионы котов живут у него дома.
И проехали, если дома живет один кот - значит он один. Дальнейший спор не имеет смысла.