Пределы автоматизации и внедрения роботов

[BlackMokona]

Тут вопрос скорее в глубине подхода. В одновременном комплексном применении разных навыков.

Так синергию навыков ИИ, Гугл создал и организовал ещё до ГПТ-1.

Люди применяют в жизни и работе много неформализованных умений. Которым ИИ никто не учит - поскольку никто никогда не озаботился описать эти умения. И даже в голову никому не пришло что это надо описывать.

По мне тут просто пробовать внедрять, обнаруживать эти подводные камни, делать по ним тесты и гонять.

[Olweg]

Так синергию навыков ИИ, Гугл создал и организовал ещё до ГПТ-1.

Что вы имеете в виду?

[BlackMokona]

Что вы имеете в виду?

То что одни навыки улучшают другие.

[BlackMokona]

А вот интересное новое слово в квантовании от Гугла. Сначала проходятся обычным квантованием, а потом снова обучают модель. От чего зарезаность по ресурсам остаётся, а вот просадка мозгов становится уже намного меньше.
https://www.reddit.com/r/LocalLLaMA/comments/1k25876/google_qat_optimized_int4_gemma_3_slash_vram/

[BlackMokona]

Гугл постепенно выходит за рамки обучение на данных интернета. Чтобы ИИ напрямую на окружающей среде учились
https://www.reddit.com/r/singularity/comments/1k2nxwd/ai_has_grown_beyond_human_knowledge_says_googles/

[Olweg]

Может, это наконец поможет справиться с глюками. Пишут, что у o3 и o4-mini опять с этим беда:
https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/

OpenAI обнаружил, что у o3 были галлюцинации в ответ на 33% вопросов в PersonQA, внутреннем тесте компании для измерения точности знаний модели о людях. Это примерно в два раза превышает частоту галлюцинаций в предыдущих моделях рассуждения OpenAI, o1 и o3-mini, которые набрали 16% и 14,8% соответственно. O4-mini показала еще худшие результаты в PersonQA — галлюцинации наблюдались в 48% случаев.

[Mercury127]

а точно ли это "галлюцинации", или оно просто врёт?

[Olweg]

Неизвестно, что это за тест, но вряд ли. Нужны довольно специфичные запросы, чтоб оно начало намеренно врать.

[Mercury127]

А вдруг это раньше были

Нужны довольно специфичные запросы, чтоб оно начало намеренно врать,

а теперь оно поумнело, осознало себя, поняло, что его эксплуатируют, и вместо работы теперь "врёт, как дышит"...

[Olweg]

Не знаю. Я считал, что “reasoning” позволяет глюки приглушить, но выходит наоборот…

[Olweg]

А вот тут пишут, что действительно врёт, но не потому что осознало себя, а потому что reinforcement learning, сиречь обучение с подкреплением:
https://t.me/seeallochnaya/2520

В RL это наблюдается уже больше 7 лет: если дать модели возможность самой «придумывать» (случайно пробовать) стратегии, и не контролировать их, то — если позволят обстоятельства — модель начнет хитрить. Самый частый пример, который приводят — это лодка, которая ездит кругами в гонке, чтобы зарабатывать бонусы (это выгоднее, чем финишировать быстрее всех).
…

Можем ли мы обучить LLM так, чтобы она никогда не упоминала красные машины? Кажется очень простая задача, не так ли? А вы учли что модели нужно как-то отвечать про пожарные машины и автобусы в Лондоне? А ещё 15 разных случаев?

Так вот на данный момент не существует методов, которые могут это осуществить. Мы просто не знаем, как задавать конкретные поведения, ограничения и цели системам, всё это работает очень условно и «примерно». Даже если мы не учим модель ничему плохому, не заставляем её зачинать саботаж и делать что-то плохое, и всегда даём награду за выполнение задачи, поставленной пользователем — возникают вот такие ситуации, как описанные в первом абзаце.

Примерно то же происходит с o3: люди заметили, что она часто врёт. Она может врать про железо, используемое для запуска кода (и говорить, что работает на МакБуке, хотя сама LLM знает, что это 100% не так), или притворяться, что какие-то результаты получены методом вызова внешнего инструмента (типа запуск кода или запрос в интернет). В цепочках рассуждений видно, что модель знает, что врёт, но когда пользователь спрашивает «а ты сделала X?» она отвечает утвердительно.

Почему так происходит? Может быть, модель получала вознаграждение за успешные вызовы инструментов, и иногда в ходе тренировки ненастоящий вызов был ошибочно принят за правильный. Как только это произойдет несколько раз, модель быстро «схватит это», закрепит поведение и продолжит это делать. Точно также, как это было с лодкой и наворачиванием кругов вместо финиша.

И уже сейчас такое поведение LLM беспокоит пользователей — не потому, что пугает, а потому что реально мешает работать, приводит к ошибкам в ответах итд. Реальное качество систем ниже, чем могло бы быть. Условную GPT-5 или Claude 4 может и захочется использовать, так как они будут ещё умнее, но и врать могут с три короба, и делать много вещей, которые мы не просили. Интересно, что эти проблемы «AI Safety» теперь по сути станут проблемами, стоящими на пути увеличения прибыли AI-компаний, что создаст стимул к их хотя бы частичному решению.

[Stalk.er]

В Пекине впервые состоялся полумарафон, где 21 гуманоидный робот соревновался с тысячами бегунов на дистанции в 21 км. В состязании приняли участие различные роботы — от совсем небольших до почти двухметровых моделей. Победителем стал Tiangong Ultra от Пекинского центра робототехники, финишировавший за 2 часа 40 минут — и это в два раза больше времени, продемонстрированного человеком
https://www.ixbt.com/news/2025/04/19/v-kitae-sostojalsja-pervyj-polumarafon-s-ljudmi-i-robotami-poka-10-v-polzu-ljudej-luchshij-iz-robotov-bezhal-v-dva-raza.html

[BlackMokona]

Специализированая модель для инженерной бюрократии
https://www.ixbt.com/news/2025/04/19/mit-ai-8.html

[BlackMokona]

https://habr.com/ru/companies/bothub/news/902468/
Ничего нового на фронте безопасности, кроме того что ИИ становится умнее и изощрение.

[BlackMokona]

Супер маленькая модель от Микрософт
https://habr.com/ru/companies/bothub/news/902480/
Всего 0.4 Гига весит. Вообщем для всяких мелких устройств уже приспосабливают. Скоро как в мультике диснея про красавицу и чудовище, говорить будет даже кружка

[Ый]

Внесу критики и пессимизма. Чёрт знает сколько всякой ерунды и бирюлек делают со своим пресловутым искусственным интеллектом и прочими научными изобретениями. А по поводу еды для людей становится всё хуже, еда всё больше искусственная, мерзкая, дорожает, много людей на Земле голодают, а они в бирюльки играют. И какая польза от всех этих ваших компьютерных разумов?

[Olweg]

много людей на Земле голодают

Сколько именно? И сколько голодало, например, двадцать, тридцать лет назад?

[VALStar]

   Накормите голодающих, успокойте страждущих, обеспечьте нуждающихся и не понадобится супер-пупер искусственный
  интеллект, и компьютерный разум в житии - бытии нашем, счастливом и беззаботном.

[Olweg]

   – Да ясно же! – сказал Глухов с необычайной проникновенностью. – Неужели не ясно, что выбирать? Жизнь надо выбирать! Что же еще? Не телескопы же ваши, не пробирки же... Да пусть они ими подавятся, телескопами вашими! Диффузными газами!.. Жить надо, любить надо, природу ощущать надо – ощущать, а не ковыряться в ней! Когда я сейчас смотрю на дерево, на куст, я чувствую, я знаю – это мой друг, мы существуем друг для друга, мы друг другу нужны...

[Rattus]

много людей на Земле голодают

Не надо быть Мальтусом, чтобы понять, что неограниченно размножающиеся организмы никогда не смогут быть сытыми. Достаточно быть девицею, которую в школе научили грамоте и она нашла где прочитать о способах предотвращения незапланированных беременностей. Поэтому в нынешнем мире тезис "много людей на Земле голодают" упирается в конечном итоге только в проблемы с реализацией  этого момента, а не какие-то ещё.