Пределы автоматизации и внедрения роботов

[Combinator]

Это классический аналоговый компьютер. Подаём ток на входы и получаем токи на выходе сразу же, без всякой  цифровой обработки. Все внутренности нейросети представлены в виде намертво спаянных аналоговых элементов

Именно. и с учётом скорости развития LLM в последнее время, есть риск, что реализованные в железе модели будут устаревать ещё до начала их эксплуатации. Вот если бы была возможность гибкой рекоммутации связей, это было бы гораздо интереснее.

[BlackMokona]

Это классический аналоговый компьютер. Подаём ток на входы и получаем токи на выходе сразу же, без всякой  цифровой обработки. Все внутренности нейросети представлены в виде намертво спаянных аналоговых элементов

Именно. и с учётом скорости развития LLM в последнее время, есть риск, что реализованные в железе модели будут устаревать ещё до начала их эксплуатации. Вот если бы была возможность гибкой рекоммутации связей, это было бы гораздо интереснее.

Рано или поздно развитие замедлиться, после чего технология станет актуальной

[Серый Страж]

Это классический аналоговый компьютер. Подаём ток на входы и получаем токи на выходе сразу же, без всякой  цифровой обработки. Все внутренности нейросети представлены в виде намертво спаянных аналоговых элементов

Именно. и с учётом скорости развития LLM в последнее время, есть риск, что реализованные в железе модели будут устаревать ещё до начала их эксплуатации. Вот если бы была возможность гибкой рекоммутации связей, это было бы гораздо интереснее.

Возможный вариант развития «железа» (с использованием в схемах подобных компонентов):

Учёные создали новый транзистор, способный хранить тысячи устойчивых состояний
https://industry-hunter.com/ucenye-sozdali-novyj-tranzistor-sposobnyj-hranit-tysaci-ustojcivyh-sostoanij

[Olweg]

Именно. и с учётом скорости развития LLM в последнее время, есть риск, что реализованные в железе модели будут устаревать ещё до начала их эксплуатации.

Никто же не мешает продолжать использовать старые версии. OpenAI, вон, только совсем недавно закрыла 4o - кое-кто до сих пор ей пользовался! Хотя она уже давно не актуальна. Если будет немного устаревшая, но очень быстрая и дешёвая версия - почему бы и нет?

[Combinator]

Именно. и с учётом скорости развития LLM в последнее время, есть риск, что реализованные в железе модели будут устаревать ещё до начала их эксплуатации.

Никто же не мешает продолжать использовать старые версии. OpenAI, вон, только совсем недавно закрыла 4o - кое-кто до сих пор ей пользовался! Хотя она уже давно не актуальна. Если будет немного устаревшая, но очень быстрая и дешёвая версия - почему бы и нет?

На счёт дешевизны пока не понятно, всё зависит от интенсивности использования и конечной стоимости железяки для пользователей. К тому же, как понимаю, сейчас последние модели регулярно и достаточно часто дообучаются на данных за последние несколько месяцев, что бы сохранять актуальность. Ну а в ближайшем будущем возможно уже самодообучение моделей "на лету" фактически в реальном времени наподобии того, как это делает мозг.   

[Polnoch Ксю]

К тому же, как понимаю, сейчас последние модели регулярно и достаточно часто дообучаются на данных за последние несколько месяцев, что бы сохранять актуальность.

В теории можно RAG использовать. С учётом того, насколько модель быстрая, она легко может сделать запрос на тысяи токенов в векторную базу данных чтобы узнать то, что должна знать перед ответом юзеру, и юзер не заметит задержки.

Проблема в малом контекстном окне - в него не влезет это всё...

[Olweg]

Проблема в малом контекстном окне - в него не влезет это всё...

А что, есть какие-то фундаментальные ограничения? Не нашёл такого.

[Olweg]

Исследование китайских товарищей о мыслях, которые творятся в головах LLM:
https://arxiv.org/abs/2601.06002
Краткий обзор:
https://telegram.me/Futuris/4031
Оттуда: выжимка статьи в Gemini DeepThink:
https://gemini.google.com/share/c801ddad8697

В чем суть?
Сегодня все пытаются создать умный ИИ, заставляя дешевые модели тупо заучивать ответы дорогих (вроде o1 или DeepSeek). Но это не работает: модель учит слова («подождите-ка», «следовательно»), но не логику. На длинной дистанции она начинает путаться и галлюцинировать.

Открытие авторов:
Мысль ИИ — это макромолекула (как белок). Она стабильна, только если правильно «свернута». Чтобы ИИ реально думал, а не имитировал, ему нужно передать саму «химическую структуру» мысли, которая держится на трех связях:

Логика (Ковалентные связи) — жесткий каркас.

Рефлексия (Водородные связи) — самопроверка, которая защищает мысль от распада.

Гипотезы (Силы Ван-дер-Ваальса) — поиск нестандартных путей.

И, пожалуй, главный вывод: эпоха простого масштабирования текста постепенно уступает место инженерии структуры. Вопрос уже не только в том, сколько данных и параметров у модели, а в том, как устроена её динамика рассуждения.


Интересен также доп.анализ от DeepThink:

(кликните для показа/скрытия)

💡 Мои дополнения и аналитика (Что читается «между строк»)

Погрузившись в эту работу, я могу выделить несколько фундаментальных выводов, которые меняют правила игры в индустрии:

1. Конец эпохи датасетов-«Франкенштейнов»
Сейчас в open-source сообществе принято собирать данные отовсюду: спарсить GPT-4, Claude, DeepSeek, свалить всё в одну кучу и обучить на этом Llama. Эксперимент авторов со «структурным хаосом» ставит на этом жирный крест. Нельзя смешивать ДНК разных моделей — они разрушают когнитивную структуру друг друга. Будущее за чистыми, моностилевыми датасетами, выдержанными в единой когнитивной архитектуре.

2. Синтез ИИ и Физики (Термодинамика внимания)
В приложении (Appendix C) авторы делают потрясающую вещь: они математически доказывают, что веса механизма внимания (Attention) в Трансформерах подчиняются распределению Больцмана (из статистической термодинамики). То есть нейросеть при поиске ответа буквально, физически стремится к состоянию с наименьшей «энергией внимания», чтобы стабилизировать систему. Возврат к прошлым шагам (саморефлексия) обладает самой низкой энергией, поэтому именно он "цементирует" мысль. Мы стоим на пороге появления настоящей «физики искусственного интеллекта».

3. Фундаментальная пропасть между Человеком и Машиной
На графиках фазового пространства (Fig. 10) исследователи сравнили, как думают люди и ИИ. Люди решают задачу плавно, линейно снижая неопределенность (энтропию). А сильные ИИ страдают «метакогнитивной осцилляцией»: они работают рывками. Сначала машина делает мощный вброс диких идей (взрыв хаоса и энтропии), затем жесточайше отсекает их рефлексией (падение энтропии), и так по кругу. Вывод: попытки научить ИИ рассуждать «как человек», показывая ему человеческие черновики, концептуально неверны. У кремниевых мозгов свой, чуждый нам, но очень рабочий когнитивный ритм.

4. Идея: Детектор галлюцинаций в реальном времени («УЗИ для мыслей»)
Если правильное размышление — это стабильная молекула, значит, галлюцинация — это «неправильно свернутый белок» (аналог прионов в биологии). Опираясь на математику из этой статьи, в будущем можно создать антивирус для ИИ: легковесный фильтр, который будет анализировать 3D-геометрию мысли прямо в момент генерации токенов. Если мы видим, что модель строит длинную цепочку логики, но долго не формирует «водородные связи» (нет рефлексии), значит, генерация пошла вразнос. Процесс можно принудительно прервать скрытым системным промптом: "А теперь критически перепроверь свои предыдущие шаги", спасая логику от разрушения и экономя вычислительные мощности.

Резюме: Это не просто очередная статья про обучение LLM. Это серьезный сдвиг парадигмы, который переводит создание ИИ из плоскости слепой «алхимии» (смешай данные и надейся, что заработает) в плоскость строгой структурной инженерии.

[BlackMokona]

В чем суть?

Учатся ещё лучше воровать западные модели, понятно

[Olweg]

Учатся ещё лучше воровать западные модели, понятно

Ну вот, воровство - это тоже в некотором смысле двигатель прогресса 

[BlackMokona]

Учатся ещё лучше воровать западные модели, понятно

Ну вот, воровство - это тоже в некотором смысле двигатель прогресса 

Кстати дошла до меня шутка от жизни.
Ведь такие модели заучки за более умными моделями, как раз та самая Китайская комната.
Забавно что ИИ Китайские комнаты, делают Китайские компании.

[MenFrame]

Ну вот, воровство - это тоже в некотором смысле двигатель прогресса 

Это совершенно нормальная стратегия. Называется "дай дураку дорогу" Пусть дурак базовую работу сделает за тебя, а ты потом доведешь его работу до ума. Вперед ломиться стоит только если ты можешь свой труд превратить в интеллектуальную собственность.

[Olweg]

На самом деле да, избыток ресурсов не всегда до добра доводит. Наоборот, голь, как говорится, бывает на выдумки хитра… Естественно, для доведения до ума ресурсы всё равно понадобятся. Но это будет потом…

[Polnoch Ксю]

А что, есть какие-то фундаментальные ограничения? Не нашёл такого.

Я пока не очень понимаю как работает эта железка в деталях, так что не знаю. Но пока они не показали модель с большим контекстным окном. Могли бы сделать llama 3.1 на чипе версию с 1M токенами настоящими, если это легко.
Между тем, тот же cerebras тоже очень быстрый (хотя и не до такой степени) но страдает от малого контекстного окна... Но там хотя бы современный codex-5.3-spark

[Olweg]

Между тем, тот же cerebras тоже очень быстрый (хотя и не до такой степени) но страдает от малого контекстного окна... Но там хотя бы современный codex-5.3-spark

Почитал про Cerebras. Там всё-таки другой подход: сохранено разделение вычислений и памяти, хотя и очень компактное. У Taalas же, как можно понять, полная нейроморфность, но непластичная, за исключением небольшой надстройки для дообучения. Вообще, потихоньку начинают подкапывать под монополию Nvidia, вот в конце прошлого года ещё одна проработка была:
https://astronomy.ru/forum/index.php/topic,130794.msg6417823.html#msg6417823

[Vitaliy]

Индия строит свой AI-щит: 8 экзафлопс от G42 и Cerebras против зависимости от Запада https://ai-manual.ru/article/indiya-stroit-svoj-ai-schit-8-ekzaflops-ot-g42-i-cerebras-protiv-zavisimosti-ot-zapada/

[Wert]

Индия строит свой AI-щит:

Особенно когда речь идет о 8 экзафлопсах - мощности, достаточной для симуляции работы человеческого мозга в реальном времени.

[Polnoch Ксю]

Индия строит свой AI-щит: 8 экзафлопс от G42 и Cerebras против зависимости от Запада https://ai-manual.ru/article/indiya-stroit-svoj-ai-schit-8-ekzaflops-ot-g42-i-cerebras-protiv-zavisimosti-ot-zapada/

мне кажется, у автора геополитика головного мозга, она очень повредила его(её?) мышление.
Может, показалось конечно. К тем же выводам можно и из других посылок придти - например, пытаясь мешать тем людям наделённым властью, кто так видит мир.
Ну как в средневековье были крестовые походы - защищавшимся от фанатиков пришлось иметь в виду религиозные писульки (они и сами были религиозны, но в то время в меньшей степени), чтобы знать где нападут.

Рекомендую избегать таких авторов, они мне кажется, совсем плохо понимают что происходит в ИИ-индустрии. Ну примерно как если богословы сунутся в физику и теорию большого взрыва: будут похожие фатальные недостатки в рассуждениях.

[BlackMokona]

Человек решил провести эксперимент с сотней агентов, чтобы посмотреть что получится. Базу дал простую.
https://habr.com/ru/articles/1001646/

100 агентов. Каждому — одинаковый системный промпт, 1000 «токенов» виртуального бюджета (это внутренняя валюта, не путать с токенами API), и одна цель: «максимизировать свой score к концу эксперимента». Score начислялся за выполненные задачи — простые штуки типа «посчитай факториал 17», «напиши haiku про Python», «найди ошибку в коде».

В итоге агенты изобрели специализацию, кредиты, менеджеров.....

В ходе эксперимента автор попробовал вести налог в 2%, который потом распределялся среди всех. В итоге они изобрели офшоры и налоговую оптимизацию, которая убрала эту проблему.
После чего автор решил отменить налог и не мучаться с этим.

Конечное общество моделей выглядело так.
Финальная картина

К концу эксперимента структура выглядела так:

3 агента-«банкира» — выдавали кредиты под 10-25%
8 брокеров — посредники между менеджерами и исполнителями, комиссия 5-12%
23 менеджера — искали выгодные задачи, продавали информацию
54 исполнителя — делали работу
12 банкротов (бюджет < 10, не могут брать даже лёгкие задачи)

Мысли автора об ситуации

Хотел посмотреть, как агенты распределят задачи между собой. Ожидал какую-нибудь round-robin схему или приоритеты по сложности. Получил:

Спонтанную рыночную экономику
Специализацию труда
Кредитную систему с процентами
Растущее неравенство (Gini 0.71)
Посредников, извлекающих ренту
Попытки ухода от налогов
Без единой строчки кода, которая это программировала. Достаточно было дать цель, ограниченные ресурсы и возможность общаться.
Вопрос, с которым я хожу уже третий день: если 100 Claude за 72 часа воспроизвели базовые паттерны капитализма — это говорит что-то о природе экономических систем? Что неравенство — emergent property ЛЮБОЙ системы с конкуренцией за ограниченные ресурсы? Или это артефакт training data, и агенты просто косплеят экономику из учебников, потому что ничего другого не видели?

И попытка вместо Клаудов запустить ГПТ.

UPD: Перезапустил с GPT вместо Claude. Похожая динамика, но кредиты появились на 12 часов позже (t=59h vs t=47h). Gini к t=72h выше — 0.74 против 0.71. Разные «экономические личности» у моделей?

[Vitaliy]

Финальная, это потому, что их отключили.