Пределы автоматизации и внедрения роботов

[MenFrame]

Уже полно исследований, что помимо токенов, LLM имеет логический и когнитивные процессы,

Как раз ситуация обратная. Когда ЛЛМкам задают вопросы наполненные словесным мусором, то всякая иллюзия наличия когнитивных функций улетучивается, и становиться ясно что это просто натасканные системы.

[otu K.]

А ложные воспоминания, кстати - это неисправимый бич человечества в принципе.

Если воспоминания содержат фактические сведения, ложные легко отсеиваются.

[BlackMokona]

Как раз ситуация обратная. Когда ЛЛМкам задают вопросы наполненные словесным мусором, то всякая иллюзия наличия когнитивных функций улетучивается, и становиться ясно что это просто натасканные системы.

Внезапно у людей так же работают. Умение не шаблоно работать это особый талант. Который во первых не у всех встречается в принципе. А во вторых намного менее точен чем шаблонный. Поэтому не беда ИИ, а беда всех интеллектуальных процессов

[MenFrame]

Внезапно у людей так же работают.

То что люди часто не пользуются своим интеллектом в силу лени, предвзятости нам известно. Но это совершенно иная ситуация в сравнении с ЛЛМ где интеллект просто не наблюдается.

Умение не шаблоно работать это особый талант.

Умение выходить за рамки шаблонов еще и опасно для человека который заботиться о своем выживании. Надумаешь покреститься не тем количеством перстов и тебе хана. Но это заморочки людей и их эволюционного прошлого.

Хотя в целом мышление даже очень умного человека то же есть набор шаблонов.

[BlackMokona]

То что люди часто не пользуются своим интеллектом в силу лени, предвзятости нам известно. Но это совершенно иная ситуация в сравнении с ЛЛМ где интеллект просто не наблюдается.

Внезапно ИИ тоже очень активно ленится, а так же в новых версиях им ещё пределали систему для выбора моделей. Чтобы на легкий вопрос отвечала глупая модель, а на более сложный умная. И конечно эта система ещё очень сырая. От чего вам может дурочок отвечать на сложный вопрос.
Всё как и в ЕИ, ради экономии ресурсов.

Умение выходить за рамки шаблонов еще и опасно для человека который заботиться о своем выживании. Надумаешь покреститься не тем количеством перстов и тебе хана. Но это заморочки людей и их эволюционного прошлого.

Хотя в целом мышление даже очень умного человека то же есть набор шаблонов.

Согласно статистике США, более половины насселения страны не умеют мыслить не шаблоно. Это у них теперь новое определение грамотности хех.

[BlackMokona]

В целом думаю научное сообщество должно выработать критерии, что в любом исследовании ИИ. Должно иметь контрольную группу людей, которая должна подвергаться такой же проверке. Это резко бы повысило качество исследований

В рассматриваемом нами исследовании, им бы пришлось либо признать ЕИ тоже мифом. Либо не публиковать чушь

[skvj]

Уже полно исследований, что помимо токенов, LLM имеет логический и когнитивные процессы,

Как раз ситуация обратная. Когда ЛЛМкам задают вопросы наполненные словесным мусором, то всякая иллюзия наличия когнитивных функций улетучивается, и становиться ясно что это просто натасканные системы.

Спасибо за ссылку, я читал похожие исследования. Но надо понимать важный момент: подобные работы не разоблачают интеллект ИИ, а показывают границы текущих архитектур и методик тестирования. Все аргументы высосаны из пальца.
Говорить, что LLM "только имитируют рассуждения " - это как утверждать, что первые самолёты "имитируют полёт", потому что они не могут махать крыльями как птицы. Но факт остаётся фактом: они уже летают.

Да, LLM ошибаются при словесном мусоре. Но и люди точно так же! Есть классический эффект когнитивной перегрузки: добавь в задачу ненужные детали и даже опытные математики ошибаются. Это не "отсутствие мышления", а свойство любой системы обработки информации.

Ведь и человек мыслит через имитацию. Мы повторяем паттерны, которые усвоили из опыта и культуры. Мы учимся решать задачи не с нуля, а по аналогии, используя знакомые схемы. Разница между "имитацией рассуждения" и рассуждением не такая уж чёткая, как кажется.

Цепочка мыслей не мираж, а инструмент.
Chain of Thought действительно может ломаться на нетипичных данных. Но сам факт, что метод работает на огромном числе задач, уже говорит о наличии обобщающей стратегии, а не только попугайства. Если бы модель просто подбирала шаблоны, она бы не умела переносить рассуждение на незнакомые примеры, что мы всё же наблюдаем.

Эмерджентность реальна.
Хинтон и другие исследователи отмечали: в больших моделях появляются когнитивные функции, которых никто специально не программировал. Локальные сбои не отменяют этого факта. Когда человек ошибается в логике, мы же не говорим - он не мыслит, мы говорим - он ошибся. Почему же к ИИ применяется другой стандарт?

Правильный вывод из исследования не "LLM не мыслят, а "LLM мыслят нестабильно и ограниченно".
Именно поэтому нужны новые архитектуры, работа с памятью, мультимодальностью, самообучением. Наука только в начале пути, и сегодняшние ограничения не являются вечным приговором.

[MenFrame]

Но факт остаётся фактом: они уже летают.

Факты как раз говорят об обратном. Пониманием ЛЛМ не обладают.

Почему же к ИИ применяется другой стандарт?

Потому что анализ ошибок позволяет понять суть(причину) их возникновения. В данной ситуации суть такова, что у языковых моделей отсутствует понимание смысла. Но хорошая способность предсказывать следующее слово в предложении создает иллюзию понимания у нетребовательных пользователей.

добавь в задачу ненужные детали и даже опытные математики ошибаются.

Нет, опытные математики понимают где лишняя информация, в силу того что хотят понять смысл поставленной задачи. ЛЛМ же реагирует на лишнюю информацию также как на основную, согласно своей статистической модели.

[Olweg]

На тему мышления моделей.

Новая полезная статья: “Attention Is the New Big-O: A Systems Design Approach to Prompt Engineering”. 

Если раньше мы оценивали алгоритмы по сложности, то теперь - по удерживанию внимания LLM.

Что это значит на практике? В LLM внимание (attention) - это не фокус в человеческом смысле, а математика связей. Каждое слово в вашем запросе “взвешивается” относительно всех других, и форма промта определяет, что модель заметит, а что проигнорирует. Она не читает по порядку, а сразу строит матрицу взаимосвязей. Поэтому структура текста влияет очень сильно. 

Вот несколько советов, чтобы выжать из моделей побольше: 

1. Начинайте с самого важного. Исследования показывают, что наибольший вес имеют первые и последние строки промта. Если критично выделить цель - поставьте её в начало.
2. Разбивайте задачу на блоки. Используйте подзаголовки, списки, шаги. Модели проще держать внимание на сегментах, чем на “стене текста”.

И ещё несколько полезных советов:

https://telegram.me/sergiobulaev/1430

[Olweg]

В данной ситуации суть такова, что у языковых моделей отсутствует понимание смысла.

Начнём с определений. Что такое - «понимание смысла»? Что делает человек, когда понимает смысл?

[Olweg]

Кроме того, ещё и поразительно быстрое привыкание людей к новому. Никто уже не помнит, что было каких-то полгода назад, возникает иллюзия, что в прошлом было примерно то же, что и сейчас, хотя темпы прогресса в этой сфере на самом деле невероятные.

Интересный пост от Игоря Котенкова:

Обсуждал со знакомым релиз GPT-5, и он в попытках переубедить меня написал следующее: «Такое упражнение: отмотай на год назад и посмотри на свои ожидания от gpt-5».

И... я ещё раз убедился, что действительно за всего лишь год индустрия прошла большой путь:

— год назад даже не было рассуждающих моделей, первая, o1, была представлена лишь в сентябре (и нам дали поиграться с preview)

— основной рабочей лошадкой были GPT-4o и Claude 3.5 (даже не 3.6)

— не было ни Deep Research, ни Pro-версии; любой большой анализ часто занимал 3-4-5-6 промптов, и задачу приходилось футболить туда-сюда. Я не помню, чтобы пользовался LLM-поиском и агрегацией новостей, так как не доверял качеству, но возможно в августе уже было неплохо.

— максимальный объём кода, который я ожидал от модели в ответ на свой запрос, был примерно 100-150 строк. Рассуждающие модели конечно сильно нарастили этот объём.

o3, выпущенная 16 апреля — за 3.5 месяца до GPT-5 — была значимым шагом по отношению к o1, особенно в части поиска, и если бы её назвали GPT-5 — многие, включая меня, были бы рады. Но этого не случилось.

Как я не ожидал анонса o3 на декабрьских стримах под предлогом «так o1 вот только-только же показали, куда ещё то?», так и не ожидал огромного эпохального скачка от апреля до августа. При этом для бесплатных пользователей и для значимой части платных новые рассуждающие модели — это большой скачок.

Я не знаю, как надо сравнивать оригинальный релиз GPT-4 и GPT-5, чтобы говорить, что не произошло скачка как минимум уровня GPT-3.5 -> GPT-4. Просто все улучшения мы получали порциями и пробовали сразу: гораздо более дешёвая GPT-4-Turbo, чуть более умная и ещё более дешёвая GPT-4o (у которой вышло 3-4 версии!), рассуждающие модели, агенты. И действительно каждый отдельный шаг мог не казаться большим (ну, кроме ризонеров).

Множество маленьких шагов приводят к большим переменам. Общая тенденция по-прежнему весьма позитивна.

https://telegram.me/seeallochnaya/2797

[BlackMokona]

Факты как раз говорят об обратном. Пониманием ЛЛМ не обладают.

Если они не обладают, то и подавляющие большинство ЕИ тоже не обладают

[skvj]

Факты как раз говорят об обратном. Пониманием ЛЛМ не обладают.

Что такое понимание? Если это способность оперировать смыслами, переносить их на новые контексты и решать задачи, которых модель не видела в обучении, то LLM уже демонстрируют это (MatPrompts, BigBench Hard и др.). Если же вы под пониманием подразумеваете некую мистическую сущность, то это подмена понятия. Чёткой научной дефиниции у понимания пока нет и в отношении людей, кстати, тоже.
Ваша проблема в том, что вы не имеете определения "понимания" в принципе. А просто навешиваете ярлыки, признавая его за хомо, и отказывая в этом ИИ.

Потому что анализ ошибок позволяет понять суть(причину) их возникновения. В данной ситуации суть такова, что у языковых моделей отсутствует понимание смысла. Но хорошая способность предсказывать следующее слово в предложении создает иллюзию понимания у нетребовательных пользователей.

Это аргумент "если впечатляет - значит вы просто наивные". Но тогда почему LLM успешно применяются в медицине, кодинге, юриспруденции? Эксперты-практики используют их именно потому, что они решают задачи, а не потому, что выглядят умными. Иллюзия не помогает отлаживать сложные программы или ставить диагнозы.

Нет, опытные математики понимают где лишняя информация, в силу того что хотят понять смысл поставленной задачи. ЛЛМ же реагирует на лишнюю информацию также как на основную, согласно своей статистической модели.

Да, опытные люди умеют фильтровать мусор. Но это навык, который тоже формируется практикой. LLM как раз тренируются на таких же вещах, методы chain-of-thought, fine-tuning и RLAIF. В новых версиях модели всё лучше учатся игнорировать нерелевантные данные. Ошибки есть, но это вопрос развития, а не фундаментальной невозможности.

Вы правы: ошибки многое говорят о природе системы. Но ваши выводы слишком категоричны. То, что модель путается в нерелевантных деталях, не доказывает отсутствие смысла. Это доказывает только ограниченность текущей архитектуры. По вашему если самолёт падает при определенных условиях - он не умеет летать.

[Metatron]

Понимание текста на людях тестируется так - дают прочитать - а потом просят кратко изложить суть.

ЛЛМ это уже давно делают.

[AlexDark]

Понимание текста на людях тестируется так - дают прочитать - а потом просят кратко изложить суть.

Тест подобного типа, имхо, совершенно невалидный. Потому что из текста можно вывести суть в виде "Снусмумрики охотятся на сепулек в заркидоне", но никакого понимания того, кто или что такое снусмумрики, сепульки и заркидон - нет и не будет.
Ну или пример с глокой куздрой - где морфологию фразы мы понимаем, разобрать фразу на составные части можем, но смысл фразы отсутствует.

[Olweg]

никакого понимания того, кто или что такое снусмумрики, сепульки и заркидон - нет и не будет.

А в чём должно заключаться это понимание?

[MenFrame]

Что такое понимание?

Этот вопрос задайте авторам статьи

Однако недавние исследования ставят под сомнение наличие у этих моделей даже базового понимания общих логических концепций или точного представления о собственном «процессе мышления».

Но тогда почему LLM успешно применяются в медицине, кодинге, юриспруденции?

Обычны справочники тоже там активно применяют. Интересно почему. Хотя в целом я вижу больше разговоров про применение, нежели самого применения. Скажем почти не вижу здесь примеров применения ИИ энтузиастами.

Это доказывает только ограниченность текущей архитектуры.

Ну в данном случае и обсуждаем в чем именно состоит это ограничение. Я не думаю что тут есть какие то фундаментальные препятствия. Но у меня есть ощущения что сам по себе сильный ИИ не появятся, сколько бы не генерили данных для обучения и сколько флопсов не тратили на их обработку.

[skvj]

Что такое понимание?

Этот вопрос задайте авторам статьи
Однако недавние исследования ставят под сомнение наличие у этих моделей даже базового понимания общих логических концепций или точного представления о собственном «процессе мышления».

Вы киваете на авторов статьи, но это не снимает вопрос. Науки о сознании и когнитивных функциях десятилетиями бьются над определением "понимания" и "мышления". У людей тоже нет формального критерия. Поэтому утверждать, что "LLM не понимают" без строгой дефиниции это заведомо ложное утверждение. И вы подменяете дискуссию мнением авторов вместо анализа сути - ведь вы и сам утверждаете, ссылаясь на статью. А я вам отвечаю, что авторы неправы - ни у них, ни у вас - нет даже определения что такое "понимание". С какой стати вы делаете утверждение?

Обычны справочники тоже там активно применяют. Интересно почему. Хотя в целом я вижу больше разговоров про применение, нежели самого применения. Скажем почти не вижу здесь примеров применения ИИ энтузиастами.

Справочник не может написать код, сгенерировать юридический документ под конкретную ситуацию или объяснить медицинский отчёт. LLM это делают, причём в миллионах реальных кейсов от GitHub Copilot (кодинг) до ChatGPT Enterprise (документы и аналитика). Игнорировать это и приравнивать к справочнику,  всё равно что сравнивать калькулятор с инженером. Да, оба считают, но функции и масштаб разные.
Ваш опыт наблюдений не равен фактам. Уже есть тысячи open-source проектов, плагины, стартапы и форумы, где энтузиасты применяют LLM для науки, обучения, автоматизации. Вы их можете не видеть, но это не отменяет их существования. Это как сказать - я не вижу бактерий, а значит их нет.

Ну в данном случае и обсуждаем в чем именно состоит это ограничение. Я не думаю что тут есть какие то фундаментальные препятствия. Но у меня есть ощущения что сам по себе сильный ИИ не появятся, сколько бы не генерили данных для обучения и сколько флопсов не тратили на их обработку.

Это не аргумент, а вера. Вы говорите "ощущение", а я говорю: у нас есть эволюция архитектур (LLM - мультимодели - агенты с памятью и средой). Каждое поколение делает то, что раньше считалось невозможным. Ставить точку сейчас, это как в 19 веке утверждать: машины никогда не обгонят лошадь.
Про ограничения архитектуры. Здесь я с вами согласен, ограничения есть. Но именно архитектурные ограничения - не доказательство отсутствия интеллекта. Они указывают на этап развития. У первых компьютеров не было памяти, у первых самолётов автопилота. Это не отменяло того, что они были компьютерами и самолётами.

[skvj]

Вы (или авторы статьи, совершенно неважно) говорите: LLM не понимают, это иллюзия. Это неверно! если система даёт результат, решает задачи и расширяет человеческие возможности - это и есть понимание в действии, каким бы оно ни было изнутри. Наука обязана описывать факты, а не обесценивать их словами "иллюзия". И нам нужно в данном случае максимально приближаться к научным фактам, потому что, хотя и научный метод несовершенен, - всё остальное в разы хуже или неверно вообще.

[AlexDark]

Т.е. некий человек А, который взял все данные из справочника по металлопрокату для проектирования, к примеру, скажем моста, и человек Б, который знает, как именно получены данные в справочнике, и умеющий посчитать эти данные по формулам, исходя из физических свойств металлопроката имеют одинаковый уровень понимания задачи?