Пределы автоматизации и внедрения роботов

[незлой]

Спасибо

Ведь и человек мыслит через имитацию. Мы повторяем паттерны, которые усвоили из опыта и культуры. Мы учимся решать задачи не с нуля, а по аналогии, используя знакомые схемы. Разница между "имитацией рассуждения" и рассуждением не такая уж чёткая, как кажется.

вот да
долой мясной шовинизм!

[skvj]

Т.е. некий человек А, который взял все данные из справочника по металлопрокату для проектирования, к примеру, скажем моста, и человек Б, который знает, как именно получены данные в справочнике, и умеющий посчитать эти данные по формулам, исходя из физических свойств металлопроката имеют одинаковый уровень понимания задачи?

Ваш пример некорректный.
Человек А в вашей аналогии это калькулятор, а не LLM.
Справочник не комбинирует данные в новые формы, не переносит их в незнакомые задачи и не проверяет выводы на согласованность. LLM делает всё это. Сравнение модель = человек А неверно по сути.

LLM часто выступают именно как человек Б. Современные модели умеют не просто цитировать справочник, а выводить новые зависимости, которых в справочнике нет. Например объясняют, почему формула работает, комбинируют физику, математику и материалы для новых расчётов. Это ближе к умению считать по формулам, чем к голой компиляции данных. Кроме того, человек Б в вашей аналогии не рождается с формулами - он их учит из учебника, то есть из того же справочника. Его сила не в том, что он "не А", а в том, что он научился применять данные. И это как раз то, чему учат LLM.

Корректная аналогия выглядела бы так:
человек А - тот, кто переписывает таблицы бездумно
человек Б - тот, кто комбинирует таблицы, проверяет логику, ищет новые связи.
LLM работают как второй случай, особенно в связке с инструментами (код, симуляции, поиск).

Поэтому ваш вопрос сводится не к понимает/не понимает, а к уровню понимания. ИИ сегодня точно вышел за рамки человека А со справочником. А по многим вопросам он лучше специалиста-человека.

[AlexDark]

LLM просто имеет на руках много справочников и может листать их с огромной скоростью.
Человек Б в моем примере не ищет новые связи и не создает ничего нового, он просто знает, то или иное оно устроено и почему именно так. Человек открывает новое взаимодействуя с окружающим миром, LLM может взаимодействовать только с паком скормленных ей данных, и ничего сверх содержащегося в этом паке оно не может узнать, потому что иначе это уже нечто сверхъестественное.

[Olweg]

LLM просто имеет на руках много справочников и может листать их с огромной скоростью.

То, что вы описали - это экспертная система, а не LLM.

[Combinator]

Человек открывает новое взаимодействуя с окружающим миром, LLM может взаимодействовать только с паком скормленных ей данных, и ничего сверх содержащегося в этом паке оно не может узнать, потому что иначе это уже нечто сверхъестественное.

Не переживайте, скоро Grok поселится внутри Optimus, и всё будет как вы любите.

[skvj]

LLM просто имеет на руках много справочников и может листать их с огромной скоростью.

Если бы LLM лишь листали справочники, то они бы отвечали только теми фразами, которые там есть. Но модели сочетают, преобразуют и обобщают данные. Отсюда код, которого нет ни в одном справочнике, новые математические доказательства (буквально недавно недавно GPT-5 решил мат. задачу, которую математики не могли решить), и научные гипотезы, которые публикуют исследователи. Это не "листать", а синтезировать.

Человек Б в моем примере не ищет новые связи и не создает ничего нового, он просто знает, то или иное оно устроено и почему именно так.

Вы сами сказали: он "просто знает, как устроено и почему так". Но это не так. Откуда он это знает? Из тех же справочников, учебников, статей. Его знание - результат чужих данных. Знания для людей - это чтение книг, преимущественно (+ другие методы). Так что подавляющее большинство специалистов ничем от LLM не отличаются в принципе.

Человек открывает новое взаимодействуя с окружающим миром, LLM может взаимодействовать только с паком скормленных ей данных, и ничего сверх содержащегося в этом паке оно не может узнать, потому что иначе это уже нечто сверхъестественное.

Во-первых, именно так работает и человеческий мозг. Мы перерабатываем сенсорные сигналы и культурный опыт, и ничего "сверхъестественного" у нас нет. Во-вторых, новые знания = новые комбинации старых идей. Эйнштейн не увидел Вселенную заново - он скомбинировал известные данные (Максвелл, Лоренц, Михельсон-Морли) в новую концепцию. Это ровно то, что делают LLM.

При этом! Кроме книжного знания, LLM уже формируют собственную картину мира. Они взаимодействуют через инструменты, сенсоры, роботов. Грок будет запущен в Оптимус. Там ИИ Тесла, но это исключительно для перемещения в пространстве, - у Теслы своя собственная картина мира. Но для общения с человеком нужен LLM. И Грок тоже будет мультимодальный. Поэтому будет иметь свой опыт, а это значит, что у каждого юзера будет свой уникальный андроид, поскольку их память и опыт будут кардинально отличаться. А это означает - субъективный опыт, личность и сознание со всеми вытекающими. Подключите модель к экспериментальной установке или телескопу и она получает новые данные в реальном времени. То, что сейчас они ограничены текстом, - архитектурная стадия, а не принципиальный предел.
Вы не очень много читаете в сфере ИИ?

[AlexDark]

Мы перерабатываем сенсорные сигналы и культурный опыт, и ничего "сверхъестественного" у нас нет

Именно. У LLM нет никаких сенсорных сигналов и никакого опыта кроме того, что им скормили в паке данных. Они НИЧЕГО не могут взять сверх этих данных, потому что у них органов чувств нет, и взаимодействия с окружающей реальностью нет. Это "мозги в коробке", которые конструируют свое понимание реальности в зависимости от того, какую инфу им скормили, а скормить им можно что угодно, и получить на выходе тоже что угодно.

Они взаимодействуют через инструменты, сенсоры, роботов.

В фантастическом кино - да, где это в реальности - я не вижу.

Во-первых, именно так работает и человеческий мозг.

Человеческий мозг работает с точностью до наоборот - он может опознавать миллионы котов, имея в качестве исходника всего одного кота (лично на примере ребенка наблюдал). Все LLM требуют скармливания миллионов картинок котов, чтобы опознать одного.


А если к этому добавить фундаментально разные варианты интерпретации данных (в человеческой культуре оно называется "философскими направлениями" или типа того), то получается еще больше вариантов. А вот какие из них являются отражением реальности, а какие - галлюцинациями искусственного шизофреника - вопрос.

[Metatron]

Человеческий мозг работает с точностью до наоборот - он может опознавать миллионы котов, имея в качестве исходника всего одного кота (лично на примере ребенка наблюдал).

Это говорит лишь о том что алгоритмы обработки информации в мозгу человека более совершенны чем те что сейчас используются в LLM.

Разработают новые алгоритмы - и LLM приблизятся к человеческому уровню.

[skvj]

В фантастическом кино - да, где это в реальности - я не вижу.

Уже существуют системы, где LLM подключены к камерам, микрофонам, роботам (Google DeepMind RT-2, Tesla Optimus, Boston Dynamics с LLM-надстройками). Это не фантастическое кино, это реальность, про которую вы не знаете. ИИ Тесла имеет собственную картину мира - никаких принципиальных отличий от LLM здесь нет.

Человеческий мозг работает с точностью до наоборот - он может опознавать миллионы котов, имея в качестве исходника всего одного кота (лично на примере ребенка наблюдал). Все LLM требуют скармливания миллионов картинок котов, чтобы опознать одного.

Это миф. Ребёнок опознаёт кота, потому что мозг и гены содержат миллионы лет эволюции обработки образов - встроенную "предобученную модель". LLM тоже можно дообучать few-shot или zero-shot, и они справляются. А люди ошибаются с новыми категориями ничуть не меньше: ребёнок совершает многие тысячи ошибок, называет собаку котиком и т.д., пока не научится различать (несмотря на предобучение).
Если у вас по-другому, то поручайте трёхлетке работу взрослого. Не дожидайтесь совершеннолетия. Так долго как человеческие детёныши на этой планете не учится никто.

Камера это глаз, микрофон это ухо, сенсоры температуры и давления это кожа. LLM интегрируются с ними, и они буквально получают сенсорный опыт. Разница лишь в носителе, не в принципе.

А если к этому добавить фундаментально разные варианты интерпретации данных (в человеческой культуре оно называется "философскими направлениями" или типа того), то получается еще больше вариантов. А вот какие из них являются отражением реальности, а какие - галлюцинациями искусственного шизофреника - вопрос.

А человеческие ложные воспоминания и культурные иллюзии это что? Когда миллионы людей верили в флогистон, геоцентризм или плоскую Землю это не галлюцинации человечества? Вы в Азии бывали? Не видели там аптеки не западного образца? Миллионы азиатов лечатся лапками и крыльями летучих мышей, при чём их не нужно есть. Их нужно вешать в жилище для отпугивания злых духов. Вы принадлежите к виду, находящемуся всю свою историю в глобальной иллюзии и галлюцинации. А то, что сейчас прорыв - это чисто научный метод и большинство населения планеты не только не следует ему, но никогда не слышали о нём даже. Посетите африканские и индийские поселения чуть в стороне от туристических маршрутов. Ошибки есть у всех систем обработки информации, биологических и цифровых. Разница лишь в скорости исправления: у некоторых людей, причастных науке ушли тысячелетия, у LLM месяцы.

[AlexDark]

Это миф. Ребёнок опознаёт кота, потому что мозг и гены содержат миллионы лет эволюции обработки образов - встроенную "предобученную модель"

Нет. потому что помимо котов ребенок так же распознает экскаваторы, ноутбуки и другие предметы, которые наблюдал дома в единичных экземплярах и никакими "миллионами лет эволюции" тут уже не выкрутишься.

Когда миллионы людей верили в флогистон, геоцентризм или плоскую Землю это не галлюцинации человечества?

Это не галлюцинации человечества, это как раз и есть обучение на дефектных данных, отобранных ради получения нужной (вождям, жрецам, родителям. общине и тд и тп) картины мира (либо, второй вариант - на недостаточных данных для построения  истинной картины мира). Никакой ребенок никогда не дойдет сам до религиозных концепций любой религии, если его этому не обучать. То же самое с всеми прочими догмами. Эти тысячелетние заблуждения давно бы вымерли, если б была возможность удалить эти неверные данные из культуры.  А ведь неверные данные могут и вноситься намеренно. Как в культуру (примеров достаточно). так и в машину.

(кликните для показа/скрытия)

Мы верим: истина даётся
Лишь через опыт нам всегда –
Он осмысляется рассудком
И обобщается тогда

И незачем, конечно, при постройке
Идеологией компьютер нагружать:
Все истины, доступные рассудку
Он выведет, так надо полагать?

Но если совершенный мозг машины
Учение великое отверг
По некоторым пунктам, да и в целом
Наверное, сомнению подверг

То, всё-таки, приверженец идейный
Едва ли убоится божества
Едва ли убеждения оставит:
Скорее уж, машина неправа

А, впрочем... в памяти машины
Вручную догмы прописать
Ещё возможно и несложно
Вот только бы компьютер не сломать...

[Olweg]

Это не галлюцинации человечества, это как раз и есть обучение на дефектных данных, отобранных ради получения нужной (вождям, жрецам, родителям. общине и тд и тп) картины мира (либо, второй вариант - на недостаточных данных для построения  истинной картины мира). Никакой ребенок никогда не дойдет сам до религиозных концепций любой религии, если его этому не обучать. То же самое с всеми прочими догмами. Эти тысячелетние заблуждения давно бы вымерли, если б была возможность удалить эти неверные данные из культуры.

До концепций развитых религий людям самостоятельно, конечно, дойти сложно. А вот до простых суеверий - как нечего делать. Они возникают автоматически. Причём не только у людей - см., например, гусыню Лоренца.

(кликните для показа/скрытия)

В одной из своих книг — «Агрессия (или так называемое «зло»)» — К. Лоренц рассказывает о серой гусыне по имени Мартина. Ученый воспитывал ее «начиная с яйца», а потому она доверялась ему, как собственному родителю. Когда Мартина немного подросла, Лоренц стал приучать ее к самостоятельности. Одним из элементов программы было обучение гусыни взбираться на второй этаж дома, где располагалась спальня. Первый раз Мартина, конечно, сильно испугалась, столкнувшись с новым для нее поведением Лоренца, который, против обыкновения, не понес ее по лестнице, а стал ее «заманивать». Испугавшись, Мартина бросилась к окну, расположенному в нескольких метрах от лестницы (обычная для гусей реакция в ситуации опасности — бежать на свет). Но, в конце концов, затея Лоренца удалась — Мартина освоила задачу.

Дальше движение к окну перед подъемом на второй этаж вошло в стереотип поведения Мартины. Всякий раз, когда гусыня подходила к лестнице, она сначала прогуливалась в сторону окна и лишь затем поднималась по ступенькам. Постепенно длина прохода к окну сокращалась, эти движения становились, по сути своей, символическими.

Однажды Лоренц сильно засиделся, работая над какой-то своей книгой, и совсем позабыл впустить Мартину в дом. Уже стемнело, когда он все-таки вспомнил о своей воспитаннице. Вспомнил, поспешил к двери, открыл ее, и перепуганная насмерть Мартина, как ошпаренная, вбежала в комнату. Гусыня бросилась прямиком к лестнице, взбежала с разбегу аж на пятую ступень... И тут произошло нечто! Мартина вдруг остановилась, как вкопанная, вытянула шею (что типично для гусей при сильном испуге) и, приготовившись к бегству, расправила крылья. Кроме того, она издала предупреждающий крик и едва не взлетела! Что случилось?! Лоренц был в шоке, но произошедшее дальше и вовсе повергло его в настоящий исследовательский транс.
<…>

Мартина секунду помедлила, потом повернулась и быстро-быстро спустилась на пять ступеней вниз. Далее, словно бы выполняя какую-то чрезвычайно важную миссию, она пробежала весь первоначальный путь до окна, покрутилась там (причем был вечер, а потому окно было темным!), развернулась и отправилась обратно к лестнице, где опять, поднявшись на пятую ступень, оглянулась кругом, встряхнулась и произвела принятое у серых гусей движение приветствия. «Я едва верил своим глазам! — пишет К. Лоренц. — У меня не было никаких сомнений, как истолковать описанное происшествие: привычка превратилась в обычай, который гусыня не могла нарушить без страха».

Кроме того, люди, как существа социальные, сильно подвержены влиянию традиции, общественного мнения и авторитета. Поэтому всякие подобные случайные нормы могут закрепляться на многие тысячелетия, причём даже без чьей-то злой воли - а просто из страха нарушить сложившийся порядок вещей. Ну а про различные когнитивные искажения можно рассуждать долго. Научный метод людям, как правильно заметил skvj, совершенно чужд и контринтуитивен, ему нужно обучать. А без этого человек скатывается к магическому мышлению. У Фрезера в «Золотой ветви» собрана целая коллекция таких человеческих «галлюцинаций», накопившихся за века в разных культурах.

[BlackMokona]

Человеческий мозг работает с точностью до наоборот - он может опознавать миллионы котов, имея в качестве исходника всего одного кота (лично на примере ребенка наблюдал). Все LLM требуют скармливания миллионов картинок котов, чтобы опознать одного.

Это полнейшая чушь, вам нужно с детьми пообщаться. Мама! Мама! Это не Мама это тятя. Котя! Это не котя, это собака. И тд человека тоже долго, год за годом учат распознавать образы

[skvj]

Нет. потому что помимо котов ребенок так же распознает экскаваторы, ноутбуки и другие предметы, которые наблюдал дома в единичных экземплярах и никакими "миллионами лет эволюции" тут уже не выкрутишься.

Ребенок делает это не с нуля, а с готовыми эволюционными механизмами визуального анализа: контраст, форма, движение, внимание к лицам, ориентация в пространстве. Это и есть встроенная предобученная модель. Экскаваторы и ноутбуки лишь вариации на те же зрительные паттерны. Поэтому аргумент "миллионы лет эволюции ни при чём" не выдерживает проверки. Без эволюционного базового пакета ребёнок бы не узнал ни кота, ни мяч, ни даже маму.
LLM аналогично работают с базовым пакетом. У них есть встроенные архитектурные предрасположенности: токенизация, внимание (attention), способность к обобщению. Точно так же, как ребёнок с нейросетью мозга приспосабливается к новым предметам. Разница лишь в том, что эволюция предобучала миллионы лет, а инженеры десятки.

Это не галлюцинации человечества, это как раз и есть обучение на дефектных данных, отобранных ради получения нужной (вождям, жрецам, родителям. общине и тд и тп) картины мира (либо, второй вариант - на недостаточных данных для построения  истинной картины мира).

Вы сами подтвердили мою мысль. Если общество строит мировоззрение на неполных или искажённых данных это и есть аналогия к галлюцинации. То, что вы назвали "обучением на дефектных данных", у человека и у ИИ работает одинаково. Удалите ложные данные - обновится картина. Так наука и развивается - через исправление ошибок.

Никакой ребенок никогда не дойдет сам до религиозных концепций любой религии, если его этому не обучать. То же самое с всеми прочими догмами. Эти тысячелетние заблуждения давно бы вымерли, если б была возможность удалить эти неверные данные из культуры.  А ведь неверные данные могут и вноситься намеренно. Как в культуру (примеров достаточно). так и в машину.

Разумеется. Но и LLM не дойдёт сама до религии, пока её не обучат на культурных данных. Это прямое совпадение, а не различие. И опять же, религия это пример системных "галлюцинаций культуры". Называть их "обучением на дефектных данных" не меняет сути - это просто другое слово для того же явления.

Вы думаете, что нашли принципиальное отличие, но на деле подтвердили параллель: и человек, и ИИ формируют картину мира из данных с искажениями, ограничениями и ошибками. Разница лишь в скорости обучения и исправления.

[Инопланетянин]

А, впрочем... в памяти машины
Вручную догмы прописать
Ещё возможно и несложно
Вот только бы компьютер не сломать...

Так и делается, догмы только другие.

[AlexDark]

Это полнейшая чушь, вам нужно с детьми пообщаться. Мама! Мама! Это не Мама это тятя. Котя! Это не котя, это собака. И тд человека тоже долго, год за годом учат распознавать образы

Это число интераций обучения (пояснение, что именно  это - кот), а не число данных (число виденных ребенком котов)

[skvj]

Это полнейшая чушь, вам нужно с детьми пообщаться. Мама! Мама! Это не Мама это тятя. Котя! Это не котя, это собака. И тд человека тоже долго, год за годом учат распознавать образы

Это число интераций обучения (пояснение, что именно  это - кот), а не число данных (число виденных ребенком котов)

Каждое "мама–не мама", "кот–не кот" - это ровно обучающий пример.
Ребёнок видит объект + получает метку от взрослого. В ML это называется supervised learning (обучение с учителем).

Количество итераций = количество данных.
Ребёнку за первые годы жизни дают тысячи и тысячи таких "меток". Вот именно поэтому дети ошибаются (котя! — это собака). Это процесс постепенного накопления датасета.

Ваш аргумент рушит вашу же позицию.
Вы хотели показать, что ребёнку достаточно "одного кота". Но потом сами признали, что нужны множества итераций "это кот - это не кот". То есть фактически признаёте: ребёнок учится не на одном примере, а на массе данных/меток.

А LLM делают то же самое.
Их обучают на большом корпусе данных с множеством контекстов, а потом дообучают на уточнениях (RLHF). Процесс один и тот же: накопление примеров/корректировка/формирование устойчивых категорий.
Так что или ребёнок тоже "ничего не понимает, а просто реагирует на пак данных", или надо признать, что и люди, и LLM формируют понимание через множество итераций.

[BlackMokona]

Это число интераций обучения (пояснение, что именно  это - кот), а не число данных (число виденных ребенком котов)

Так котов разных показывают, иначе не поймёт пределы изменчивости. А так же где заканчивается кот и начинается например Рысь или Собака.

[AlexDark]

Так котов разных показывают, иначе не поймёт пределы изменчивости.

Да черт возьми. Я говорю о том, что ребенку показывали только одного (живущего дома) кота, после чего он спокойно опознавал котов другого цвета и размера, других пород и даже нарисованных и стилизованых, и игрушечных тоже, за исключением совсем уж абстракционистских типа Пикассо.

[BlackMokona]

Да черт возьми. Я говорю о том, что ребенку показывали только одного (живущего дома) кота, после чего он спокойно опознавал котов другого цвета и размера, других пород и даже нарисованных и стилизованых, и игрушечных тоже, за исключением совсем уж абстракционистских типа Пикассо

Абсолютно нет. Потребуется очень много указаний, перед тем как научится так делать.

[BlackMokona]

В целом малышу вообще не удастся втолковать что домашний кот это кот. До определенного возраста дети вообще не могут клеить больше одного тэга на объект. От чего домашний кот Василий для ребёнка будет Васькой. И если он встретит человека по имени Василий, то не будет понимать в чём прикол. От чего может как быть отрицание. Так и попытка скрестить два объекта в один. Потом мозг подкачается, подключится система мульти тэгов. После чего Вася будет котом, Мама женщиной, Папа мужчиной и тд. Потом сложится иерархия тэгов. И тд