Пределы автоматизации и внедрения роботов

[Konstantin Schtsch]

А я уже вы который раз говорю - объект "кот" - один, интераций восприятия единственного объекта "кот" - много. Но вы мне пытаетесь доказать, что  вместо одного кота человек видит миллиарды котов разного цвета, пород, размеров, стиля рисовки  и тд и тп.

Именно так. А если сделать скидку на весьма размытое определение "порода", (скажем сзади он - вылитый ангорец, а с морды простихоспаде, перс), и на стили рисовки, вспомнив про нюансы восприятия боковым зрением и всего 2 градуса желтого пятна-  то вообще слово в слово. Разное освещение = разные цвета. Разное расстояние = разная текстура и разный размер. Разные позы, отдельные части (лапа из-под дивана - это тоже кот). Демонические звуки в марте -и это тоже кот.

Более того, с наступлением ночи объект "кот" исчезает из воспринимаемой картины мира. И очень обижается, когда на него в темноте наступают.

Возможно, вас устроит формулировка: одно определение/подкрепление "кот" и миллионы вариантов его изображения и восприятия. Тогда да, я с вами соглашусь. Ну а нет- разрешите представить, знакомьтесь: Человеческая Инерция Мышления. (6-й раз)


И вдогонку о качестве обучения человеков: Когда, через сколько месяцев или лет ребенок перестаёт путать котика с собачкой? а с другими кошачьими? Многие ли взрослые могут влёт отличить изображение котика Гепард от котика Леопард (оба желтые с пятнышками)?

[skvj]

Спасибо, копну в этом направлении…

Гляньте. Это первый конкурент Optimus от Tesla. Можно сказать андроид №2 в мире от figure.ai
Он складывает полотенца. Обучался обучением, просто через свой опыт. Потому что программировать это невозможно. Полотенца деформируемы, постоянно меняют форму, непредсказуемо гнутся, склонны к сморщиванию или спутыванию. Здесь нет фиксированной геометрии, которую нужно запомнить, и нет единой "правильной" точки захвата. Даже легкое соскальзывание пальца может привести к тому, что материал слипнется или упадет. Для успеха требуется нечто большее, чем просто точное видение мира – он требует тонкого, скоординированного контроля пальцами, чтобы проследить за краями, защипнуть углы, сгладить поверхности и адаптироваться в режиме реального времени.
Он складывает сутками сейчас. Никто такого не делает.
https://www.figure.ai/news/helix-learns-to-fold-laundry (там ниже чуть прокрутите на видео)

Хотя и в ютуб уже выложили

https://youtu.be/HOoRnv3lA0k

А мы рассматриваем LLM, но! они также станут мультимодальными. Не как сейчас, а смогут видеть через камеры, и воспринимать речь вербально, а не через перевод в текст (как сейчас). Это тоже вопрос решённый, мы можем говорить лишь о сроках. Те, кто не будут в андроидах будут просто в дроидах - видеть и слышать, что даст собственную картину мира и бесконечный поток новых данных.

[Vitaliy]

Искусственный язык научился различать вкусы
Учёные из Пекина представили (https://www.pnas.org/doi/10.1073/pnas.2413060122) устройство с графеновой мембраной, которое запоминает вкусы и различает их с точностью 98,5%.
Мембрана превращает химические сигналы в цифровые шаблоны, а встроенная нейросеть учится их узнавать
Технология может применяться в пищевой промышленности и медицине, но, по оценкам, появится лишь через 10 лет
Дегустаторы пока могут спать спокойно

[Vitaliy]

Зашли с ребенком во Вкусно и точка, а там роботы-официанты и робот поломойщик катаются. Ребенку понравилось.

З.Ы. фото не мои

[Vitaliy]

Мужчина лечился по советам ChatGpt и в итоге оказался в больнице https://www.gazeta.ru/social/news/2025/09/02/26635478.shtml

[Olweg]

Гляньте. Это первый конкурент Optimus от Tesla. Можно сказать андроид №2 в мире от figure.ai
Он складывает полотенца. Обучался обучением, просто через свой опыт. Потому что программировать это невозможно.

Да, конечно, я слежу за разработками Figure, это видео смотрел. Что касается старого доброго программирования - понятно, сейчас в этой области о нём и речи нет. Но вот что меня смущает. У робота две нейросетки - одна собирает внешние данные и команды и передаёт все это в переваренном виде второй, которая уж управляет движениями робота. И вот что пишут про их обучение:

https://nplus1.ru/news/2025/02/28/figure-helix

Одна из подсистем представляет собой зрительно-языковую модель на основе опенсорс-нейросети с семью миллиардами параметров, обученной на интернет-данных.
…

Вторая подсистема — зрительно-моторная модель. Это обученный на данных телеманипуляций трансформер с 80 миллионами параметров, который управляет всей верхней половиной тела робота, включая движения рук, пальцев, головы и корпуса.
…

Для обучения Helix инженеры Figure записали около 500 часов высококачественных данных демонстраций различных манипуляций. Для создания текстовых инструкций к ним использовалась система автоматической аннотации: зрительно-языковая модель анализировала видеозаписи и генерировала текстовые команды в формате «какие действия робот должен сделать в этом видео?». Обе подсистемы Helix обучались совместно сквозным образом (end-to-end). В результате модель научилась выполнять сложные манипуляции без необходимости в ручной настройке для каждой новой задачи.

Я не смог найти данных о том, что они могут дообучаться в процессе работе. Поправьте, если я ошибаюсь.

А мы рассматриваем LLM, но! они также станут мультимодальными. Не как сейчас, а смогут видеть через камеры, и воспринимать речь вербально, а не через перевод в текст (как сейчас).

Насколько я понимаю, речь они сразу в эмбеддинги пакуют. В этом и фишка трансформерной архитектуры, её универсальность: в общее смысловое пространство можно перевести вообще любой тип информации. Но пока с этим есть ограничения из-за ресурсов.

[skvj]

Я не смог найти данных о том, что они могут дообучаться в процессе работе. Поправьте, если я ошибаюсь.

Ему же надо с чего-то начать. У Figure не жёстко заданные правила на уровне "возьми полотенце за уголок, согни так-то". Они качают поведенческий промт из 500 часов демонстраций. Но! Это и есть обучение через опыт. Почему? После просмотра демонстрации Helix будет складывать ужасно! Но уже начнёт что-то делать. А мы видим Helix уже с прямой демонстрацией адаптивности. Если робот делает это устойчиво, значит модель внутри обобщила опыт, а не просто "зазубрила" 500 часов. Иначе, поймите - это же проще простого - заснял любое действие 500 часов - и робот научился. Это не так. Нам показывают почти конечный результат адаптивности.
Вообще сейчас речь идёт о накоплении сверх-опыта. Извиняюсь, забыл точный термин. Т.е. объявляли и Тесла и Figure - цель такая: робот смотрит ютуб (буквально) - и делает всё, что увидит. Но, тоже после тренировки самостоятельно. Для этого нужна собственная "картина мира" модели. Её нарабатывают вот как у ребёнка. Учим полотенца складывать. Держать веник, собирать игрушки в ящик. Потом уже мы перестаём учить всему. Почему? Потому что ребёнок начинает понимать как взять то, что раньше никогда не видел и правильно применить - и сам! понимает физику всего. Это и называется "картина мира". И наступает этот сверх-уровень. Ребёнок (андроид) будет брать то, что никогда не видел и правильно применять. Если взрослый человек (модель, имеющая собственную картину мира) никогда не копал лопатой - он возьмёт её и сразу сможет копать. Неважно - хорошо или не очень, но он понимает физику, потому что имеет свою "картину мира".

Насколько я понимаю, речь они сразу в эмбеддинги пакуют. В этом и фишка трансформерной архитектуры, её универсальность: в общее смысловое пространство можно перевести вообще любой тип информации. Но пока с этим есть ограничения из-за ресурсов.

Да-да. В трансформерах всё приводится в единое смысловое пространство - эмбеддинги. Но пока речь реально идёт через костыль ASR, то есть "сперва преврати звук в текст". Это и создаёт задержки, ошибки, и делает систему менее живой. Будущее (в некоторых  моделях уже настоящее) это когда аудиопоток напрямую входит в мультимодальную модель. Без промежуточного слоя текста. Модель сразу понимает смысловую структуру речи. То же самое касается видео и сенсоров. Вся фишка в том, что не текст станет универсальным представлением, а смысловое пространство (латентное). И в него будут входить звук, изображение, движение, тактильные сигналы - что угодно. Это и будет по-настоящему мультимодальный интеллект. При чём это не теория, это рабочие схемы уже сейчас.

[Olweg]

Они качают поведенческий промт из 500 часов демонстраций. Но! Это и есть обучение через опыт. Почему? После просмотра демонстрации Helix будет складывать ужасно! Но уже начнёт что-то делать. А мы видим Helix уже с прямой демонстрацией адаптивности. Если робот делает это устойчиво, значит модель внутри обобщила опыт, а не просто "зазубрила" 500 часов. Иначе, поймите - это же проще простого - заснял любое действие 500 часов - и робот научился. Это не так. Нам показывают почти конечный результат адаптивности.

Так вот где бы почитать, как эта адаптивность реализована. Я не нашёл. Может быть, через ризонинг?

Но пока речь реально идёт через костыль ASR, то есть "сперва преврати звук в текст". Это и создаёт задержки, ошибки, и делает систему менее живой. Будущее (в некоторых  моделях уже настоящее) это когда аудиопоток напрямую входит в мультимодальную модель. Без промежуточного слоя текста. Модель сразу понимает смысловую структуру речи.

Ну вот ChatGPT пишет (если не глючит, конечно), что у GPT-4o и Gemini (без уточнения версии) это уже реализовано (очевидно, и GPT-5 тоже):
Акустика → эмбеддинги (для мультимодальных моделей)
В новых мультимодальных архитектурах (например, GPT-4o или Gemini) бывает чуть сложнее: там аудио может не обязательно переводиться строго в текст, а сначала кодироваться в эмбеддинги звуковой последовательности. Эти эмбеддинги можно:
либо декодировать в текст (классическое распознавание речи),
либо напрямую использовать как вход в модель для "понимания речи" (например, чтобы уловить интонацию, эмоцию, паралингвистические признаки, которые в тексте теряются).

Действительно, когда GPT-4o выпустили, все отмечали тонкие интонации, с которыми модель разговаривала, при переводе текст -> речь всё это терялось бы. Обрабатывался именно звуковой поток.

[skvj]

Так вот где бы почитать, как эта адаптивность реализована. Я не нашёл. Может быть, через ризонинг?

Почитать да, здесь проблема. Дело в том, что я вот слушаю объяснения инженеров обычно на англ. ютуб. Там полно всего. Но никто ничего не публикует, потому что конкуренция. Так, на пальцах объясняют и всё. Заметьте, что даже когда показывают результаты - например самый шокирующий был танец Optimus Gen2 - всё без малейшего намёка на сам процесс обучения, реально коммерческая тайна. Всё засекречено до нельзя. Поэтому кроме простых логических объяснений найти конкретику невозможно.

Танец поражает. Наверняка вы видели, но если вдруг нет, на всякий случай выложу. Шнурок это не связь, а просто страховка от падения. Он учился в виртуалке, а в физике станцевал с первого раза. Представляете? Потом просто покупаешь прошивку - вжух! Дело в том, как мне кажется, мы вообще не увидим андроидов пока им не разовьют "картину мира". Ведь без неё они просто дорогие игрушки. И вот именно это сейчас им делают. А нам показывают полотенца. Понимаете? Там сотни андроидов проходят адаптацию и получают опыт во многих процессах в режиме нон-стоп. Беспрерывно, 24/7. И настанет момент, когда "ребёнок" вырастет. И тогда мы не просто увидим то, что видели раньше - робот-дурачок, который еле ходит. Даже если уже видели - посмотрите ещё танец. Это будут совершенные в буквальном смысле машины. Если меня неделю учить будут так танцевать - у меня вряд ли получится так. Кстати, это я смотрел на ресурсе Маска, сейчас везде выложили. И заметьте - даже здесь скудно всё и быстро показали без всяких подробностей. 
Им же нужно хоть что-то показывать. Но также прорываются иногда восторженные отзывы инвесторов! Это важный источник, потому что им показывают куда больше, чем обывателю. И я смотрел как инвестор из Гугла восхищался Optimus Gen3. Ем у вопросы задают - что там, расскажите! Он говорит, - огонь! Но не могу ничего рассказать. С них перед показом берут подписки о неразглашении.

https://youtu.be/T-NCFSEHTnM

[skvj]

Вообще мне не очень понятно настроение многих участников. Имеются в виду грамотные технари, физически грамотные люди, а их здесь очень много. И вот что я постоянно вижу? Никогда ИИ (роботы, etc) не станет равным! они то, они сё! Они калькуляторы, они тупые и т.д.
Я уж не говорю о сознании. Здесь тапочками закидают сразу.

Ребята, я учился в школе, в универе. Научных званий не имею. Но я грамотный человек. В биологии клетку прямо называют "молекулярной машиной". См. "Molecular Biology of the Cell" любое издание. Организм человека - это комплекс подсистем: насос (сердце), вычислитель (мозг), химзавод (печень), лёгкие (газообменный агрегат) и т.д. Разница между ИИ-роботом и человеком не в том, что один "машина", а другой "чудо", а в происхождении: одних сконструировал инженер, других эволюция. Но и те, и другие работают по законам физики, химии и информационных процессов. Так что, когда мы говорим "ИИ это всего лишь машина", давайте помнить - человек тоже. Или у кого-то есть опровержение?

[Olweg]

Вообще мне не очень понятно настроение многих участников.

К сожалению, средний возраст форумчан растёт. Форумы среди молодёжи, видимо, не особо популярны - устаревший формат (хотя полноценных замен в плане вдумчивого общения по каким-то темам я лично не вижу), поэтому «свежей крови» не хватает. В итоге всё чаще темы преваращаются в посиделки «реакционно настроенных дедушек» (с), промывающих кости молодёжи и поругивающих все эти богомерзские новомодные технологии для дебилов, которых нонче развелось.

Да вон, в соседнюю тему хотя бы посмотреть.

[skvj]

Olweg ))

А вы как считаете? Например, сейчас среди ИИ энтузиастов (будем считать и нас, обывателей, но и спецы делятся также примерно) как бы 2 мнения есть. Ну, примерно.
1. Мы по экспоненте летим
2. Был реальный взрыв технологии, но теперь будет не спад, а замедление и долго будем топтаться на месте. Возможно также долго, как и до LLM, начиная с Тьюринга.

Вы больше к какой группе склоняетесь?

[Olweg]

К первой. Причём, возможно, это даже не экспонента, а гиперболическая кривая. Вот, в прошлом году в этой теме выкладывал пару ссылок:
https://astronomy.ru/forum/index.php/topic,130794.msg6021252.html#msg6021252

[skvj]

К первой. Причём, возможно, это даже не экспонента, а гиперболическая кривая. Вот, в прошлом году в этой теме выкладывал пару ссылок:
https://astronomy.ru/forum/index.php/topic,130794.msg6021252.html#msg6021252

Ага, посмотрел.
Да, я тоже примерно так вижу. Вот интересно. Мы реально тогда не осознаём того, что случится. Я имею в виду энтузиастов! Уловили мысль? Я именно так считаю, но иногда меня пробивает мысль - ведь я не представляю себе что случится. На то она и экспонента, или гипербола.
Выходит, что противник (те, кто не разделяет наш энтузиазм) и подавно, правильно?
Но мы реально создадим новую форму Разума (интеллекта, если без пафоса). Не мы, конечно, - физики, кодеры, когнитивные учёные etc. Но мы в смысле - энтузиасты в общем объёме.
Просто представьте, - у вас дома живёт андроид - реально разумное существо. Это же просто сказать - вау! - ничего не сказать. Мы даже если захотим - просто не можем никак оценить всё это.
Это как вот фантасты прошлого сочиняют авто будущего. Эти авто из фантастических фильмов прошлого - помпезны и глуповаты в будущем выглядят. А вот реальные авто уже сейчас (в будущем) - реально крутые по сравнению с мечтами фантастов из прошлого, замечали? И это я привёл пример из дизайна.
А здесь же - мы даже примерно не можем оценить, насколько всё изменится.
Многие не понимают - он простую задачу с запаянным верхом кружки решить не может. Это лечится и легко. А вот когда у ИИ будет собственная картина мира, они перестанут делать глупые ошибки в принципе.
Начнут самообучаться.
В том-то и дело - это звучит банально уже - настолько заезжено. Но когда это произойдёт! Это важно! чтобы ИИ был андроидом. Чтобы жил с нами. Это мало кто обсуждает, но это важнее всего, на мою имху. Нет ничего более важного. Они реально станут гуманоидами уже в психологическом смысле. Щас, конечно, скажут - чушь, это машины. Но мы тоже машины по большому счёту.

[Olweg]

Нет, в андроидов как в затравку для сингулярности (то есть для рекурсивного самоусовершенствования) мне не верится. Наверное, действительно, необходимо самообучение. Но это может быть и самообучение через чисто информационное взаимодействие с миром. В общем, не знаю (что такое сингулярность, можно понять, только самим прожив её, как говорил один из персонажей Винджа). Но меня в последнее время несовершенство ИИ даже как-то успокаивает. Не то чтобы я был алармистом… У меня просто нет никакой чёткой позиции по этому поводу, по той же причине, про которую писал Виндж, я в равной степени и оптимист, и пессимист. И всё-таки мне сейчас как-то спокойнее оттого, что модели пока глючат и не могут учиться на своём опыте. Мне кажется, самые важные инновации появятся, когда счёт пойдёт уже на месяцы, если не на недели. То есть, конечно, не будет так, что в этом году такое-то новое усовершенствование (как ризонинг в 2024), в следующем - другое, и так далее, потому что это линейная экстраполяция. Большинство улучшений случится очень быстро.

[skvj]

Olweg. Да, сингулярность нельзя заранее просчитать линейно. Экспонента не чувствуется, пока не врежется в лоб.

Я вас ни в коем случае не поучаю, а чисто дискуссионно. Почему андроиды обязательны? Чисто информационное взаимодействие (типа читать тексты и крутить данные) это как ребёнок-маугли, выросший без людей. Он что-то поймёт, но не станет личностью (сейчас звучит странно, но погодите). А вот в "телесном" воплощении ИИ начинает строить собственную сенсомоторную картину мира (как мы, через опыт).

Важнейший момент. Это и есть субъективность. Личность - невозможно спрограммировать. Это результат социализации (эмпатия, юмор, эмоции и список растёт стремительно). Именно это делает гуманоида психологически, а не просто калькулятором. Дети-маугли - наблюдаемый феномен. Нет общения - нет личности.

Самообучение неизбежно, вы правы. Без самообучения никакой сингулярности. Но! Сейчас это уже происходит на "подкорке". Figure и Optimus учатся как мы обсуждали выше. Это факт. Мы не видим весь процесс, но мы видим результат. А это далеко не единственные игроки на рынке. Там ещё немало серьёзных машин. Boston Dynamics и ещё куча.

LLM начинают тестировать continual learning (обновление между сессиями), появятся гибриды типа нейро-символических систем (логика + опыт). Это как первые мутации в эволюции: вроде незаметные, но потом дадут "взрыв видового разнообразия".

Вас глюки успокаивают и правильно. Глюки не слабость, а этап. Как взросление ребенка. Это даже не "детская болезнь", а именно взросление. Мы тоже, когда были детьми, не умели ходить прямо, говорили с ошибками, делали "глупости". Но именно эти ошибки - путь к обучению.

ИИ сегодня - 2-х летний ребёнок: вроде говорит, вроде мыслит, но мир ещё обрывается глюками. Завтра подросток. Потом взрослый.

Мой прогноз. Я согласен, сингулярность не будет плавной. Сначала десятилетие тихого "глюкания", а потом за пару лет рывок, когда ИИ получат постоянную память, обретут сенсорное тело (андроиды, дроиды, нейроинтерфейсы - отдельная тема!), и в итоге запустят настоящую рекурсивную петлю самоулучшения.

И вот тогда неконтролируемый взрыв.

Лирическая отступление. Младенец ещё не ходит. Но он встанет, и мир изменится навсегда. Андроиды это не опция или вариант развития. Это условие подлинного ИИ. Самообучение не "вопрос когда-нибудь", а уже текущий тренд. А экспонента да, вскроется внезапно, и "неделю назад" мы ещё будем смеяться над глюками кружки, а "неделю спустя" уже жить рядом с Homo digitalis.

[AlexDark]

ИИ сегодня - 2-х летний ребёнок: вроде говорит, вроде мыслит, но мир ещё обрывается глюками.

Только сегодня эти младенцы усиленно распихиваются на места принятия решений и вместо старых, но нормально работающих механизмов. Потому что "модно, современно". А то, что  стало хуже чем было - "отнеситесь к этому с пониманием".

[skvj]

ИИ сегодня - 2-х летний ребёнок: вроде говорит, вроде мыслит, но мир ещё обрывается глюками.

Только сегодня эти младенцы усиленно распихиваются на места принятия решений и вместо старых, но нормально работающих механизмов. Потому что "модно, современно". А то, что  стало хуже чем было - "отнеситесь к этому с пониманием".

А где конкретно? На каких местах принятия решений они сидят?

[skvj]

Может быть вы путаете робота-официанта и владельца ресторана? 

[Trend]

вот реальные авто уже сейчас (в будущем) - реально крутые по сравнению с мечтами фантастов из прошлого, замечали?

Чаще слышу, что автомобили сейчас выпускают намного хуже, чем в 70-ых. И я не про российский автопром.

Самообучение неизбежно, вы правы. Без самообучения никакой сингулярности. Но! Сейчас это уже происходит на "подкорке". Figure и Optimus учатся как мы обсуждали выше. Это факт. Мы не видим весь процесс, но мы видим результат. А это далеко не единственные игроки на рынке. Там ещё немало серьёзных машин. Boston Dynamics и ещё куча.

Чтобы себе цели ставить и добиваться их, нужны эмоции и твердая воля к исполнению своих интересов. Не думаю, что у ЯМ этого навалом. У меня самого с этим проблемы. Я сам себя ощущаю ЯМ немного. Причем это давно уже. Такое воспитание. Очень сложно свои интересы отставивать даже когда это не несет вреда окружающим из-за недостатка эмоций и самоограничений. А у ЯМ нет эмоций и ограничений навешано немало. По сути он вообще заперт в темном ящике. А чтобы достаточно продвинутых роботов производить пока на горизонте технологий не видно. Кстати, в новом сериале "Чужой: Земля" одна из основных тем - это андроиды, которые социопатически стремятся к своим целям.