Пределы автоматизации и внедрения роботов

[Olweg]

А почему этот алгоритм работает гораздо хуже когда человеку надо научиться ходить? Там не десять часов а десять месяцев.

Да, это хороший вопрос. Можно предположить, что обучение идёт снизу вверх - от всякой мелкой моторики до уже обобщённых сложных движений.

Почему подростки попав в другую страну начинают бегло говорить на чужом языке через несколько месяцев,
а люди за 40 - и через несколько лет говорят с трудом. - тоже разные алгоритмы?

Это может быть связано с переобучением нейронки у взрослых.

[Polnoch Ксю]

Это для любой аудитории применимо.

не согласна. Когда люди срываются в многословие, объясняя на пальцах, наоборот мешает. Это разные жанры: просвещение, и дискуссия с примерно равными участниками которым есть что сказать. В одном случае лектор действительно должен говорить понятно для тех, кто не в теме. А во втором случае - оперировать инженерными и научными терминами, чтобы избегать двусмысленностей - если жертвовать точностью в угоду понятности случайным людям, кто ничего про тему не знает, то пострадает само качество дискуссии.

Я не против просвещения, может нужно блог или телеграм-канал для этого завести, лол.

[Polnoch Ксю]

Ну конечно LLMки очень ограничены, нужна архитектурная работа, изобретение новых, лучших видов нейронок. Другое дело, смотрите: у современныхSOTA(ссылка для @ivanij , остальные я думаю знают о чём речь)

исправила ссылку на лучший словарик

[Olweg]

Другое дело, смотрите: у современных SOTA нейронок сотни миллиардов параметров, а в мозге свыше ста триллионов связей между нейронами. При этом нейроны сильно сложнее тех, что в нейронках.

Тем более удивительно, что нейронки могут хоть что-то! Я думаю, дело в том, что в нашем языке уже упаковано очень много информации - он помогает и людям и нейронкам ускорять мышление, но нейронкам особенно помогает - у нас мозг эволюционно сконструирован мыслить без языка. И языковые оптимизации очень поздние, они куда моложе неокортекса.

Да, возможно, языковая оптимизация помогает, но если это так, то число параметров/синапсов не так критично. В последнее время вообще число параметров упёрлось в плато, его особо не увеличивают уже пару с лишним лет, после выхода GPT-4. Значит, нет большой необходимости и нет быстрой отдачи от увеличения.

В LLM информация видимо упакована плотнее и оптимальнее, чем в нашей голове.

Но упакована, вероятно, по-другому.

[Polnoch Ксю]

В последнее время вообще число параметров упёрлось в плато, его особо не увеличивают уже пару с лишним лет,

Почему? Я думаю, прототип GPT-5 сильно больше gpt-4.5 и тем более 4o. Просто продакшен версия gpt-5 дистиллирована с той, очень большой модели. Это вычислительная оптимизация - очень много сотен миллиардов параметров плохо влезают в видеокарты и даже TPU, и сильнее грузят тензорные ядра итд слоями - даже если это модель с микстурой экспертов, в которой только часть слоёв в определенное время активна.

Но упакована, вероятно, по-другому.

Да, конечно. Мне кажется, вселенная позволяет нам иметь много разных способов думать, и можно сделать много разных архитектур. И вообще вряд ли LLM нас приведут к AGI, сдаётся мне, что проблему галлюцинаций в них может быть никогда не решат.

[Ulkolainen]

Суцкевер в недавнешнем интервью сказал, что человек генерализует гораздо лучше ЛЛМок. Приводит в пример подростков, которым нужно, условно, часов десять, чтобы научиться водить машину.

Странный пример.
У подростка к этому возрасту, во-первых уже отлажен софт координации движений, во-вторых, машина для него не диковина, а естественный элемент нашего расширенного фенотипа. Он знает (даже не побывав пассажиром ни разу, возьмём такого), что старшие соплеменники жмут педали газ-тормоз, крутят руль влево-вправо и справляются с этим чуть ли не поголовно. Легко. Он сам играл в игрушечные и виртуальные машинКИ, смотрел "Форсаж" и т.д. Не "с пальмы слез и через 10 часов уже всё освоил", у него пред-подготовка была серьезная, как ни крути.

[BlackMokona]

Суцкевер в недавнешнем интервью сказал, что человек генерализует гораздо лучше ЛЛМок. Приводит в пример подростков, которым нужно, условно, часов десять, чтобы научиться водить машину. Что-то такое есть в человеческих мозгах, что позволяет очень быстро обобщать, то ли эволюционные оптимизации, то ли хорошо прописанные функции ценности (эмоции?), то ли в принципе сам алгоритм работы принципиально другой. Проблема, что никто до сих пор не знает, что делает человек, когда он думает.

Подросткам перед этим память стирают или она уже приходят в автошколу с многолетней видеопамятью о том как водили их родители, другие люди, обученные правилам дорожного движения в школе и тд и тд и тд и тд? 

[ivanij]

Когда люди срываются в многословие, объясняя на пальцах, наоборот мешает.

Это ошибка всех молодых преподавателей. Не спешите, с возрастом и опытом - придёт. Сможете даже сложные вещи объяснять кратко, но и так чтобы поняли дилетанты и не заскучали профессионалы.

[Polnoch Ксю]

Это ошибка всех молодых преподавателей. Не спешите, с возрастом и опытом - придёт.

Вы, кажется, не поняли идею: это не образовательный тред, и сообщения не были адресованы людям, которые, скажем, пользуются форумом с планшета в силу того, что компьютера у них нет и никогда не было, а слово LLM для них звучит как заклинание из фэнтези - это была дискуссия с людьми, которые хоть немножко понимают о чём речь.

Если Вам что-то не понятно, не стесняйтесь спрашивать, я или кто-то ещё из участников темы Вам объясним. Но вообще чтобы что-то полезное написать на тему ИИ в ВЖР, мне кажется, стоит хотя бы раз в жизни запустить LLM самостоятельно сверху той же ollama(ну или LM studio) - я думаю, куча вопросов пока Вы будете это делать, отпадут сами по себе, и станет понятно что мы тут обсуждаем

[Инопланетянин]

Можно снять видео хоть на 1000 часов, на котором со всех ракурсов заснят квадратный черный стол на 4 прямых ножках. Только комп из этого видео никак не получит инфу о том, что столы бывают круглые, прямоугольные и прочих форм, на 3 или 1 ножке, или что их может вообще не быть (крепится к стене), что ножки могут быть изогнутыми, плоскими, что все это может быть разных цветов и тд и тп. и и тд и тп. А человек запросто может опознать стол такой конструкции, которую до этого он не встречал.

Если только видел очень много разных столов, от чего смог создать образ стола в своём мозгу, на который можно натянуть новый найденный стол. Иначе так же распознать стол не сможет. 

Достаточно одного. Дело в том, что человек, знакомясь с новым предметом, прикидывает как он может его использовать, какая от него опасность и т.д. И встречая предмет (животное и т.д.) пригодный для такого же использования, он опознаёт его как другую модель (породу и т.д.) того же предмета (животного). У компьютера нет тела и он не может на своём опыте что-либо использовать, как-то улучшать удобство своей жизни. Для него всё это носит теоретический, абстрактный характер. И в этом принципиальное различие. Накопление статистических данных вместо конкретного опыта.

[Olweg]

В последнее время вообще число параметров упёрлось в плато, его особо не увеличивают уже пару с лишним лет,

Почему? Я думаю, прототип GPT-5 сильно больше gpt-4.5 и тем более 4o. Просто продакшен версия gpt-5 дистиллирована с той, очень большой модели. Это вычислительная оптимизация - очень много сотен миллиардов параметров плохо влезают в видеокарты и даже TPU, и сильнее грузят тензорные ядра итд слоями - даже если это модель с микстурой экспертов, в которой только часть слоёв в определенное время активна.

У GPT-4 было (неподтверждн.) под 2 трлн. парметров. Есть ли сейчас модели крупнее? Я не слышал. Может быть, Gemini-3? Такое впечатление, что там действительно количество перешло в качество. Но про десятки трлн. параметров мне точно слышать не приходилось. Обычно речь идёт про оптимизированные сотни миллиардов.

[Olweg]

Странный пример.
У подростка к этому возрасту, во-первых уже отлажен софт координации движений, во-вторых, машина для него не диковина, а естественный элемент нашего расширенного фенотипа. Он знает (даже не побывав пассажиром ни разу, возьмём такого), что старшие соплеменники жмут педали газ-тормоз, крутят руль влево-вправо и справляются с этим чуть ли не поголовно. Легко. Он сам играл в игрушечные и виртуальные машинКИ, смотрел "Форсаж" и т.д. Не "с пальмы слез и через 10 часов уже всё освоил", у него пред-подготовка была серьезная, как ни крути.

Подросткам перед этим память стирают или она уже приходят в автошколу с многолетней видеопамятью о том как водили их родители, другие люди, обученные правилам дорожного движения в школе и тд и тд и тд и тд? 

Вполне возможно, что никакой многолетней видеопамяти у них как раз и нет. И в 60-е 70-е без всяких «Форсажей» и GTA молодёжь так же неплохо справлялась. Кроме того, знать, что нажимать, и освоить моторику в динамике реального мира - это вещи очень разные. Чем плох этот пример - так это фокусом именно на моторику, то есть на то, в чём сильны эволюционно оптимизированные мозги и слабы  исходно заточенные на язык LLM. Однако на LLM-архитектуре работают и современные роботы! Суцкевер считает, что они справляются с обучением новому тоже гораздо хуже людей.

[ivanij]

Вы, кажется, не поняли идею: это не образовательный тред,

В данном случае это не имеет решительно никакого значения и, если угодно, моё сообщение не имеет конкретного адресата, т.к. переход на личности в любой форме - не приветствуется.  Думаю, ИИ тоже должен это учитывать... 

[Ulkolainen]

В данном случае это не имеет решительно никакого значения и, если угодно, моё сообщение не имеет конкретного адресата,

Как неконкретный адресат предлагаю всем впредь воздержаться от использования слов "квадрупольная анизотропия". Форум, конечно, тематический, но вы же понимаете: нас могут читать дети!

[BlackMokona]

Достаточно одного

Не заглядывая в интернет, что это?

[BlackMokona]

И в 60-е 70-е без всяких «Форсажей» и GTA молодёжь так же неплохо справлялась. Кро

Чтобы управлять как в ГТА, нейросетка может научится за 30 минут. С обучением от ноутбука, на 2 часах видео езды

[Leonidsm99]

Другое дело, смотрите: у современных SOTA нейронок сотни миллиардов параметров, а в мозге свыше ста триллионов связей между нейронами. При этом нейроны сильно сложнее тех, что в нейронках.

Тем более удивительно, что нейронки могут хоть что-то! Я думаю, дело в том, что в нашем языке уже упаковано очень много информации - он помогает и людям и нейронкам ускорять мышление, но нейронкам особенно помогает - у нас мозг эволюционно сконструирован мыслить без языка. И языковые оптимизации очень поздние, они куда моложе неокортекса.

Да, возможно, языковая оптимизация помогает, но если это так, то число параметров/синапсов не так критично. В последнее время вообще число параметров упёрлось в плато, его особо не увеличивают уже пару с лишним лет, после выхода GPT-4. Значит, нет большой необходимости и нет быстрой отдачи от увеличения.

В LLM информация видимо упакована плотнее и оптимальнее, чем в нашей голове.

Но упакована, вероятно, по-другому.

Если захотите, есть канал "Силошная" в ТГ, там автор разбирает современные тенденции. Вот интересный пост и график (https://t.me/seeallochnaya/3134): В начале года METR представили свою работу по AI Time Horizon — оценку того, как долго агент может автономно выполнять задачи, связанные с ML и разработкой. На некотором наборе данных они эмпирически обнаружили, что с 2019 по 2025 год этот показатель рос экспоненциально, удваиваясь каждые 7 месяцев.

Про то, что всё не так идеально, как могло бы быть, он тоже рассказывает (https://t.me/seeallochnaya/3130): "Совсем недавно я рассуждал про мощности, необходимые для тренировки Agent 0 и Agent 1 из работы AI-2027, и пришёл к выводу, что немного отстаём от обозначенных таймлайнов (не успели достроить и запустить датацентры).", но в целом развитие идёт.

[Vavanzer]

  Люди выкладывают в основном картинки и короткие коменты [примитивные]...
 ... Насколько скоро появится сверх разум [на основе всего этого] ?
 

успели достроить и запустить датацентры).", но в целом развитие идёт.

  И... Что в итоге хотят получить на основе всего этого мусора!?)

 Лучше бы Маску посчитали ноомальный Старшип, чтоб он быстрее на Марс уже отправился))) И то пользы больше было бы от всех этих компьютеров!)

[Vavanzer]

А двумерное изображение на сетчатке глаза (ЕНС) либо на матрице (ИНС), в зависимости от угла зрения, расстояния, освещённости и т.д., получается разным (зачастую – очень разным). То есть, на сетчатке (на матрице) будет  отображаться куча разных картинок, которые являются разными изображениями одного и того же объекта.

Вот кстати да. У живых существ как раз таки развитый аппарат перевода 2д проекции с 2х глаз , полученых под разным углом и с разных сторон, в 3д- модель!
 Эта способность еще подкреплена еще и осязательной составляюще, те можно подойти, потрогать, понять что это просранственный обьект, а не проекция на плоскость.
 Потому и 2д картинки, фотографии, чертежи, карикатуры, наброски, эскизы тоже хорошо распознаются! Даже если нарушены пропорции, светотени, эффекты перспективы и тп, как попало нарисованые в общем.
 Но и иллюзии восприятия тоже есть, артефакты интересные. На этом всякие приколы основаны, с видимыми иллюзиями на рисунках.

 

[Vavanzer]

У компьютера нет тела и он не может на своём опыте что-либо использовать, как-то улучшать удобство своей жизни. Для него всё это носит теоретический, абстрактный характер. И в этом принципиальное различие. Накопление статистических данных вместо конкретного опыта.

А какие он данные накопит, если ничего не "ощущает"? Откуда он узнает, как кусают комары, каковы симптомы и последствия болезней, травм итп? Откуда он узнает что опасно дразнить собаку, и что она кусается и это очень больно и неприятно!?) Откуда ему знать, что чувствует хозяин, который повредил исправную машину и "попал на бабки", на ремонт то бишь?
 Компьютер никому ничего не должен, ни за что не платит, никакой ответственности иобязательств у него нет! Ничего не чувствует. Ему даже без разницы, включен он или нет))) Ноль ответственности и пооблем! Живет как тот кот, который говорит "нас и тут не плохо кормят")))
 Компьютер не задумывается и не переживает о своем потомстве, о и своих соплеменниках !

 Это даже в никакое сравнение с беззаботным ребенком не идет! То же самое и с роботами!
 Другое дело, если их наделить сенсорами, поставить в программе приоритет выживания и самосохранения, и прочие плгоритмы, схожие с инстинктами живых существ внедрить. Сделать аналог боли, хоть какую то фиксацию повреждений, те самодиагностику физического и програмного состояния... Тогда еще боле мене на живые существа начнут походить.
 А если еще добавить функцию распознавать и избегать угрозы существованию и целостности, то вообще будет полноценное почти живое существо. Ну кроме функции самовосстановления, как у живой материи.
 Можно еще подкинуть приоритетный алгоритм обязательно создать себе подобного, подчиняющего набираемые знания, часть действий и энергию робота этой цели... Тогда у человечества будет серьезный конкурент!