Пределы автоматизации и внедрения роботов

[Olweg]

Итак, как и обещал.

То есть - я предлагаю не вводить излишние сущности вроде картин мира неких, котоыре не доказуемы кстати, есть они или нет.

Ну почему недоказуемы. Вот была известная статья Уэса Гарни и Макса Тегмарка, которые нашли в Llama 2 модели пространства и времени:
https://arxiv.org/abs/2310.02207

Интервью с Тегмарком, где он говорит в том числе про эту свою работу (кстати, в начале он тоже утверждает, что у LLM нет сознания, потому что это не рекуррентные сетки):
https://youtu.be/_-Xdkzi8H_o?si=-I_yaE2vVAZO7Hog&t=6m12s

Обзор статьи от одного из энтузиастов ИИ:
https://youtu.be/1KdgN85_M6U?si=SV-BeAL6j4nk6NVJ
Если совсем вкратце, то даже для предсказания следующего слова LLM должны иметь внутреннюю модель, основанную на абстрактных представлениях. Также автор упоминает две системы мышления Канемана, про которые я выше писал.

(кликните для показа/скрытия)

Автор шутит: «В интернете мы часто видим и слышим про то, что ИИ - это просто стохастический попугай. И, конечно, в ответ я могу сказать, что люди - не более чем стохастические попугаи, потому что, ну, если вы говорите, что ИИ - это стохастический попугай, вы просто повторяете то, что слышали, основываясь на своих обучающих данных.»

Хороший разбор на русском:
Языковые модели понимают место и время, утверждает исследование

В обоих обзорах есть ссылки на другие статьи по теме, например:
https://arxiv.org/abs/2210.13382
Здесь перевод обзора от самих авторов: Осваивают ли LLM модели мира, или лишь поверхностную статистику?
Авторы обучали модель текстовой записи ходов в реверси, и она неплохо предсказывала корректные ходы. Проведя анализ внутреннего представления игры в модели, исследователи обнаружили нечто напоминающее свёрнутую в трёхмерную сферу доску для рефери (они уменьшали размерность векторного пространства до трёх, чтобы можно было визуализировать). Они также подкрутили промежуточные функции активации модели - та реагировала адекватно, меняя соответствующим образом прогноз. Вывод? «Наш эксперимент даёт свидетельства, говорящие о том, что эти языковые модели создают модели мира и полагаются на них для генерирования последовательностей.»

Также в этом плане интересно мнение Ильи Суцкевера, одного из стратегов направления, который недавно ушёл из OpenAI:
https://youtu.be/SjhIlw3Iffs?si=Y2r_15qUC5uhjKdW&t=15m04s
Цитирую: «Предсказание - это тоже статистический феномен, но для того, чтобы предсказать, вы должны в конечном итоге понять истинные процессы, стоящие за данными. Чтобы хорошо предсказать данные, чтобы хорошо их сжать, вы должны понимать всё больше и больше о мире, который эти данные произвёл.»

Также он комментирует мнение Яна Лекуна о том, что в чисто текстовых нейросетях не может быть модели мира, потому что модель мира не лингвистична по сути своей. Суцкевер считает, что можно учиться и на одном тексте, хотя и не так эффективно, как при мультимодальности. Он ссылается на исследование представления цвета: эмбеддинги цветов, то есть их векторные представления находятся в LLM рядом друг с другом в зависимости от реальной схожести цветов, то есть фиолетовый рядом с синим, а оранжевый рядом с красным.

Сам Лекун уже три раза садился в лужу, пытаясь доказать, что у LLM отсутствует понимание физики мира (доказательством того, что у текстовых моделей такое понимание есть, это всё же считать нельзя, но в любом случае с прогнозами явно спешить не стоит):
https://habr.com/ru/articles/794566/
В этой же статье про одну из первых проработок OpenAI, которая самопроизвольно обучилась распознавать такую категорию, как сентимент (тональность) отзывов на Амазоне.

В общем, моё личное мнение - вопрос уже не в том, понимают ли модели или нет, а в том, до какой степени они понимают. И, конечно, трансформерная архитектура имеет свои ограничения. Скорее всего, просто раздувая модели, напрямую к AGI подойти не удастся (хотя они будут становиться всё более и более понимающими), нужно что-то ещё.

[troglodit888]

Ну почему недоказуемы.

Потому что для того чтобы найти эту модель - нужно сделать допущение , что она впринципе там существует. Это абстракция. Они представляют что есть эта модель, ну и в конечном итоге им просто проще развивать логику, если её ввести. Но это ни в коем случае не говорит о наличии какого то скрытого пространства, где возникает представление.

К примеру - я могу сказать, что у нас с вами возникла модель общения, в которое есть представление о обсуждаемом предмете. Это чисто абстракция - она мало что означает вне контекста. И не существует вообще никак - ни в физическом, ни в каком либо ещё смысле. Но в общении мы можем использовать эту фразу ( если вдруг понадобилось бы).

[-Asket-]

Нейроморфный компьютер Hala Point: мозг совы, по ощущениям — человеческий
Нейроморфные компьютеры мимикрируют под мозг, чтобы преодолеть горизонты эффективности и скорости. Они работают за гранью традиционных вычислений. По крайней мере, так пишут в описаниях на сайте производителей.
На деле попытки именно повторить работу мозга в основном проваливаются, а прорывы происходят в тот момент, когда интеллект удаётся искусно подделать. Однако провалы дают столько знаний, что хватает для прорывов. Самый мощный в мире нейроморфный компьютер Hala Point от Intel будет эмулировать работу человеческого мозга, чтобы разобраться в работе современных языковых моделей...
...В нейроморфном режиме Hala Point эмулирует 1.15 млрд нейронов. Получается, что это сопоставимо, скорее, с мозгом очень умной кошки, а до человеческого по сложности не дотягивает в 75 раз. Но если учесть, что некоторые кошки умнее некоторых людей, с некоторой натяжкой утверждение принять можно. В Intel считают, что машина гораздо быстрее и сравнивают Hala Point с мозгом совы:
«Применительно к жизнеподобным моделям спайковых нейронных сетей, система может работать при моделировании всех 1.15 млрд нейронов в 20 раз быстрее, чем человеческий мозг, и до 200 раз быстрее — при меньшем их числе. Хотя Hala Point не приспособлен для научного моделирования нейроструктур, количество нейронов примерно соответствует мозгу совы или коре мозга капуциновой обезьяны». — пресс-релиз от 17 апреля 2024.
То есть, по мнению разработчиков, сложность системы меньше, чем у человеческого мозга, а быстродействие — больше.
Устройство получилось действительно компактное: 1152 процессора Loihi 2 уместились в стандартный корпус высотой 6 юнитов (267 мм) для серверной стойки. 1.15 миллиарда нейронов, соединяемые через 128 миллиардов синапсов, распределены по 140544 нейроморфным вычислительным ядрам. Система потребляет 2.6 кВт энергии. Для вспомогательных целей также используется 2300 стандартных x86 ядер (судя по описанию самого процессора, x86 ядер должно быть больше, — возможно, часть из них отключены).
Hala Point объединяет каналы обработки, памяти и связи в массивно-параллельную структуру, обеспечивая в общей сложности 16 петабайт в секунду пропускной способности памяти, 3.5 ПБ/с пропускной способности межъядерной связи и 5 терабайт в секунду (ТБ/с) пропускной способности связи между процессорами. Система может за секунду обработать более 380 триллионов 8-битных синаптических операций и более 240 триллионов нейронных операций.
Система способна решать задачи оптимизации, используя в 100 раз меньше энергии на скоростях до 50 раз быстрее, чем традиционные (процессор+видеоускоритель) архитектуры. Первые эксперименты показали, что Hala Point может достигать эффективности до 15 Топс/Вт2 без необходимости собирать входные данные в пакеты (это используется в нейросетевых вычислениях на видеоускорителях, что значительно задерживает обработку данных, поступающих в реальном времени, — например видео с камер).
Уникальные возможности Hala Point могут в будущем обеспечить непрерывное обучение в реальном времени для приложений искусственного интеллекта, таких как решение научных и инженерных задач, логистика, управление инфраструктурой умных городов, большие языковые модели и AI-агенты. За счёт устранения необходимости периодического переобучения с постоянно растущими наборами данных, можно будет экономить гигаватт-часы энергии...

[Olweg]

Потому что для того чтобы найти эту модель - нужно сделать допущение , что она впринципе там существует. Это абстракция. Они представляют что есть эта модель, ну и в конечном итоге им просто проще развивать логику, если её ввести. Но это ни в коем случае не говорит о наличии какого то скрытого пространства, где возникает представление.

Ну так, как видите, в векторных представлениях моделей вполне можно эти абстракции поискать.

[troglodit888]

Ну так, как видите, в векторных представлениях моделей вполне можно эти абстракции поискать.

Так это ничего определенного не означает. Можно найти модель в чем угодно практически. При желании.

На самом деле оно всё более запутывает. Вместо того чтобы написать и размышлять в парадигме - данный алгоритм может решать такие то задачи - можно впасть в мракобесие со временем и рассуждать в духе - она представляет такое то.

Наличие модели окружающего мира можно заменить на то, что вот этот вот алгоритм - способен на то то при таких то условиях. И дать этому какое то нейтральное, не сбивающее потенциально с толку название.

По крайней мере- даже если ничего не менять (а оно вряд ли будет меняться) - стоит  понимать о чем речь. И я это описываю.

[Olweg]

Это потому, что наш язык антропоморфен. У нас, например, и компы долго думают, хотя понятно, что на самом деле они ни о чём не думают. Так что если модель что-то «понимает», это не значит, что она понимает это так, как это делаем мы, с осознанием, с чувством понимания и т.п. Просто работают какие-то алгоритмы, да. Но механизмы могут быть отчасти схожи с тем, как это делает наш мозг (опять антропоморфизм!)

[troglodit888]

Это потому, что наш язык антропоморфен. У нас, например, и компы долго думают, хотя понятно, что на самом деле они ни о чём не думают. Так что если модель что-то «понимает», это не значит, что она понимает это так, как это делаем мы, с осознанием, с чувством понимания и т.п. Просто работают какие-то алгоритмы, да. Но механизмы могут быть отчасти схожи с тем, как это делает наша мозг (опять антропоморфизм!)

Да,я  согласен.

[Olweg]

А вообще парадоксально получается. У Лема в «Дознании» Пиркс переиграл робота, интуитивно приняв решение, которое поначалу сам не мог объяснить. Конечно, ведь роботы, в отличие от людей, мыслят логично. В реальности вышло с точностью до наоборот, с логикой у ИИ сейчас как раз большие проблемы…

[troglodit888]

https://habr.com/ru/articles/794566/

Вот это кстати интересный момент. Нет необходимости симулировать всю вселенную, если возможно генерировать контент, который непосредственно воспринимает пользователь.

Мысль конечно не новая. Но с нейронками это может быть намного дешевле по вычислительным мощностям.

[EmperioAf]

https://habr.com/ru/articles/794566/

Вот это кстати интересный момент. Нет необходимости симулировать всю вселенную, если возможно генерировать контент, который непосредственно воспринимает пользователь.

Азы солипсизма, в который уже столь огромное количество раз в этом разделе пытались уйти, что я бы вам не рекомендовал 

[troglodit888]

А вообще парадоксально получается. У Лема в «Дознании» Пиркс переиграл робота, интуитивно приняв решение, которое поначалу сам не мог объяснить. Конечно, ведь роботы, в отличие от людей, мыслят логично. В реальности вышло с точностью до наоборот, с логикой у ИИ сейчас как раз большие проблемы…

Чтобы выдать человекоподобный текст - нужен алгоритм, который мог бы на основании вводных данных сформировать другой алгоритм, удовлетворяющий условиям задачи. Либо уже иметь алгоритм, по которому будет сформирована логика текста. Так оно по видимости и происходит. Правда вопрос - формируется ли новый алгоритм или он уже существует в нейронной сети. Вот это я не совсем понимаю.

Если формируется новый, то за счет чего? Потому что сама модель то не видоизменяется при ответе. Соответственно используется тот рельеф, который у неё уже есть, новый не создается. Так же?

Если ничего нового не создается, то улучшить качество логики без обучения самой модели(неважно каким образом) - невозможно. В принципе это и логично. Но дообученная модель - это будет другая версия модели.

Следовательно, поскольку логика без изменения модели не улучшается(а это так) - скорее всего алгоритм построения ответа уже существует. Именно поэтому наращивается масштаб, чтобы охватить как можно большее количество вариантов построения логики.

[MenFrame]

А вообще парадоксально получается. У Лем

Если бы Лем судил об интелекте на основе данных об его эволюции, то пришел бы как раз видению развития интелекта аналогичного в реальности. Интутивный интелект в природе как раз более распостранен.

[ivanij]

А вообще парадоксально получается. У Лем

Если бы Лем судил об интелекте на основе данных об его эволюции, то пришел бы как раз видению развития интелекта аналогичного в реальности. Интутивный интелект в природе как раз более распостранен.

 У Лема в "Сумме технологии" эта тема развивается гораздо глубже. От человека к киборгу. И это не художественное произведение. Хотя, впрочем, и в отечественной фантастике на эту тему беллетристики хватает.

[olenellus]

Честно говоря, не понял, что вам не понравилось.

Не понравились утверждения о том, что GPT что-то там понимает и как-то там мыслит.

[Olweg]

Чтобы выдать человекоподобный текст - нужен алгоритм, который мог бы на основании вводных данных сформировать другой алгоритм, удовлетворяющий условиям задачи. Либо уже иметь алгоритм, по которому будет сформирована логика текста. Так оно по видимости и происходит. Правда вопрос - формируется ли новый алгоритм или он уже существует в нейронной сети. Вот это я не совсем понимаю.

Если формируется новый, то за счет чего? Потому что сама модель то не видоизменяется при ответе. Соответственно используется тот рельеф, который у неё уже есть, новый не создается. Так же?

Если ничего нового не создается, то улучшить качество логики без обучения самой модели(неважно каким образом) - невозможно. В принципе это и логично. Но дообученная модель - это будет другая версия модели.

Следовательно, поскольку логика без изменения модели не улучшается(а это так) - скорее всего алгоритм построения ответа уже существует. Именно поэтому наращивается масштаб, чтобы охватить как можно большее количество вариантов построения логики.

Да, можно сказать, что рельеф создан теми миллиардами параметров (весов), которые настраиваются при предобучении. Правда, работает модель стохастически и не всегда выбирает самый вероятный результат, поэтому ответы на одни и те же вопросы могут отличаться. Но эта логика, конечно, не линейная: если - то.

Парадокс ещё и в том, что начинали-то исследования в прошлом веке именно с логических, символьных систем, но они совершенно неспособны работать с реальным миром. У людей они развились для коммуникаций и оказались полезны и для логического, пошагового мышления. Получается, нужно их теперь прикрутить к генеративным моделям? Отчасти это уже делается в виде агентов. Но, может быть, всё не так просто, и нужны какие-то ещё подходы, как, например, с Q*.

[troglodit888]

Правда, работает модель стохастически и не всегда выбирает самый вероятный результат, поэтому ответы на одни и те же вопросы могут отличаться.

Если не подставлять случайные значения при генерации она всё время одинаковый результат будет выдавать, при одном и том же запросе.

[BlackMokona]

https://packaged-media.redd.it/6p7hf3h02z4d1/pb/m2-res_720p.mp4?m=DASHPlaylist.mpd&v=1&e=1717790400&s=192ffd2cdb0cac406e708607b7dc7de0e95c567b#t=0

[BlackMokona]

Парадокс ещё и в том, что начинали-то исследования в прошлом веке именно с логических, символьных систем, но они совершенно неспособны работать с реальным миром. У людей они развились для коммуникаций и оказались полезны и для логического, пошагового мышления. Получается, нужно их теперь прикрутить к генеративным моделям? Отчасти это уже делается в виде агентов. Но, может быть, всё не так просто, и нужны какие-то ещё подходы, как, например, с Q*.

В целом прикручивают к моделям всякие высшие когнитивные функции, вроде способности к математике, логике и тд. Просто модель формирует программу и по ней отрабатывают уже ИИ старого формата. А потом выдают результат, который модель преобразовывает. Вообщем по аналогии как человек калькулятором или компом пользуется.

[Olweg]

https://packaged-media.redd.it/6p7hf3h02z4d1/pb/m2-res_720p.mp4?m=DASHPlaylist.mpd&v=1&e=1717790400&s=192ffd2cdb0cac406e708607b7dc7de0e95c567b#t=0

Явный прогресс )
https://m.youtube.com/watch?v=XQr4Xklqzw8

Тут можно ещё фрагменты посмотреть:
https://t.me/ai_newz/2775
https://t.me/ai_newz/2785

Вполне сравнимо с SORA. Китайцы дышат в затылок.

[EmperioAf]

Честно говоря, не понял, что вам не понравилось.

Не понравились утверждения о том, что GPT что-то там понимает и как-то там мыслит.

Ну так эта метафора. Видно же, что chatGPT мыслит поверхностно, т.к. сильно зажат в рамках своей системы слов, и соответственно , например, рано использовать его для создания того, что всерьёз и надолго придёт на замену постмодернизма в философии или для создания теории всего, которая объединит квантовую механику и ОТО.