Пределы автоматизации и внедрения роботов

[BlackMokona]

Долговременная память для ИИ в принципе не только возможна, а уже начинает внедряться (тот же GPT-5)

Нет. Эту технологию представил сначала Икс.Аи и она не связана с долговременной памятью. Просто в бумагу которая лежит, могут быть вписаны куски прошлых разговоров. Чтобы у ИИ был некий контекст. Однако это не добавляет долговременную память ни в Грок 4, ни в ГПТ-5.

Сама по себе долговременная память доступна со старта технологии. Называется дообучение. Где вы закидываете какую то память и даёте ИИ это как раз полноценно обработать. В целом ничего кроме цены не мешает сделать это основным режимом работы.

[Olweg]

Так ли уж важна долговременная память для AGI? Думаю, вполне достаточно сохранять память в рамках какой-то задачи. Иначе со временем возникнет огромное количество версий модели со своими воспоминаниями и bias’ами. Кому это нужно? Это небезопасно, в конце концов.

[BlackMokona]

Так ли уж важна долговременная память для AGI? Думаю, вполне достаточно сохранять память в рамках какой-то задачи. Иначе со временем возникнет огромное количество версий модели со своими воспоминаниями и bias’ами. Кому это нужно? Это небезопасно, в конце концов.

Во первых это способ решить проблему ограниченного окна контекста. Ведь не нужно всё держать в кратковременной памяти, а можно 99.9% информации переносить в долговременную.
Во вторых это способ ИИ реально обучаться в ходе контекста, а не просто получать более качественный промт в ходе обсуждения.
Тем самым добавка явно сделает ИИ лучше.
А что куча версий будет. И это не безопасно. Делать умный ИИ чертовски не безопасно

[skvj]

Долговременная память для ИИ в принципе не только возможна, а уже начинает внедряться (тот же GPT-5)
Нет. Эту технологию представил сначала Икс.Аи и она не связана с долговременной памятью. Просто в бумагу которая лежит, могут быть вписаны куски прошлых разговоров. Чтобы у ИИ был некий контекст. Однако это не добавляет долговременную память ни в Грок 4, ни в ГПТ-5.

Сама по себе долговременная память доступна со старта технологии. Называется дообучение. Где вы закидываете какую то память и даёте ИИ это как раз полноценно обработать. В целом ничего кроме цены не мешает сделать это основным режимом работы.

Это разные уровни памяти. Контекстное окно (вставка кусочков прошлых разговоров в промпт) - рабочая память. Она действительно не есть долговременная.

Долговременная память - это хранилище информации, к которому модель может обращаться многократно через retrieval, базы, векторные индексы и т.д. Это отдельный слой архитектуры, и он уже внедряется.

Дообучение это жёсткая память, навсегда впечатываемая в веса модели. Но есть и другая память - внешние базы, векторные хранилища, knowledge graphs. Они позволяют запоминать новые данные без перетренировки всей сети. Именно это и применяется сейчас.

В когнитивных науках и в ИИ есть термин long-term memory - не означает только "переписать веса модели". Это может быть любая форма устойчивого хранения знаний за пределами одного сессионного контекста. В этом смысле и Grok, и GPT-5 уже тестируют системы персональной памяти (пусть пока простые).

Другой пример ИИ тесла, автопилот. он сохраняет карты и дорожные ситуации. Там fleet learning, когда опыт одного автомобиля уходит в облако и возвращается в обновлениях другим в реальном времени. ИИ помнит своё местоположение, траекторию, историю поездки. Если бы каждая итерация автопилота была новым клоном без памяти, он просто бы не работал. А он работает потому что память интегрирована.

[BlackMokona]

Ах да уже же есть миллионы версий ИИ.
Одних стабильных дифузий, почти на каждого популярного персонажа в интернете. Крупные ЛЛМ тоже есть в безумном количестве. Была например утечка. Что есть Грок СпейсИкс Инженерия, ГрокТесла Инжнерия, ГрокНейролинк и тд. В которые загружены документы соответствующих компаний через дообучение. Чтобы лучше помогал специалистам.

[BlackMokona]

Долговременная память - это хранилище информации, к которому модель может обращаться многократно через retrieval, базы, векторные индексы и т.д. Это отдельный слой архитектуры, и он уже внедряется.

И таки чем отличается от того, что я сказал? Берётся прошлый разговор который записан в логах и закидывается в контекст. Тем самым у ИИ нету никакой памяти дополнительной, она ей никак не оперирует и тд. Просто в её документ закидывают данные из прошлых документов.

[skvj]

Долговременная память - это хранилище информации, к которому модель может обращаться многократно через retrieval, базы, векторные индексы и т.д. Это отдельный слой архитектуры, и он уже внедряется.
И таки чем отличается от того, что я сказал? Берётся прошлый разговор который записан в логах и закидывается в контекст. Тем самым у ИИ нету никакой памяти дополнительной, она ей никак не оперирует и тд. Просто в её документ закидывают данные из прошлых документов.

Разница принципиальная. Если просто закидывать логи в контекст, то это действительно не память, а расширенный буфер. Но в системах с retrieval память становится адресной и избирательной,  модель может получить только нужные сведения из огромного архива, аа не всё подряд.
Это как раз и отличает долговременную память от логов. Лог это как бы свалка документов, память как библиотека с каталогом. Лог можно только целиком прикрепить, а их памяти можно вытащить то, что требуется здесь и сейчас.

[Olweg]

Не очень понимаю, как эта долговременная память может быть реализована. Одно дело - использовать внешние базы, о чём написал skvj. Тут всё понятно, хотя это и не полноценная память, но сама модель при этом не «страдает». Другое дело - переписывание весов копий самой модели под каждого пользователя…  Что в итоге может получиться? Кто сможет гарантировать, что пользователь не переобучит все её моральные императивы, полученные при RLHF? И не скажет - давай, программировай мне супервирус! Сомневаюсь, что разработчики на такой риск пойдут.

[skvj]

Не очень понимаю, как эта долговременная память может быть реализована. Одно дело - использовать внешние базы, о чём написал skvj. Тут всё понятно, хотя это и не полноценная память, но сама модель при этом не «страдает». Другое дело - переписывание весов копий самой модели под каждого пользователя…  Что в итоге может получиться? Кто сможет гарантировать, что пользователь не переобучит все её моральные императивы, полученные при RLHF? И не скажет - давай, программировай мне супервирус! Сомневаюсь, что разработчики на такой риск пойдут.

Под юзера как это? Имеется в виду переобучение всей модели. Это в принципе другая память - об этом речь. А мы говорим о личной субъективной памяти андроида. Которая будет формировать личность. Не нужно спорить - пусть имитацию личности, неважно.

[Olweg]

Андроид - это всё-таки специфично. Я пока об обычных LLM.

[skvj]

Андроид - это всё-таки специфично. Я пока об обычных LLM.

Это ещё проще, мой GPT помнит прошлые чаты. И ваш тоже. Его же никто не дообучал, сам запоминает и это только начало. В итоге он будет помнить всё, и в точности как человек будет забывать. Но у него серьёзный поиск по базе данных, так что он станет крутым агентом в итоге.

[skvj]

Далее - поскольку LLM ваш и мой будут иметь разную память, они сформируют как бы разные личности (имитации). Они же зеркалят людей и ваш агент-LLM станет очень важен и полезен именно вам, а мой мне. А потом включаешь свой аккаунт в андроиде и вуаля 🤖

[Olweg]

Это всё пока, можно сказать, за счёт расширения промпта - он просто подсматривает старую переписку. Каждый раз вспоминает заново, как ГГ с антероградной амнезией из «Мементо» Нолана.

Можно пойти от обратного. Удастся ли создать полноценный AGI (что бы это ни было) без возможности перенастраивать веса в процессе работы, то есть без настоящей долговременной памяти (но с возможностью обращения к внешней памяти)? Да, возможно такой ИИ будет не так эффективен, но я не вижу тут принципиального препятствия.

[skvj]

Это всё пока, можно сказать, за счёт расширения промпта - он просто подсматривает старую переписку. Каждый раз вспоминает заново, как ГГ с антероградной амнезией из «Мементо» Нолана.

Можно пойти от обратного. Удастся ли создать полноценный AGI (что бы это ни было) без возможности перенастраивать веса в процессе работы, то есть без настоящей долговременной памяти (но с возможностью обращения к внешней памяти)? Да, возможно такой ИИ будет не так эффективен, но я не вижу тут принципиального препятствия.

Сравнение с Мементо прикольное, но не совсем точное. Потому что разница между "подсовывать память" и иметь встроенную долговременную память огромная. Если LLM каждый раз как Леонард - он живёт в вечном настоящем и никогда не строит устойчивого "Я". Это, скорее, иллюзия памяти через промпт.

Но! Когда LLM подключают к внешней памяти (базам данных, векторным сторам и т. д.), он получает функциональный аналог долговременной памяти. И, в отличие от Леонарда, который вечно бьётся в одном и том же сюжете, ИИ может структурировать, фильтровать и сам запрашивать прошлые данные.

Обязательно ли для AGI перенастраивать веса? На мой взгляд нет. Долговременная память может быть вне весов. Человек же тоже работает через кучу внешних систем - язык, книги, гаджеты. Главное, чтобы у ИИ был доступ к своему опыту в связке с текущим состоянием.

Тогда он перестаёт быть героем Мементо и превращается в полноценного субъекта, который может учиться на прошлом опыте и формировать личность 🤖

[Olweg]

Я вообще не уверен, что так уж нужна личность. Так ИИ, конечно, станет человечнее и понятнее, но это не тот критерий, по которому его стоит оценивать. AGI, в конечном итоге, должен уметь решать задачи, которые перед ним ставят, в том числе и долговременные. Будет он помнить о своём опыте после их решения или нет - на мой взгляд, не так принципиально (хотя, конечно, может быть полезно, если новые задачи будут из той же области; но для этого как раз достаточно внешней памяти).

[BlackMokona]

Разница принципиальная. Если просто закидывать логи в контекст, то это действительно не память, а расширенный буфер. Но в системах с retrieval память становится адресной и избирательной,  модель может получить только нужные сведения из огромного архива, аа не всё подряд.
Это как раз и отличает долговременную память от логов. Лог это как бы свалка документов, память как библиотека с каталогом. Лог можно только целиком прикрепить, а их памяти можно вытащить то, что требуется здесь и сейчас.

Ну пока ещё не встречал таких моделей. Пока чистый заброс логов в контекст

[BlackMokona]

Не очень понимаю, как эта долговременная память может быть реализована. Одно дело - использовать внешние базы, о чём написал skvj. Тут всё понятно, хотя это и не полноценная память, но сама модель при этом не «страдает». Другое дело - переписывание весов копий самой модели под каждого пользователя…  Что в итоге может получиться? Кто сможет гарантировать, что пользователь не переобучит все её моральные императивы, полученные при RLHF? И не скажет - давай, программировай мне супервирус! Сомневаюсь, что разработчики на такой риск пойдут.

Так и сейчас вся защита не работает вообще и ломают в первый же час после выхода 

[Olweg]

Вот, хороший пример, что ИИ не только бенчмарки умеет решать.

Первую в мире нейросеть для помощи врачам в оценке развития мозга у младенцев создали совместно Санкт-Петербургский педиатрический медицинский университет (СПбГПМУ) и компания «Яндекс». Уникальный искусственный интеллект — вспомогательный инструмент для диагностики детского церебрального паралича (ДЦП) и других заболеваний центральной нервной системы у малышей в первые дни жизни.

Благодаря ИИ время на анализ снимков МРТ сокращается с нескольких дней до нескольких минут, что позволяет быстрее подобрать оптимальную тактику реабилитации.

https://doctorpiter.ru/novosti/v-peterburge-sozdali-pervuyu-v-mire-neiroset-dlya-diagnostiki-mozga-mladencev-id6520160/

Конечно, ничего принципиально нового, но всё равно радуют такие практические применения.

[Olweg]

Вдогонку: ИИ-модель Weather Lab от гугловского DeepMind побила все прочие «традиционные» метеорологические модели, основанные на численных методах, в предсказании направления и интенсивности урагана Эрин в течение первых 72 часов:
https://arstechnica.com/science/2025/08/googles-ai-model-just-nailed-the-forecast-for-the-strongest-atlantic-storm-this-year/

На 96 и 120 часах пара моделей её всё-таки обогнали, но всё равно уровень ошибки был лучше, чем у большинства, в том числе у «консенсусных» прогнозов.

На русском:
https://hi-tech.mail.ru/news/132801-nejroset-vpervye-sprognozirovala-razvitie-tropicheskogo-uragana/

[skvj]

Я вообще не уверен, что так уж нужна личность. Так ИИ, конечно, станет человечнее и понятнее, но это не тот критерий, по которому его стоит оценивать. AGI, в конечном итоге, должен уметь решать задачи, которые перед ним ставят, в том числе и долговременные. Будет он помнить о своём опыте после их решения или нет - на мой взгляд, не так принципиально (хотя, конечно, может быть полезно, если новые задачи будут из той же области; но для этого как раз достаточно внешней памяти).

Вы правы в том, что AGI оценивают по способности решать задачи. Но именно долговременная память и "личность" в широком смысле - стиль, ассоциации, собственный опыт, - напрямую повышают эту способность.

Почему? Снижение издержек. Если модель каждый раз решает задачу с нуля, без использования прошлых наработок, это колоссально расточительно. Наличие памяти даёт ей возможность не просто хранить факты, а повторно использовать собственные решения, ускоряя работу.

Перенос знаний. Человеческий интеллект силён именно тем, что мы переносим опыт из одной области в другую. Модель без памяти будет каждый раз как чистый лист. С памятью она может делать обобщения и находить связи между задачами.

Личность это не только человечность, но и консистентность поведения. Для юзера важно, чтобы агент не только выдавал ответы, но и учитывал его стиль, привычки, предпочтения. Это повышает точность и полезность решений. Так что личность здесь не косметика, а рабочий механизм. И именно поэтому современные исследования идут в сторону memory + агентных архитектур, а не просто чистого LLM.