Пределы автоматизации и внедрения роботов

[MenFrame]

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

[BlackMokona]

Российские учёные совершили прорыв в оптимизации ИИ-моделей — теперь их можно использовать без мощных серверов

И до этого можно было применять, а несколько их метод квантизации лучше чем у других, как я понял расскажут в конце месяца.

[mo]

Как я понял, суть сжатия модели в гибкойпослойной квантизации с контролем качества.
Она существовала и до этого, но в этом документе, как мы с chatgpt его поняли, доказана линейность падения качества от падений качества каждого слоя модели.

Грубо говоря, начальный fp16 на слое 8 превратим в fp8 и проверим ошибку. Если небольшая, то и хорошо. И так по каждому слою.
В итоге где-то достаточно int2, но на другом слое резкое падение качества наступает уже с int8. И метод говорит, что нет нужды проверять весь массив возможных вариантов, можно пройтись линейно по каждому слою, в заданном допуске оптимизируя его и переходя к следующему слою. Это примерно в квадрат уменьшает количество вариантов, ускоряет оптимизацию.

И вновь напишу "как я понял"

[BlackMokona]

Т.е просто экономия на ресурсах для квантизации, за счёт незначительного падения её качества? Ну тогда такое сильно. Квантизация слишком уж недорогая и делается лишь один раз на модель. Чтобы так заморачиваться

[wandarer]

Эта эмоция в отсутствие забывания событий еë породивших  может иметь практически бесконечное значение и являться мотивом соответствующих действий, 

Есть люди с фотографической памятью, как они помнят негативные события? Реагируют на них как-то иначе, чем обычные рассеянные с улицы Бассейной?

Посмотрите фильм "Шифр". Там одна из главных героинь -  Соня как раз обладает фотографической памятью и иногда делится своими ощущениями. Для таких людей эта способность иногда превращается в пытку,  так как заставляет при воспоминании  остро переживать события заново. И ,вообще,  моральная боль  воспринимается значительно сильнее и более продолжительна, например, боль при потере близких, которая притупляется только со временем и иногда требует лечение у психолога или обращение к молитве.

[Baby[lone]]

Посмотрите фильм "Шифр".

Это документальный фильм или художественный?

[wandarer]

Посмотрите фильм "Шифр".

Это документальный фильм или художественный?

Фильм режиссера Веры Сторожевой. Четыре женщины , связанныые военным прошлым, работают в спецотделе.  В ролях: Марина Спивак,  Екатерина  Вилкова, Яна  Дюбуи и другие.  4 Сезона, 2018-2024 гг.

[Combinator]

Как я понял, суть сжатия модели в гибкойпослойной квантизации с контролем качества.
Она существовала и до этого, но в этом документе, как мы с chatgpt его поняли, доказана линейность падения качества от падений качества каждого слоя модели.

Грубо говоря, начальный fp16 на слое 8 превратим в fp8 и проверим ошибку. Если небольшая, то и хорошо. И так по каждому слою.
В итоге где-то достаточно int2, но на другом слое резкое падение качества наступает уже с int8. И метод говорит, что нет нужды проверять весь массив возможных вариантов, можно пройтись линейно по каждому слою, в заданном допуске оптимизируя его и переходя к следующему слою. Это примерно в квадрат уменьшает количество вариантов, ускоряет оптимизацию.

И вновь напишу "как я понял"

Круто!

[Павел Васильев]

Как я понял, суть сжатия модели в гибкойпослойной квантизации с контролем качества.
Она существовала и до этого, но в этом документе, как мы с chatgpt его поняли, доказана линейность падения качества от падений качества каждого слоя модели.

Многослойная квантизация с оптимизацией и максимизацией качества операций нейронной сети искусственного интеллекта? Проще говоря, этот процесс с прогрессом на шнобелевку  тянет.

[BlackMokona]

Многослойная квантизация с оптимизацией и максимизацией качества операций нейронной сети искусственного интеллекта? Проще говоря, этот процесс с прогрессом на шнобелевку  тянет.

Почему шнобелевку? Может иметь определённое применение, если эффективные менеджеры решат экономить на квантизации своих моделей.

[Polnoch Ксю]

С этим, кстати, у нынешних нейросетей бааальшие проблемы. Собственно все их нынешние архитектуры вроде как вообще не предполагают возможности продолжения обучения, когда оно уже завершено и модель пошла в работу, а "оперативная память" (число токенов) у них ограничена вполне конкретным и не особенно большим числом.

Это обходится с помощью RAG/LangChain

Есть ограничения, конечно: если не знать, что искать, то модель не будет смотреть в RAG. Для этого её можно файнтюнить.

Ну и новые модели, например, модель гугла последняя - там уже контекстное окно в 1млн токенов.

[BlackMokona]

Психологи бастуют в Калифорнии, потому как их заменили ИИ
https://www.reddit.com/r/Futurology/comments/1jy8hax/in_california_human_mental_health_workers_are_on/

[Olweg]

Прогресс за два года
https://www.reddit.com/r/singularity/comments/1jyall7/2_years_later/

[Rattus]

Каменты в очередной раз продолжают демонстрировать: насколько плохо многие цифроэнтузиасты отличают медиа-продукты и физическую реальность...

P.S.

Комментарий модератора раздела

Оффтоп про память и пере/дообучаемость современных LLM перенесён сюда. Благодарю всех за уточнения.

(кликните для показа/скрытия)

И, надеюсь, теперь MenFrame заткнёт уже свой "фонтан красноречия" про "продвинутый T9".

[BlackMokona]

Ребята из МИТ, решили загрузить в ИИ данные физических наблюдений и тот смог повторить ряд открытий по физике
https://arxiv.org/pdf/2504.02822v1
https://www.reddit.com/r/singularity/comments/1k00dl1/new_mit_paper_ailnn_not_llm_was_able_to_come_up/

[BlackMokona]

Но потом, и скорее довольно рано чем поздно, всем участникам рынка придётся столкнуться с фактом, что детали для производства оборудования не растут сами на полках складов как грибы и сам конечный продукт не является скатертью-самобранкой и сапогом-скороходом с идеальной эргономикой и пр. характеристиками. И каким тогда окажется этот самый рынок - и будем поглядеть. Ранее помянутые гарнитуры дополненной реальности и модульные смартфоны тоже не так давно захватывали массовый рынок. И каков итог?

Как поделят рынок то столкнутся, но сейчас брать их цифры в ценах для оценки себестоимости. Так же полезно как верить политикам на слово.
По поводу всяких очков никуда не ушли. Продолжают себе жить поживать.

Ну значит тогда цыплят и посчитаем. В любом случае о реальной возможности массового распространения высокоуниверсальных роботов мы узнаем в эту пятилетку -  то есть до предполагаемой даты наступления предмета данной темы - "события класса SK".

Да, тут немного подождать надо. Сейчас всё адово бурлит и сложно дать точные прогнозы

[Инопланетянин]

и электромобили до Теслы

Они и после Теслы не особо выглядят. Дело в аккумуляторах. Самая дорогая часть автомобиля и самая ломающаяся.

[Rattus]

По поводу всяких очков никуда не ушли. Продолжают себе жить поживать.

Но это кагбе уже не очень-то

массовый рынок

[Combinator]

Ранее помянутые гарнитуры дополненной реальности и модульные смартфоны тоже не так давно захватывали массовый рынок. И каков итог?

Я бы всё же с ними не сравнивал. Перечисленные девайсы относятся чисто к сфере развлечения, и результат определяется лишь тем, "зашло" или "не зашло". Антропоморфные роботы для нашей быстро стареющей цивилизации являются просто суровой необходимостью, иначе даже за престарелыми скоро будет тупо некому ухаживать.Вопрос лишь в том, когда такие боты станут такой же обыденной вещью в каждой семье, как, например, сегодня автомобили. Произойдёт ли это, условно, через 5, 20, или 50 лет. Если какие-то детали будут слишком дороги из-за пресловутых редкоземельных металлов, рано или поздно найду им более дешёвую замену. С учётом того, что тот же Маск собирается скоро открыть завод, в котором Оптимусы будут собирать других Оптимусов, как минимум экспоненциальный, а то и гиперболический рост их численности в ближайшие 5-10 лет совсем не исключен. В любом случае, ждать не так уж и долго, скоро увидим.   

[Бобр-99]

Забудьте про редкоземельные металлы и прочую ресурсную чушь.
Вы знаете что у нас давным-давно нет цветных экранов? Редкоземельные металлы должны были закончится уже, как били тревогу в прошлом веке. Ведь их мизерные количества использовались в электронно-лучевых трубках и без них никак.
Зато мы теперь редкоземельными металлами зеркала полируем..
И так всё. Нет никагого дефицита ресурсов. Дефициты случаются у конкретных спекулянтов. Вот они и орут. Они ведь самые важные люди.

А вы помните что у нас дефицит полноценных жиров? Ведь растительные масла неполноценные. Поэтому из них делают полноценный маргарин.

Все эти вопросы проясняются элементарно. Смотрим о чем предупреждали 20 назад. Сбылось?
А 40? То что говорят сейчас это теже самые люди.

Реальная же вещь - треть биосферы уничтожена. Вот это никого не волнует, это алармисты врут. А нас беспокоят редкоземельные элементы.
Ценности поставлены с ног на уши.