Пределы автоматизации и внедрения роботов

[MenFrame]

Китайские государственные СМИ.

Можете дать ссылку?

[mo]

https://top500.org/system/180160/

Интересный сайт. Почитал про El Capitan - 11 млн ядер!

Я пока развлекаюсь со своим простым компом и его 8 + 3584 = 3592 CPU + GPU ядер.
Настроил локальный GPT и его связку со средой программирования.
Дописывает код. Моделька не самая умная, но простые задачи решает на 4+!

[mo]

Ну и локальную генерацию картинок настроил. Куда ж без неё
"Реализация" наброска.

Запрос: "realism, close look, Green skinny apple with a pair of green leaves on apple branch on blue dish on a wood table, village"

[BlackMokona]

Можете дать ссылку?

Искать в Китайском интернете крайне тяжко, оссобено новости которые погребены 10 слоями новых.
Вот например о дата центре ДипСик.
https://www.high-flyer.cn/history/
Видим что в 2021 они миллиард баксов потратили на новый дата центр.
Если покрутите их научные статьи увидите что оптимизация и протоколы крутятся вокруг А100.
https://www.high-flyer.cn/blog/hf-reduce/

Другими словами, полную модель и данные образца пакета можно сохранить в 40 ГБ видеопамяти графической карты A100. Таким образом, ускорение модели в основном основано на большом объеме параллелизма данных, что позволяет как можно большему количеству видеокарт участвовать в обучении и затем синхронизировать градиенты.

Это всё от самих владельцев ДипСик.
А по новостным сайтам шарится вообще ад.

[BlackMokona]

Нейросети научились отличать пол по фотографии сетчатки глаза человека с точностью 70-90%.
Что ставит научное сообщество немного в тупик, каким образом и что за связь есть. Между полом и сетчаткой глаза.

[MenFrame]

Таким образом, ускорение модели в основном основано на большом объеме параллелизма данных, что позволяет как можно большему количеству видеокарт участвовать в обучении и затем синхронизировать градиенты.

Это обоснование такое же интересное, как типа он много работал и потому заработал. Вообщем все большие вычислительные системы предлагают сугубо многопоточную обработку данных, почему такой общеизвестный факт преподноситься как алгоритм оптимизации связанный именно с успехами ДипСик не понятно.

[BlackMokona]

Это обоснование такое же интересное, как типа он много работал и потому заработал. Вообщем все большие вычислительные системы предлагают сугубо многопоточную обработку данных, почему такой общеизвестный факт преподноситься как алгоритм оптимизации связанный именно с успехами ДипСик не понятно.

Просто при масштабировании работ, появляются всё новые проблемы. Одно дело внутри одной видеокарты всё проделывать. А другое дело между 50 тысячами+

[MenFrame]

Одно дело внутри одной видеокарты всё проделывать.

Ну так не кто внутри одной видеокарты модели ИИ не учат. Это всегда обучение на больших кластерах. Вопрос лишь в торм насколько они большие.

[BlackMokona]

Ну так не кто внутри одной видеокарты модели ИИ не учат. Это всегда обучение на больших кластерах. Вопрос лишь в торм насколько они большие.

Ну и чем больше тем больше потерь на это управление. От чего очень популярны и полезны исследование как сократить их.

[mo]

Касательно кластеров видеокарт.

Поставил ollama (программа такая для запуска локальный LLM). В ней есть возможность запуска модели на нескольких видеокартах. Как именно делит ресы карты я не вникал, так как пока у меня одна карта в одном компе и вторая в другом. Но точно такая возможность есть (видел о том несколько роликов).

NVLink может объединять карточки (обычно 4 штуки). Не пробовал тоже. Читал только. Ну и платка сама не так дорого стоит.

А вот ещё наблюдение, что главное - видеопамять!
На удивление старая Tesla M40 (купленная за 10к руб на али), за счёт 24 гигов видеопамяти, быстрей генерит ответ, чем относительно свежая 3060 с 12 гиг видеопамяти.

Конечно же, требования к памяти очень сильно меняются от размера контекста. "Бытовые" модели обычно поддерживают максиму ~128к контекста. Но реально на обычном железе можно запустить 16, 32 или, если напрячь память, 64к контекста.
Из них часть идёт на входной контекст. Часть на выходной. Не 50 / 50, но грубо можно считать так, есил стоит задача залить файл с кодом и получить изменённый файл с кодом.

[MenFrame]

На удивление старая Tesla M40 (купленная за 10к руб на али), за счёт 24 гигов видеопамяти, быстрей генерит ответ, чем относительно свежая 3060 с 12 гиг видеопамяти.

Получается, для рабочих серверов ИИ нужны, слабые чипы с большими объемами памяти?

[BlackMokona]

Память работает просто. Если всё влезает то дальнейший рост уже ничего не даёт совершенно. А если не хватает происходит катастрофическое падение производительности
Поэтому памяти чтобы хватало на нужную модельку, а дальше уже мощь обработки по приоритетам

[BlackMokona]

Очередной агент от ОпенАИ, на этот раз для глубокого поиска в интернете с созданием итоговой исследовательский статьи по вопросу.
https://habr.com/ru/news/879160/

[Olweg]

Создали очередной супертест для ИИ.
https://habr.com/ru/companies/bothub/news/876644/
Всё бы хорошо, кроме одного.
Решить этот тест ни один человек в мире тоже не сможет, потребуется большой коллектив высококлассных профессионалов

Deep Research решила четверть вопросов. Скоро просто не будут успевать тесты придумывать.

[mo]

Получается, для рабочих серверов ИИ нужны, слабые чипы с большими объемами памяти?

Прям решительно удивлён. Думал уже не использовать старушку вовсе.
А теперь, похоже, комп с ней будет основной autocomplete / чат машиной домашних проектов.
Надо только автоматическую регулирвоку охлаждения сделать. А то щас ШИМ-регулятор ручной

[mo]

Готовлю наброски к новому видео на свой ютуб канал "разработка с AI-помощником".
Вон он, под столом... помощник

[mo]

Запрос: "Programmer move to keyboard and start to develop" на сайте, лого которого справа-снизу

https://www.youtube.com/watch?v=e1KoZqnzybo

[Vitaliy]

Google обновил собственные принципы применения искусственного интеллекта, удалив оттуда пункт, который не позволял применять ИИ при разработках оружия.

Компания заявила по этому поводу, что "демократические страны должны быть лидерами в разработке ИИ", который способствует глобальному росту и поддерживает национальную безопасность.

Эксперты говорят, что изменение в политике компании может свидетельствовать о том ,что Google будет работать над внедрением технологий, "которые могут убивать людей".

Всегда улыбали наивные люди, которые верили, что ИИ не будет применяться в военной сфере и не будет использоваться для повышения эффективности убийства других людей. Разумеется, в уже достаточно недалекой перспективе дроны разных типов с внедряемым ИИ обеспечивающим авто-наведение и доводку на цель будут новой нормой. И это лишь одна из очень многих возможностей применения в военной сфере. Нам разумеется тут отставать никак нельзя.

[Eddy_Em]

Пока что ИИ очень уж тупой. У меня такие надежды на "дипсик" (не путать с "дикпиком" ☺) были, а оказалось фуфло-фуфлом!
Когда начинаешь ему задавать наводящие вопросы и сводишь к очень узкой теме, он садится в лужу. Я уж его наводил-наводил на редконаходимые мануалы, а он, оказывается, даже об их существовании не знает (не то, что имел бы скачанными).
Я не сомневаюсь, что в конце-концов таки "ИИ" появится. Но для него нужен будет крайне мощный вычислительный кластер и офигенный RAID на SSD с минимум йотабайтом вместимости (если не врут, объем интернета оценивается примерно в сотню зетабайт, следовательно, чтобы хранить ВЕСЬ интернет + хэши понадобится нехило).
И вот, когда он скачает себе весь интернет, прохеширует его и займется анализом, что займет на современных мощностях лет 10, тогда и поговорим…
А от необученного дипсика вообще смысла нет. Тем более, на попсовом сервере за несчастных 5-10 миллионов рублей (а тем паче - на домашнем компьютере).

P.S. Самым полезным для меня до сих пор остается stackoverlow. Никакие "ИИ" ему и в подметки не годятся!

[Rattus]

У меня такие надежды на "дипсик" были..! Я уж его наводил-наводил на редконаходимые мануалы, а он, оказывается, даже об их существовании не знает

А разве в его описании где-то написано, что он является AGI и, тем паче, ASI, которым, в общем такое только и может быть доступно?
Кто-то где-то писал, что нынешние LLM обладают всеведением по всему интернету?