Пределы автоматизации и внедрения роботов

[Olweg]

Гиппокампец-съ. Интересно - инженеры и юзеры подобных передовых ИИ-систем осознают, насколько они идут по уже проторенным природой дорожкам?

А почему именно гиппокамп? Не уловил.

[BlackMokona]

Похоже, китайцев поймали за руку:

Да их постоянно ловят. Тут похоже, что то делать хотят.
Помню недавно смотрел игру Мафия с нейросетями. Там одна Китайская нейросеть стала называть себя Клодом крайне уверенно. Хех

[Polnoch Ксю]

Компания Taalas представила новые чипы, которые создаются под конкретную модель ИИ. Внешняя память не используется вообще, поэтому скорость и энергоэффективность просто умопомрачительные, скачок сразу на порядки величины. Обновление чипов под новые модификации моделей обещают делать за два месяца.

Боже, которого нет, я и забыла уже насколько LLama 3.1 была тупой, лол. Как будто сотни лет прошли

[Eddy_Em]

А яндекс как отчебушил (маленькая заметочка в моем ЖЖ)! "Чисто яндексовская нейросеть" запрещает запрашивать рисунки с российской символикой!

[BlackMokona]

А яндекс как отчебушил (маленькая заметочка в моем ЖЖ)! "Чисто яндексовская нейросеть" запрещает запрашивать рисунки с российской символикой!

Таки цензура, мало ли как оскорбить символику захотите. Проще вообще запретить любое её рисование, обсуждение и тд

[Eddy_Em]

Таки цензура

Ну да, "цензура"... И еноты были нарисованы в фашистской военной форме с звездато-полосатыми флагами на рукаве… И вертолет с винтовкой пиндосские были. А на запрос "енот в российской военной форме с автоматом Калашникова на плече" энтот "ИИ" посылал куда подальше!

[BlackMokona]

Ну да, "цензура"... И еноты были нарисованы в фашистской военной форме с звездато-полосатыми флагами на рукаве… И вертолет с винтовкой пиндосские были. А на запрос "енот в российской военной форме с автоматом Калашникова на плече" энтот "ИИ" посылал куда подальше!

Ну так это всё размешено, а Русская символика под цензурой.
Если что Яндекс полностью под контролем государства, основателя уже ограбили и выгнали.
Поэтому всем рулят чиновники назначенные сверху

[Polnoch Ксю]

Ну да, "цензура"... И еноты были нарисованы в фашистской военной форме с звездато-полосатыми флагами на рукаве… И вертолет с винтовкой пиндосские были. А на запрос "енот в российской военной форме с автоматом Калашникова на плече" энтот "ИИ" посылал куда подальше!

Я думаю это какая-то другая модель, которую даже не дистилировали как дипсик дистиллировали с Claude и ChatGPT, а просто скачали и сделали ей файнтюнинг, чтобы она забыла старое имя, запомнила что она Алиса, и предпочитала говорить по-дефолту на русском, а не например иероглифами или на английском. А в основе там какой-нибудь Qwen. А может что ещё. Ну и в основе генератора картинок - обычный Flux или стейбл диффюжин (которые энтузиасты ставят на свои компьютеры локально).

У меня нет доступа к Алисе, попросите её нарисовать саму себя у школьной доски, пишущей сочинение на тему себя, начинающееся с "Моё имя..." - мне кажется, если там какой-нибудь flux внизу, могли сделать файнтюнинг только LLM, но не дифюжен модельке в конвеере, чтобы дифюжен моделька запомнила, что она Алиса. Правда, так как генератор картинок запускает LLM - она может придумать что писать, так что тест может быть неполный.

Можно попробовать обойти, сказав алисе, чтобы визуальная модель сама придумала текст, который надо писать на доске

[Polnoch Ксю]

ах да, и дежурно напоминаю, что цензура - это понятие гуманитарных, человеческих наук. К LLM (нечеловеческому разуму) оно применимо так же, как химические формулы к ядерным реакциям. Это просто так настроен элаймент. Ну или не перенастроен

(кликните для показа/скрытия)

И еноты были нарисованы в фашистской военной форме с звездато-полосатыми флагами на рукаве…

(забыли профайнтюнить эту часть, например, разрешить рисовать фашистов с белыми повязками и запретить других фашистов, например тех, что вы указали)

[Vitaliy]

https://shedevrum.ai/post/eef87ced475a11eeab9ada17faa977f8/

[BlackMokona]

Бечмарк длительности работы сломался. ИИ обогнали создателей теста, от чего новый Опус 4.6 просто упёрся в лимиты.
https://habr.com/ru/news/1002072/

В январе METR обновил набор задач до версии 1.1: добавил 34% новых тестов и вдвое увеличил число задач длиннее 8 часов. Это сузило доверительные интервалы, но не решило проблему: модели прогрессируют быстрее, чем исследователи успевают создавать новые испытания. Тренд с 2023 года показывает удвоение горизонта каждые ~4 месяца — быстрее первоначальной оценки в 7 месяцев.

Надеюсь этим ребятам подкинут денег на резкое ускорение работы, а то хороший был тест

[Rattus]

Как быстро и безошибочно определить проигрывающего гонку ИИ? По заявлениям о необходимости (меж)госрегулирования этой области.
Оказался наш технофошыст не технофошшыстом верным, а жлобом обыкновенным, лицемерным.

[BlackMokona]

Как быстро и безошибочно определить проигрывающего гонку ИИ? По заявлениям о необходимости (меж)госрегулирования этой области.

Тут скорее попытка уничтожить всех мелких конкурентов. Которые не смогут оплачивать большой штат бюрократов международного класса для сертификаций

[Rattus]

Тут скорее попытка уничтожить всех мелких конкурентов.

А чего ему мелкие, когда он уже как минимум двум крупным проиграть может вполне, а в олигополии, как показывают всякие там VIA, 3dfx и т.п. Рамблеры да Альтависты, места даже для трёх далекооо не всегда находится...

[BlackMokona]

Тут скорее попытка уничтожить всех мелких конкурентов.

А чего ему мелкие, когда он уже как минимум двум крупным проиграть может вполне, а в олигополии, как показывают всякие там VIA, 3dfx и т.п. Рамблеры да Альтависты, места даже для трёх далекооо не всегда находится...

Кого может, того и давит. Крупных же попробуй пробей. У них силенок побольше чем у самого Альтмана

[Rattus]

А почему именно гиппокамп? Не уловил.

Ну просто это то практически единственное место, где в мозгу после рождения в течение всей жизни ещё продолжается нейрогенез. Собственно благодаря этому мы в основном и запоминаем что-то новое. И тут как бы похожий подход видится: "запечённая нейросеть", но для адекватной работы в реальных условиях требуется хоть какая-то "отдушина" пластичности.

[Olweg]

Понятно. Да, в первом приближении похоже. Серьёзное отличие видится в том, что «веса»/синапсы в коре сохраняют пластичность, а вот у чипов веса основной сетки, как пишут, намертво «впечены». Но это проблема больше на будущее, пока в любом случае модели при инференсе уже не меняются.

[Polnoch Ксю]

Кто-то понимает как эта железяка работает? Мне кажется, она не решает проблему малого контекстного окна

Вот  Codex-Spark сверху cerebras - да, офигенно быстро, но контекстное окно 128к токенов Я так и не придумала для чего его юзать, кроме как для замены грепа - погрепай код за меня и найди то-то. Или для массовой замены переменной в коде.

Чтобы реально что-то изменилось, ИМХО, нужно впечатать в железо модель с 1М честным контекстным окном с возможностями хотя бы как у sonnet-4.6 - вот это будет революция в написании кода.

[BlackMokona]

Кто-то понимает как эта железяка работает? Мне кажется, она не решает проблему малого контекстного окна

Вот  Codex-Spark сверху cerebras - да, офигенно быстро, но контекстное окно 128к токенов Я так и не придумала для чего его юзать, кроме как для замены грепа - погрепай код за меня и найди то-то. Или для массовой замены переменной в коде.

Чтобы реально что-то изменилось, ИМХО, нужно впечатать в железо модель с 1М честным контекстным окном с возможностями хотя бы как у sonnet-4.6 - вот это будет революция в написании кода.

Это классический аналоговый компьютер. Подаём ток на входы и получаем токи на выходе сразу же, без всякой  цифровой обработки. Все внутренности нейросети представлены в виде намертво спаянных аналоговых элементов
Контекстное окно в теории можно сделать побольше, воспользовавшись более быстрыми вычислениями. Но там рост экспоненциальный, поэтому даст немного. Для проблемы контекстного окна нужны новые архитектуры, а не более крутое железо

[Olweg]

Чтобы реально что-то изменилось, ИМХО, нужно впечатать в железо модель с 1М честным контекстным окном с возможностями хотя бы как у sonnet-4.6 - вот это будет революция в написании кода.

Так а в чём тут принципиальная невозможность?

Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.