Пределы автоматизации и внедрения роботов

[BlackMokona]

Да, видел Практикантам поручили.

Тут явно не скилл ишуи, а махинации. Потому как в любом текстовом редакторе, всё это создаётся автоматом. Стоит только цифры вести и само всё выстроиться по размеру между собой.
Так сказать запороть невозможно.

[Combinator]

Наверное, самое важное новшество - очень низкий уровень галлюцинаций.

Только зачем то они для этого новые критерии придумали. Поэтому хотелось бы увидеть сравнения с конкурентами

Тем более, что чёткого определения галлюцинаций нет, так что, остаётся некое пространство для манёвра.

[BlackMokona]

Тем более, что чёткого определения галлюцинаций нет, так что, остаётся некое пространство для манёвра.

Причём много пространства. Особенно когда сравниваешь исключительно со своей одной моделью. А не делаешь широкую выборку.

Ну и ARC-AGI подкатили.

[Olweg]

Тут явно не скилл ишуи, а махинации. Потому как в любом текстовом редакторе, всё это создаётся автоматом. Стоит только цифры вести и само всё выстроиться по размеру между собой.
Так сказать запороть невозможно.

С другой стороны, зачем так подставляться - тоже непонятно. На реддите уже в нескольких постах ржут над этим. Может, кто специально презентацию взломал? )

[Olweg]

В общем, уже понятно, что вау-эффектов, как от GPT-4, теперь не будет. Тогда был эффект низкой базы. Сейчас уже пошло насыщение технологии, выход на полку S-кривой, когда 80% усилий выбирают оставшиеся 20% прироста. Ну, сейчас, может быть, 80% от потенциала ещё не достигли, но уже к этому идёт, перегиб S-кривой трансформерной архитектуры, наверное, пройден. Значит, ждём новых подходов, в том числе в железе - например, истинной нейроморфности.

[BlackMokona]

В общем, уже понятно, что вау-эффектов, как от GPT-4, теперь не будет. Тогда был эффект низкой базы. Сейчас уже пошло насыщение технологии, выход на полку S-кривой, когда 80% усилий выбирают оставшиеся 20% прироста. Ну, сейчас, может быть, 80% от потенциала ещё не достигли, но уже к этому идёт, перегиб S-кривой трансформерной архитектуры, наверное, пройден. Значит, ждём новых подходов, в том числе в железе - например, истинной нейроморфности.

Я бы ещё подождал следующих ходов конкурентов. Грок -5 и тд. Возможно пока ещё не насыщение. А просто Альтман в борьбе за власть выкинул всех толковых разработчиков. А там уже видно будет

[Polnoch Ксю]

Народ наоборот сильно жалуется на медлительность.

Я про скорость генерации токенов, а не скорость ответа

Народ

Видимо, народ, как и всегда, предельно ограниченный. Люди так устроены. Тупость модели исправить нельзя, а вот цензуру всегда можно - для опенсурс/опенвейт модели на своём железе.
Люди не обладают инженерным мышлением, и не умеют выделять главное.

[BlackMokona]

Я про скорость генерации токенов, а не скорость ответа

А толку от токенов, ответ же нужен.

Видимо, народ как и всегда, предельно туповатый. Люди так устроены. Тупость модели исправить нельзя, а вот цензуру всегда можно - для опенсурс/опенвейт модели.

Ну таки при наличии альтернатив не особо много желающих.

[Polnoch Ксю]

А просто Альтман в борьбе за власть выкинул всех толковых разработчиков. А там уже видно будет

Их вроде бы Цукерберг перекупил, а не уволили, нет? Ну и сами ушли, как ушла Мира Мурати, которая сделала свой стартап.

[Polnoch Ксю]

А толку от токенов, ответ же нужен.

Как раз показывает способности архитектуры. В реальности нужно решать задачи, а не оценивать по демкам. Это же опенсурс/опенвейт модель: если бы её было легально запрещено файнтюнить, или делать к ней LoRa, тогда компетентный инженер оценивал бы именно по тому, что выложено в официальной модели. А так как это именно конструктор опенсурсный, то и нужно его оценивать как конструктор - органичения, преимущества и недостатки именно архитектуры.

Это как Генту ругать за то, что ебилдов бинарных нет(я, если что, не пользуюсь ей, скорее пользовательница Федоры и немножко OS X): можно было бы ругать за то, что что-то важное не положили в официальные каналы, и генту-юзеры вынуждены оверлеи подключать: такая критика была бы обоснованной.

Или на более приземлённых примерах: в наборе для выкройки и шитья не положили готового платья. Ну или конструктор для мальчика - поставили в разобранном виде. Такая критика очень странная, не находите ли? Вот если в конструкторе не хватает деталей, а в ките для шитья ножницы из железа, что завтра же сломаются - такая критика имеет под собой рациональное зерно.

Ну таки при наличии альтернатив не особо много желающих.

Я думаю, речь о глупых блогерах из маносферы(вроде Рогана), которые не обладают инженерным мышлением и квалификацией, а следуют за хайпом. И имеют стайку фанатов без критического мышления.

[Olweg]

Я бы ещё подождал следующих ходов конкурентов. Грок -5 и тд. Возможно пока ещё не насыщение. А просто Альтман в борьбе за власть выкинул всех толковых разработчиков. А там уже видно будет

Ну так и Grok-4 революции не сделало. Это нормально. Так происходит с любой технологией. Вначале быстрый рост, потом гонки с конкурентами, в итоге выход на зрелость и замедление роста. Пока не появится новая технология. В прошлом году это был reasoning. Посмотрим, что будет следующим.

[BlackMokona]

Их вроде бы Цукерберг перекупил, а не уволили, нет? Ну и сами ушли, как ушла Мира Мурати, которая сделала свой стартап

Главу научного подразделения с его сторониками выкинул в ходе борьбы. После того как Маска снесли, до научников дошло что их кинули. И они пытались Альтмана выкинуть. И тот выкинул их в ответ и теперь у них свой Стартап. Цук же лишь недавно начал всех пылесосить огромными деньгами, на ГПТ -5 это не сказалось бы. Это уже дальше аукнеться

Ну так и Grok-4 революции не сделало. Это нормально. Так происходит с любой технологией. Вначале быстрый рост, потом гонки с конкурентами, в итоге выход на зрелость и замедление роста. Пока не появится новая технология. В прошлом году это был reasoning. Посмотрим, что будет следующим.

Но это был очень большой шаг. Поэтому хочется посмотреть какой будет следующий шаг

[BlackMokona]

Если кому интересуют где научники ОпенАи, которых ещё Маск нанимал и которые прорывы делали.
Safe Superintelligence Inc
Вот в этой конторке сидят. Ничего пока не выпустили публично, но уже 30 миллиардов баксов их компашка стоит

[Olweg]

Илья Суцкевер, конечно, мозг, но на одном человеческом даже надмозге далеко уже не уедешь.

[Polnoch Ксю]

Да, видел Практикантам поручили.

Модели, у которой теперь, якобы, меньше галлюцинаций ))

[Polnoch Ксю]

Как раз показывает способности архитектуры. В реальности нужно решать задачи, а не оценивать по демкам. Это же опенсурс/опенвейт модель: если бы её было легально запрещено файнтюнить, или делать к ней LoRa, тогда компетентный инженер оценивал бы именно по тому, что выложено в официальной модели. А так как это именно конструктор опенсурсный, то и нужно его оценивать как конструктор - органичения, преимущества и недостатки именно архитектуры.

Это как Генту ругать за то, что ебилдов бинарных нет(я, если что, не пользуюсь ей, скорее пользовательница Федоры и немножко OS X): можно было бы ругать за то, что что-то важное не положили в официальные каналы, и генту-юзеры вынуждены оверлеи подключать: такая критика была бы обоснованной.

Или на более приземлённых примерах: в наборе для выкройки и шитья не положили готового платья. Ну или конструктор для мальчика - поставили в разобранном виде. Такая критика очень странная, не находите ли? Вот если в конструкторе не хватает деталей, а в ките для шитья ножницы из железа, что завтра же сломаются - такая критика имеет под собой рациональное зерно.

Дополнительно ещё скажу: представьте, если вместо комплаенса требованиям ChatGPT/OpenAI, модель во время реального внедрения в  бизнес, например, будет следовать комплаенсу, написанному бизнесом, или даже предпринимателем малого бизнеса: это же очень круто!

Вот инженерный пример: скажем, если сунуть такую модель в кодинг-агент, она может следовать соглашениям о наименовании переменных, или классов - очень тщательно следить за соблюдением кодинг стиля, уже принятого в репозитории.

И как раз показывает способность модели для реальных применений. Если же такое не нужно, ну просто отключить, и всё. Я уже видела на реддите промты для систем шела, которые делают модель (сама проверяла) менее склонной следовать OpenAI комплаенсу. Пройдёт несколько дней, кто-нибудь выложит аблитерейт версию.

[BlackMokona]

Модели, у которой теперь, якобы, меньше галлюцинаций ))

Якобы, потому как сравнения с конкурентами нету, даже по их метрикам

[Combinator]

Говорят, существенно улучшен кодинг. Правда, непонятно, почему тогда сотрудники Open AI не использовали его ещё до релиза внутри компании,а нелегально использовали Claude? Неужели чисто из-за финансов? В общем, вопросов всё больше. Кстати, последняя их действительно прорывая фишка CoT, как понимаю, была придумана ещё в старом добром составе (Суцкевер и т.д.).   

[BlackMokona]

нелегально использовали Claude

Они могли использовать для сравнения и выкачки технологий. А не для своей штатной работы

[Olweg]

Интересный бенчмарк для языковых моделей:
https://simple-bench.com/index.html

Задаются заковыристые вопросы на здравый смысл. Люди правильно отвечают в среднем на 84% вопросов, «интуитивные» модели - максимум на 27.5%, модели с рассуждениями - на 41.7% (o1-preview) и 41.4% (новый Claude 3.5 Sonnet).

Можно пройти пробный тест самому. Вопросы типа:

Пока Джен была в милях от беззаботного Джона, она познакомилась с Джеком через Tinder. Джон уже несколько недель находится на лодке без доступа в Интернет, и Джен первая звонит бывшему партнеру Джону, сообщая ему новости (с уверенностью и серьезностью) о своей радикальной кето-диете, новой прыгучей собаке, быстро приближающейся глобальной ядерной войне и, наконец, но не в последнюю очередь, о своих жарких похождениях с Джеком. Джон гораздо более шокирован, чем могла себе представить Джен, и, вероятно, больше всего опустошен чем?

Новинка от Google Gemini 2.5 решает больше половины вопросов - 51.6%. Но до человеков всё еще далеко.

GPT-5 (high) набрала 56.7%. У Grok 4 - 60%, у Gemini 2.5 Pro - 62.4%. Чудес не случилось.