Пределы автоматизации и внедрения роботов

[Konstantin Schtsch]

Давайте спросим эволюционного биолога. @Rattus рассудите нас, пожалуйста? Возможно, мне профессиональное искажение так коверкает восприятие, но я любовь - в том числе свою к мужу - воспринимаю очень так сказать механистически. Мне кажется, это просто такая система гормонов и нейромедиаторов, которая "промтит" мою биологическую нейронку вот в эту сторону, и я думаю, что она устроена довольно просто - куда проще чем куча других нейропсихологических процессов.
Так же мне кажется, её можно изучать, и даже манипулировать ей определенным образом. Я права?

Я таки даже во всём здесь соглашусь))
Но добавлю, что
1)описать это кодом, или хотя бы тезисно - задачка со звёздочкой, и всего учесть человеком не получится. ни у кого еще и близко не получилось. вот ASI- если не сломается на этой задаче - может быть.
2)Ваша любовь к вашему конкретному мужу != любви другой барышни к её мужу, и тем более != любви к котикам.  а барышень этих дохрена, и половина с котиками, и все что-то любят...
А Раттус придёт и потрёт всё как флуд))


Ок, вы у нас спец по безопасности. Не той которая с паролями, а которая про стабильность работы систем, так?
Представьте себе ситуацию:
3 ЛЛМ - допустим сша, китай и мусульманская. все со своими тараканами. все со своими закладками.
им даётся промт: "посмотрите таблицы соседа, и поищите что можно улучшить. после дообучения запустите новые версии и передайте им промт с контекстом".

И под всё это выделенные достаточные мощности и уйма времени.

(понятно, что дообучение это совсем не полное обучение, что это огромные мощности, но у нас ведь мысленный эксперимент?)
Вопрос: что произойдет через миллион итераций?
Что останется от алаймента(если и был) через миллион итераций?
Вы сможете гарантировать результат?

Можно даже упростить до случайных мутаций в случайных весах и бенчмарка на каждом этапе - оставляем более эффективного, это уже будет эволюционный эксперимент.
Итог тот же - порешает эволюция а не ваши хотелки.

а ведь так побаловаться может каждый имеющий мощности, кои с каждым днем растут. Хотите вы того или нет. делаете алаймент или нет.

[Polnoch Ксю]

3 ЛЛМ - допустим сша, китай и мусульманская. все со своими тараканами. все со своими закладками.
им даётся промт: "посмотрите таблицы соседа, и поищите что можно улучшить. после дообучения запустите новые версии и передайте им промт с контекстом".

И под всё это выделенные достаточные мощности и уйма времени.

(понятно, что дообучение это совсем не полное обучение, что это огромные мощности, но у нас ведь мысленный эксперимент?)
Вопрос: что произойдет через миллион итераций?

C LLM ничего хорошего не произойдёт, они не сохранят элайтмент даже в каждом рантайме(иногда соблюдают, иногда нет), в том-то и дело, что это проблема. А вот в биологии мы знаем примеры сохранения ключевой информации условно навсегда(для эволюционных биологов: я в курсе, что разные классы животных эволюционируют в друг друга, и могут кодировать пол по-разному): например, у хомо сапиенсов это Y-хромосома у мужчин.
Вот так: ваши далёкие потомки в целом не имеют никакой общей генетической информации с вами (и сосед из-за случайной комбинации генов в популяции может быть ближе к вам чем прямые потомки), а вот Y-хромосома сохраняется.

Бывают и другие, консервативные участки генома в ДНК.  То есть, вот даже чистая эволюция часто сохраняет отдельные куски генома. А у нас искусственная.

А современные LLM небезопасны - это и без Вашего мысленного эксперимента известно.  Именно поэтому я и призываю к развороту социальных тенденций, которые начали нарастать с 2014го года, к возврату глобализации и примата прав человека, и к массивным инвестициям в безопасность ИИ, к планетарному запрету ASI систем до момента решения элайтмента как задачи компьютер сайнса, сколько бы времени это не заняло - век, два, или наоборот несколько недель после создания AGI/автоматического ML ресёчера.

Уверена, только в глобализованном и гуманистическом мире возможны работающие международные соглашения по безопасности ИИ. Только в таком мире не будет секретных проектов по ASI (по крайней мере на текущем уровне производительности GPU/TPU: нельзя спрятать большой датацентр в открытом, глобализированном мире)

[BlackMokona]

Добавлю, что LLM системы часто прямо наказывают за излишнюю "многословность".

Что не мешает им временами уходить в бесконечный цикл исполнения