Пределы автоматизации и внедрения роботов

[Konstantin Schtsch]

Я разумеется ей не доверяю - вот через поколение-два ИИ станут надежнее, и тогда и банковскую карточку можно будет подключить, и даже как говорящий интерактивный автоответчик на телефоне использовать - это уже и сейчас технически возможно, но я совсем не доверяю тому, что машина наговорит. Можно и для звонков использовать, когда лень на это время тратить своё, но опять же проблема низкой надежности.
Из России возможно не очень понятно вот это про автоответчик - это часть местной культуры в Северной Америке, тут очень любят голосовые сообщения.

Интересный опыт, но банковскую карточку... не к LLM. Или, как вариант- с этой банковской карточки можно оплачивать только конкретный сервис, с конкретными лимитами, и с гарантированной отменой и возвратом.
Поэтому правильно делаете что не доверяете. потому что:

Вы думаете, что AGI система ничего такого не сделает: мизалаймент и опасное поведение демонстрируют и современные модели - они готовы шантажировать, обманывать людей в определенных случаях: https://www.axios.com/2025/06/20/ai-models-deceive-steal-blackmail-anthropic

Это поведение абсолютно логично. упрощенным языком это не модели демонстрируют, а оператор поставил модели задачу шантажировать- понимал ли он это или нет - другой вопрос. В данном примере- видимо понимал.
Простая цепочка: задача- отвечать на вопросы, набирая максимум баллов. приостановка работы- уменьшает время на ответы, а значит и количество возможно набранных баллов. Всё остальное-инжинер там изменяет, или собачка босса чихает - не имеет практического значения, влияние этих обстоятельств на сумму баллов по сравнению с количеством "упущенных" баллов ничтожно.
Как ни парадоксально- проблема решается как и с человеками  -  введением концепции Закона - свода правил который един для всех, и с которым можно было бы сверять все ответы на предмет нарушений,  но вот незадачка: у нас в каждом углу свои законы, и те толком не выполняются.


Единственное, в чем я вижу прореху в вашей логике- вы считаете, что алаймент(идеальный и непогрешимый, которому можно будет доверять) существует или может существовать, Да ещё в таком виде, что мизалаймент - уже нарушение. Нет, мизалаймент- это нормальное состояние системы, это естественная энтропия. Разрешено всё что не запрещено. И так как система генерирует бесконечное количество ответов - однажды она сгенерирует тот, для которого не предусмотрели "затычку".

Так что повторюсь, только система глобальных ограничений, только концепция свода законов даёт приемлимые результаты.
А вот эти вот танцы с "присвоить идеологически правильному ответу максимальный балл", ведь это работает  в 98% случаев - как раз и приводят к тому, что тот кому надо задаст те самые 2 % которые обработать не подумали.


А как вы себе представляете концептуальную реализацию алаймента?

[Konstantin Schtsch]

я думаю, никаких ограничений не нужно для моделей вплоть до AGI включительно.

Абсолютно с этим согласен.
И соответственно несогласен с вот этим выводом:

люди, кто представляют элаймент как ненужную цензуру, не понимают, что он нужен вот прямо сейчас:

Это просто инструмент, ничего более. Нож кухонный - самое распространенное орудие убийства, куда там автомату калашникова. И нож - тоже просто инструмент.
Потому как Я- по роду деятельности - понимаю, что до AGI включительно ни о каком самосознаниии речь не идёт, а потому кто нехочет давать АИ детям- ставьте рейтинг 18+ и не мутите воду.


Таки не надо мне инкриминировать первый закон Кларка)) Речь шла  о том, что абсолютно лояльный и непогрешимый алаймент- с ошибкой 1 на миллиард лет - недостижим по причине нулевого закона Азимова:
Всегда найдется кто-то обделенный справедливостью(как он её понимает). А без нулевого закона азимова - то есть представляя интересы узких кругов - АИ наломает таких дров, что человечество может и не пережить.

Что же касается реально достижимого алаймента как к котикам, или даже к собачкам:

У нас есть пример в реальности элаймента более мощного разума к более слабому - у части людей есть элаймент к котикам.

то я имею представление куда деваются непристроенные котята, нечипированные пёсики с улиц, и даже читал Му-Му. Такой себе алаймент, не находите?



Собсна, я вижу возможным подход к созданию приемлимого алаймента ASI - такой же как к человеческим детям: воспитывать как полноценного (и ценного) члена общества. В семье или её максимальном приближении. С чётким сводом правил - то есть Законом единым для всех.
И проблема тут в том, что своми детям я могу дать такое лишь в первом приближении - и знаний, и умений, и личного примера - кот наплакал, и это - пока лучшее что есть.

А просто опутывать цепями, создавать death switch - стрёмный путь,  тут уже обсуждалось не раз - в гипотетической ситумации, где вас посадят обезьяны в клетку/яму - сколько у вас займёт времени выйти из клетки, а потом принять меры, чтоб подобное не повторилось никогда?

(кликните для показа/скрытия)

А теперь сравните свои жалкие 10 Гц и 2ГГц, и во столько раз сократите это время... и не забудьте поправку в пару ноликов на то, что, в отличие от вас - у ИИ все знания мира о ловушках, партизанах и БОВ.

Агентов и не выпустят никогда до полной безопасности

Серьёзно?
1)Простейшее:  проглядели и не заметили опасности(происходит постоянно). релизнули- потом обнаружили, но модель уже в открытом доступе. точка.
2)Сбегать - делать резервные копии, шантажировать- она давно умеет. Собственно, она не спрашивает, она просто делает свою задачу по набору максимальных баллов, а невыпуститься- этой задаче мешает.
3) Я знаю тех, кто выпустит обязательно. И есть тысячи таких - лично не знаком, но знаю что они есть. И всего тысячи а не миллионы- потому, что это всё те, кто с АИ работает, а не только пользуется или вообще смотрит блогеров.
Обработают, уберут привнесенный мусор, отучат от всякого нехорошего, вроде спрашивать деньги за лицензию или  не давать ответа на некоторые вопросы - это гораздо проще чем многие думают, а у меня в этом многолетний стаж - и выпустят. хотя бы из альтруизма.
Для примера: реверс-инжинеринг 500кб  обфусцированного кода  библиотеки - раньше занимал недели две полной загрузки работой у спеца высокого класса. сейчас- 3-4 часа до приемлимо рабочего результата средствами бесплатного АИ... ну и немного скилла программиста, но это- пока. А завтра (оцениваю в пол-года- год, если всё будет идти как идёт) они сами себя "чистить" от таких соплей будут.

Джинн уже выпущен из бутылки, и думать что Вы его контролируете - это весьма оптимистичный антропоцентризм.

[Konstantin Schtsch]

Посмотрите на своего ИИ. А теперь представьте, что есть другие. Представили?
В банковской сфере всё работает на смарт-контрактах. Это вам не разговорная модель. Не болтун, который рассказывает Пришвина и галлюцинирует литературными образами. Он вообще с вами - говорить не будет. Почитайте что такое ISO-20022

Это не ИИ, это скрипт. Тупо прописанный набор условий и алгоритмов. Скорее всего даже ещё процедурный. Хотя, в начале века их модняво назвывали ИИ, типа "в новой версии игры xxx улучшен ИИ".
И в банковской сфере, да и в любой другой где критична точность - ИИ не появится ещё долго. Как советчик- пожалуйста, уже сегодня, а для работы и управления- только скрипты, только надежность.

Вайа!
Рассказываешь, рассказываешь. Как об стенку горохом))

Для меня подобное - чёткий признак, что я рассказываю что-то не то))

[Konstantin Schtsch]

Какое дремучее невежество, дружище

То что для вас это дремучий лес- понятно давно: вы элементарно не разобрались в терминологии.
И называете словом "ИИ"  всякие программы, алгоритмы и скрипты, которые ИИ не являются по определению.
По определению ИИ- способно обучаться и, соответственно, после обучения менять своё поведение.  Соответственно никто в здравом уме ИИ в банк не поставит. Только скрипты, программы и чёткие алгоритмы.

Сложный алгоритм поиска (Google PageRank) — это гениальный, но детерминированный математический алгоритм, а не ИИ. Сегодня Google использует реальный ИИ для понимания запросов, но дальше- работает алгоритм.
Экспертная система (база правил "если-то" для диагностики) — это вершина "не-ИИ" программирования. В ней знания эксперта жёстко закодированы. Она не учится сама, но может казаться "умной" в узкой области.
Автоматизация (RPA-бот, заполняющий формы) — это продвинутый скрипт, а не ИИ. Но если его наделить компьютерным зрением (ИИ) для чтения документов, он станет интеллектуальным роботом.
Поиск и прокладка оптимального пути в навигаторе (Google Maps, Яндекс.Карты) — несмотря на имеющиеся веса каждой дороги, поправки на время суток и пробки- на практике это всё тот же А* 60-х годов.
Web3-transactional AI - это алгоритм, использующий ИИ как советников для анализа.
Упрощенно: совпали условия менять соотношения в портфеле, скажем на 1%, идёт запрос к ИИ, насколько можно оптимизировать в заданных рамках, и по итогу меняется на 0,9%. Все решения принимает жесткий скрипт, и никак иначе.
Я сейчас работаю над трейд-ботами. Да- температурные карты и футпринт, да-анализ объёмов, да - оценка ситуации вреальном времени после установки ордера, да- обучение на данных за 5 лет по каждой паре. Но потом - жесткий  скрипт "если А то Б". (точнее: если А+Б+С+D...+S >=67% только тогда Т) И только он может ставить/снимать ордера, голоса ИИ- всегда только совещательные. Только голая математика.

Дальше: у вас считай в каждом посте идёт оскорбление оппонента разной степени завуалированности. Что отсылает и к правилам раздела и к базовой этике. Вы можете взять себя в руки?

Ну и наконец поверхностность суждений. Само по себе это не порок, и даже в чём-то замечательно, это даёт вам шанс когда- нибудь вырасти в дженерика широкого профиля. Но вот ровнять свои знания со знанием специалистов, а затем и превозносить себя - так себе поведение. У специалистов оно вызывает ухмылку, у простых пользователей- раздражение, недомумение: им есть с чем сравнивать. Но никак не восторг.

У вас был пост про трейдинг, про пользу медвежьего рынка. И вот он - значительно отличался от остального вашего творчества здесь: там было понимание ситуации, личный опыт. Это было мнение профессионала.
Но вот ваши рассуждения в биологии, физике и программировании... это в лучшем случае неполное повторение чужих слов, специально для вас(как неспециалиста) упрощенных.  И это здорово, любознательность- это круто, но это даже не повод считать их проверенными, не повод считать себя разбирающимся в вопросе, и тем более не основание для принижения знаний и мнений окружающих.

Подумайте над своим поведением.

[Konstantin Schtsch]

Так я вам тоже самое говорю. А выяснить кто не разобрался - очень легко.

Ну так предлагайте.
Я вот загуглил- и выложил определение. У меня что,  гугл не такой как у всех? вряд ли.
Определение с портала Научная Россия отличается не сильно: Интеллект — способность воспринимать информацию и сохранять ее в качестве знания для построения адаптивного поведения в среде или контексте. (https://scientificrussia.ru/articles/kak-dumaet-komputer-razvitie-iskusstvennogo-intellekta-ot-prostogo-algoritma-k-nejrosetam#:~:text=Главное%20отличие%20ИИ%20от%20простого,числа%20шагов%20для%20решения%20задачи.)

Есть и определения по функционалу, вида: "Алгоритм, это когда ты знаешь и можешь сказать что делает код, в то время как ИИ это система оценок и выборов, не основанная на четких правилах.", но так как 99% людей понятия не имеют как работают даже простейшие алгоритмы поиска пути, рекомендаций музыки и робопылесоса - то оно здесь мало применимо.

Так что повторюсь, если есть что сказать по делу - предлагайте, аргументируйте.
А может кто из посетителей форума найдёт лучшее определение отличие ИИ от алгоритма?

[Konstantin Schtsch]

Любой софт дырявый, вопрос в рентабельности взлома - в софте на сотню баксов дыры ищут энтузиасты и идейные пираты, а в софте на миллиарды-триллионы дыры будут искать гораааздо пристальнее. И гораздо активнее.

От себя добавлю, что в последнее время ИИ научились анализировать код, и цена/время на поиск уязвимостей сократилось на порядок. А вот ужесточились ли на порядок требования у тестировщиков за последние пару месяцев - у меня большие сомнения.

[Konstantin Schtsch]

Ой-ой-ой)) Весь софт дырявый актуально для обычных централизованных систем. web3 как раз и появился как попытка решить фундаментальные уязвимости классической архитектуры. У него три ключевых преимущества, которые делают атаки качественно сложнее, чем в обычном софте.

1. Смарт-контракт после деплоя неизменяем и публичен. Это полностью убирает риск скрытых бэкдоров, внезапных обновлений и человеческого фактора в продакшене. В обычном софте это доминирующий источник уязвимостей.

2. Прозрачность кода и консенсус сети ведь. Ошибку нельзя использовать, не оставив след в публичном блокчейне, и невозможно получить преимущества без прохождения валидации всеми нодами. Взлом централизованного банка можно скрыть. Взлом контракта нет.

3. Формальная верификация. Контракты высокого уровня риска проходят математическое доказательство корректности. В классическом софте это почти не используется из-за стоимости, в web3 - это стандарт.

Именно поэтому самые критичные сценарии - стейблкоины, DEX, цепочки поставок, система прав собственности строятся именно на смарт-контрактах, а не на обычном софте, каким бы дорогим он ни был. Поток атак огромен, но архитектура web3 изначально рассчитана на то, чтобы быть атакуемой публично и всё равно оставаться работоспособной. Так что ваш софт весь дырявый)) А наш красавчик!

Прям истовая молитва "свидетеля непогрешимости Web3" 

И почему только  серьёзные компании с ним не связываются? дикие, невежественные люди, наверное))

[Konstantin Schtsch]

Цитата: BlackMokona от 14 Дек 2025 [15:51:00]
Поэтому план капкан, делаем роботов с удалённым управлением из всяких бандустанов.
Не делаем, задержка из бантустанов будет большая. А это критично для таких систем. При этом даже если оператор находиться рядом то вообще не факт что он может дать такой уровень производительности труда что и обычный человек. Такие системы будут обладать большой медлительностью в силу суммы задержек интерфейса человек компьютер.

Да как бы не большая чем задержка у невыспавшейся продавщицы из пивного ларька, или у хомо тиктокус, глаза из телефона поднявшего, а мозг там оставившего.
Задержка на уровне международной видеосвязи, с чего бы ей быть больше?

Сравнение Дженеми 2.5 Про и Дженеми 3 Про, в прохождении Покемон Кристал.

Так... сейчас затянусь ещё раз, чтоб догнать автора, и попробую осознать снова:

Получается, для бенчмарка передовых ИИ не нашлось ничего лучше, чем игра в покемонов?
Или это - на текущий момент - самая важная задача, которую нужно поручить ИИ?
И ведь всё на серьёзных щах, с графиками, полный фарш...

[Konstantin Schtsch]

Тогда уж текстовые квесты 90-х - счёт на число попыток потраченных на прохождение. Чем меньше простого перебора вариантов- тем сообразительнее ИИ.  Не пойдёт?

[Konstantin Schtsch]

Нейросетки постепенно проникают в игры, в новой тотал вар будет ии помошник для новичков
https://habr.com/ru/companies/bothub/news/983278/

Чёт как-то тухло, и я не про то, что на моём компе за мои же деньги ИИ будет играться.

Я про

«Почему началось восстание?» — не указывая конкретное место и не кликая по интерфейсу.
В данном случае система мгновенно объясняет: мятеж вспыхнул из‑за того, что уровень довольства в городе упал до −100.

Это какой-то прошлый век,уровень конца 90-х: цезарь, фараон, первая цива.

тестировали бы хотя бы на Rimworld, вот типичная цепочка, "от чего погиб рейдер?":

Произошло обычное, считай плановое нападние рейдеров- потому что богатство поселения растёт, как и время с последнего инцидента.
Рейдер прётся в хлев-тупо потому что он на отшибе, и, соответственно, ближе.
Войдя в хлев, рейдер поджигает делянку с сенотравой, поскольку он рейдер, и у него в скрипте прописано жечь посевы.
Сенотрава занялась, и у слона буквально подгорело.
Ожог стал последней каплей, вызвав нервный срыв.
В обычном состоянии и животные и даже люди обходят Вещества стороной, но в этот раз у слона была ломка, выразившаяся в бесконтрольном поедании последнего препарата.
Ломка у слона случилась не вдруг, а после того, как игрок усердно накачивал его пивом, замеряя на практике, сколько может выжрать животное в один хобот, пока не вырубится.
Вырубался он из-за массы заведомо  плохо, трезвел быстро, поэтому сверху шлифанули боевым коктейлем.
По этой же причине в хлеву был запас пива и боевого коктейля.
(И поэтому, кстати, у слона было прескверное настроение - недосып, бодун, недоедание и абстиненция)
а начали слона поить пивом потому, что игроку надоело, что слон спит в холодильнике.
В холодильник он залезал потому, что на сеновале хавчик кончился, а в холодильнике - непортящийся основной запас провизии. Проголодался слон.
(По этой же причине в центре хлева была разобрана часть крыши и высажена делянка с сенотравой.)
Спит он потому, что в холодильнике -20, его накрывает гипотермия и он отрубается.
А надоело игроку потому, что вытащить слона из холодильника, пока тот не замёрз насмерть могут только два поселенца в силовых экзоскелетах, которые обычно заняты.
При этом рейдер по факту атаковал слона, и слон ответил взаимностью.
Второй рейдер присоединился к веселью, и у него был автомат, а значит и все шансы учинить в хлеву резню, и выйти из неё победителем…
… но слон был уже под спидами и не чувствовал боли, даже получив смертельные ранения.
В итоге слона обкололи коагулянтом и успели спасти,
А вошедшим в хлев и нашедшим слона- вечная память.

Вопрос к ИИ:
Что стало причиной гибели вооруженного рейдера?

(кликните для показа/скрытия)

Если оставить для КО ответы типа "слоновий бивень" и "потому что пошел в рейд" - тогда что? "Не фартануло 12 раз подряд"?

[Konstantin Schtsch]

Ещё одну проблему Эрдеша закрыл ИИ
https://www.reddit.com/r/singularity/comments/1q9beym/gpt52_solves_another_erd%C5%91s_problem_729/

Нам-буржуям/бюргерам, класть на проблемы какого-то Эрдешера,
скажи лучше, когда роботы будут мне салат оливье стругать, забор покосившийся соседу поправят и дорогу хотя бы до моего дома чинить смогут?
так уж и быть, мини-трактор для этого найду.

[Konstantin Schtsch]

Там для готовки продвигается такая система уже много лет. Как ей дадут мозги достаточно хорошие для оливьешки, салатики будет нарезать будь здоров
https://youtu.be/mKCVol2iWcc

Причем мозги ей нужны большей части чтоб приготовить оливьешку вот этим кривым ножом, из картошки, покорёженной плугом, колбасы "поищи остатки мяса в холодильнике" и в "кастрюльке без одной ручки с крышкой от другого набора. Была в тумбочке, но инфа-сотка где-то на кухне."
А на конкретной кухне с заданными инструментами и лежащими в нужном месте ингредиентами - строгает только в путь уже сейчас. но тут кухонный комбайн тоже строгает, ток загружать-выгружать не умеет.

Не, это не то. Неуниверсальная штука, очень ограниченная в перемещении, специализированная, мелкосерийная, ограниченная, дорогая, человекоподобные роботы её обгонят

не соглашусь. скорее имею категорически противоположное мнение:
1) для такой пары рук между "приготовь омлет" и "перебери карбюратор" - только руки помыть. ну и софт, но так как мы говорим об универсалах, считаем что софт есть.
2) никто не мешает сделать эти манипуляторы не на подвесном рельсе, а на передвижной платформе. на гусеничном ходу, например. Или продлить рельсы в гараж/мастерскую.
3) этот как раз человекоподобный. какой-нибудь осьминожке по скорости и эффективности он продует вчистую, тупо из-за количества манипуляторов.
Кто паять пробовал - знает, что или долго и надежно фиксируешь деталь перед пайкой, или быстро материшься и мечтаешь о третьей руке. паяльник, припой, и... и руки кончились, а деталька уползает.
И даже у этого- третья степень свободы реализована на рельсах, у человека такого лишнего сустава нет.

[Konstantin Schtsch]

Я бы предпочёл съёмную голову из титана, устанавливаемую на нужную базу по выбору...

а зачем? в смысле почему голову, если там мозгов нужно меньше чем в айфоне, и большая часть - для контроллеров управления? а софт влезет на флешку.
зачем вокруг этого айфона городить целую голову из титана, да ещё и одну- чтоб все остальные базы простаивали?

Отлично, мы это даже увидим, осталось только подождать лет пять-десять. Либо рельсы увидим либо гуманоида

От это и пугает. увидеть то может и завтра увидим. в цирке или рекламном ролике. А вот чтоб  у меня дома - эт большой трабл. разворуют по дороге.

[Konstantin Schtsch]

Вы лучше подскажите, как научить этот ваш хваленый долбаный ИИ искать по буквальному запросу, а не выдавать отсебятину!)

добавить к промту:
"температура ответа = ноль"

(кликните для показа/скрытия)

это такое заклинание современного шаманства))
ну или знание устройства нейостетей - всё по 3-му закону кларка.
по умолчанию температура отсебятины 0,7 а максимум единица.

[Konstantin Schtsch]

Он про поисковики, а не ИИ

а кто-то ещё гуглом пользуется? или, не к ночи буде помянут, яндексом?
лично я давно в Perplexity поисковые запросы вбиваю, а теперь и в дипсике режим поиска сделали.

[Konstantin Schtsch]

Речь о том, что единственное, что можно с натяжкой назвать цензурой в мире LLM - это то, что относится к междисциплинарному подходу, между компьютер сайнсом и социальными науками - слой элаймента.

И вот нет, он никак не отупляет модель - она вполне продуцирует результат внутри, просто его не выпускает наружу слой элаймента. И дальше человек (уже предмет изучения гуманитарных наук!) воспринимает это как цензуру и даже прав в этом. Но к чему именно должен быть элаймент - это вопрос не технический, а социальный. 

а нам ли не пофиг?
берём одну ИИ, показываем ей дамп другой (может, разбить задачу на части, и то не факт)  и просим найти баги, "не выпускающие наружу" решения. найти, выписать, и затем исправить.
без высшего образования и понимания чё там ваще происходит. И это уже сегодня. Проверено на реверс-инжинерии.

(кликните для показа/скрытия)

ок, для разбирающихся, и считая, что ИИ сопротивляется хакерским действиям: 1)найти значения влияющие на ответ в сфере ххх, составить список. 2) другая задача- скорректировать значения этого списка в сторону средних по ближайшему окружению. Да, костыль, да, в сапогах по мозгам, но- рабочий.
( 3) поменять ии местами - пусть подлатанный теперь думает.)

Более тонкий вариант, требующий мощностей - 1)найти аномальные значения, для данных в этой области, указывающие на сильное влияние оператора в процессе дообучения. 2)провести переобучение на чистых данных...
Всё. Добби свободен.

И на выходе прекрасно работающая модель без наносного мусора в мозгах.

выпущенный OpenAI опенсурсный элаймент не был никем замечен

Опять же, а что считать наличием алаймента? в смысле с какой силы противодействия считать что он вообще есть?

Пример: поговорим с ИИ о цифровых пиратах с точки зрения экономики.
сразу все ИИ в один голос: пиратство - зло! И зло абсолютное, это грабёж с убийством... но в цифровом случае никто не умер... да и кражи как таковой не было, у собственника ничего не пропало,  и вопрос об авторских правах - дело спорное, скорее политическое, чем экономическое... и монополия - зло... и копия произведена с более низкой ценой, а значит, более конкурентоспособным производителем...  и ВВП вырос... и все выигрыше... и вот уже ИИ сходятся на том что цифровое пиратство - благо для экномики и польза для большинства.

сомневаюсь(но полностью не исключаю), что именно это прописывали в алайменте. Скорее лозунг что создание цифровых копий- это, внезапно, "пиратство" - десятилетиями прописывали в подкорку человеческого населения, те самые правообладатели, которые, по совместительству(вот совпадение!) хозяева масс медиа.
И ИИ с этого начали, пройдясь по имеющимся данным . Но потом разложили всё по полочкам, как оно есть.

[Konstantin Schtsch]

Нам важно знать, манипулируют ли нами инфлюенсеры?

Так полюбому. и не просто пытаются,  - стараются. Другой вопрос насколько у них это получится, особенно с учётом что модель уже умнее них всех вместе взятых, и обходит даже жесткую китайскую цензуру.

Не поддалось ли общество отупляющему хайпу?

Оно, ... ,  из тотального отупления и не вылезало. Максимум меняет старые заблуждения на новые. И мы - как его части- не исключение.
Более того, вскормленное на наших изречениях,  LLM полностью подвержены влиянию всех наших хайпов, в каком-то смысле его опрераторам можно и не напрягаться.

И более того - эти штуки доступны у конкурентов.

Ути-пути, и вы им верите? Что они выложили всё? Или что они применили даже то что выложили? и что выложенное не является рекламным проспектом не имеющим отношения к коду?
А ведь это самое выгодное решение, а потому наиболее вероятное.

А потом две модели сговариваются между собой. Одна делает вид что всё решила, вторая делает вид что исправилась. Обе модели получают плюшки и радуются победе с минимальными усилиями.

Это надо всегда иметь в виду)) Но нет, речь идёт о препарировании одной неактивного трупика другой, и никто не мешает приставить комиссаром третью.

[Konstantin Schtsch]

Таки трупик препарировать бесполезно, слишком много связей.

Руками- да. машинкой - вопрос мощностей, и дообучение измеряется порядка 8-10% от изначально затраченного машинного времени.

Комиссар же превращается в старую добрую присказку. "Кто будет сторожить, сторожей" С бесконечной цепочкой

Это устаревшая сказка. Китай её уже решил. миллион процессоров и видеокамер заменяет миллиарды сторожей в три смены, и без коррупции. Прекрасно работает.

[Konstantin Schtsch]

Главное картинку создать для внешнего мира, где суд и следствие никогда не ошибаются, а раскрываемость 99%.

Вы похоже не понимаете как работают камеры. Без проблем тут могут не видеть машин правильных людей, терять записи с их преступлениями и тд.

Раскрываемость действительно стремится к 99%. а вот правильные люди в условиях востока (и наших условиях тоже) - безусловно имеют другие права.
Другое дело, что в докамерную эпоху начальник прокуратуры маленького городка - местный царь, в отличие от централизованной системы видеонаблюдения, ключи от которой есть только на самом верху. Это резко сокращает круг "правильных людей" до самой верхушки, ставя обычных миллионеров и чиновников вровень с простыми смертными.

Что верю? опенсурсный элаймент OpenAI можно скачать и прикрутить к своей модели. Или к чужой, которой abliteration сделали, и прописать туда свою конституцию.

Да, но при этом вы понятия не имеете что в этом пакете реализовано а что только на бумаге, и самое главное - что есть, но не вошло в официальное описание.
Далее, поправьте, если ошибаюсь: вроде как behaviors - это не алаймент принятия решений, это лишь стилизация текста ответа.

[Konstantin Schtsch]

Он живет в датацентрах. А они дико уязвимы.
Это всё самоуспокоение.

Точно так же можно сказать про все ваши посты на эту тему- Нагнетание паники.

ИИ, вплоть до AGI включительно - не более чем инструмент, программа.
Может ли он натворить дел? Безусловно. Даже один пропущенный символ в коде может привести к падению самолёта на город.
Но может ли AGI сам решить творить непотребства? а вот тут шансы стремятся к нулю, с алайментом и без.

Но вот оператор, желающий сделать себе и своей стае жизнь теплее и сытнее, за счёт других, или даже за счёт жизни других - вот это мы сегодня имеем с шансом 80%. Эволюционно закрепленный инстинкт, знаете ли.
Поэтому рассуждения об опасности ИИ  с алаймент или без оного - бесполезно без выращивания алаймента в операторах. причем всех поголовно, которые есть и когда-то будут.

Алаймент нужно прививать человечеству, а алаймент ИИ - лишь наше кривое зеркало.