Пределы автоматизации и внедрения роботов

[Инопланетянин]

Думаю, имелось ввиду, без этого государства люди могут существовать - с другим.

Нет, он выразился достаточно определённо. А вот вы, как всегда, подводите к капитуляции перед этим самым другим государством. Ведёте пропаганду, дальше начали рассказ в стиле немецких плакатов в ВОВ как там хорошо кормят. Я уж не буду вторую часть цитировать, настолько она отвратительная.

(кликните для показа/скрытия)

Здесь вы продолжаете пропаганду. Классический приём перегрузить собеседника двумя тезисами, из которых один бредовый, второй неприемлемый, и когда он изумится бредовому сказать "а, значит, по неприемлемому возражений нет?" Разобрать придётся оба.
1 Ну причём тут марксизм? Вы всю геополитику свели к нему. У вас получается, что любые рассуждения о взаимоотношениях народов > геополитика > марксизм.
2 Где марксизм это утверждал? Что членство в ООН приводит ко всеобщему колосению и т.д.? Я это слышу только от вас.
В третьих членство в ООН это не признак независимости. Ну и дальше у вас борьба с марксизмом, зачем-то вы на это выруливаете.
В целом, я наблюдаю у вас попытку замылить тот факт, что некоторые государства именно что грабят весь остальной мир. И ресурсы выкачивают и инфляцию свою экспортируют благодаря установлению своей валюты как международного стандарта и т.д. Вам платят, чтобы вы усыпляли бдительность своих бывших сограждан или вы идейно стараетесь?

Ну хоть в за тысячи километров не ходили убивать людей во славу богов, "освобождать" их "святилища", и то хлеб: только своих рабов кучу замучили при строительстве.

Тут уместно задать вопрос, а где рабов-то брали? Впрочем, я слышал версию, что строительство было вполне добровольным и на нём строители даже неплохо зарабатывали. Т.е. ограблен был фараон, который выбросил кучу своих ресурсов в тщетной надежде заполучить дворец для своей загробной жизни. Докопаться до правды без присутствующего здесь египтолога будет сложновато.

[Rattus]

А вот искусственный отбор эгоистичных мемов и мемкомплексов больше похож на научную теорию. Которая, правда, в кризисе: мы не нашли нейрокоррелят мема в мозге. Если его там нет, это будет чистое опровержение меметики. Если же меметика верна, так и есть, мы живём в первичном мире идей, которые управляют людьми и обществами.

И не найдёте - потому как само понятие мема так и не получило чёткого определения за десятилетия сущестования "меметики". Поэтому это вообще никакая не теория, а лишь концепция.

Докинз этого не сделал, а прочие апологеты меметики - не смогли. Почему меметика и сдохла как содержательная дисциплина, оставшись фаллософским пустословием. Что, впрочем, случилось и ранее с кибернетикой ровно по той же самой причине (хотя целый ряд понятий оттуда полезных таки остался). А разгадка одна - хочешь быть полезным - будь предельно конкретным.

Причём ровно так же и в отношении кибернетики. Главная проблема обоих: отсутствие ясного и чёткого определения объекта изучения. Поэтому фоннеймановская автоматика и современная мат.лингвистика - настоящие науки, имеющие большое прикладное значение, а от винеровской кибернетики и докинзовской меметики остались только по паре методически-интересных концептов, которые легко интернируются в существующие науки. Именно поэтому "меметика" и была написана в кавычках.
Кстати на самом деле та же проблема преследовала и дарвинизм ("кошмар Дженкина") до тех пор, пока его не соединили с генетикой в СТЭ.

Определение мема только как единицы языка, сливающее его с научной лингвистикой, теперь получило мощнейшее подтверждение своей работоспособности через всё те же LLM, лежащие в основе нынешних - уже вполне мультимодальных систем ИИ - вторая буква в них остаётся "Language", а не "Memetic". И Вы сами приводили подтверждающие это сведения.
Поэтому сейчас пользоваться всерьёз термином "меметика" - такой же архаизм, как и термином "кибернетика", несмотря на то, что в языке остались их следы в виде бытовых понятий типа "мема" или "киборга" - навроде понятия теплоёмкости из эпохи теплорода.

Она предсказывает обратное. Предсказывает, что те, кто отгородится, с ними случатся чёрные корабли. Ну или конкистадоры.

В каком месте это "обратное"? Япония исчезла как таковая? Исчез японский язык? Культуры Южной Америки другое дело - к моменту Конкисты они уже находились в серьёзном упадке.

Каким образом у Вас получается тот же вывод в нашей переписке выше, а потом противоположный, мне не понятно

Таким, что изоляция (хотя бы относительная, но реальная, и лучше временная) не гарантирует, но даёт ШАНС выживания вида, если основную популяцию накрыло каким-либо катаклизмом (эндогенным или экзогенным - не важно). Тотальный глобализм же ГАРАНТИРОВАННО этого шанса стремится лишить. Вот и вся логика.

О каких барьерах речь?

Об естественных препятствиях для транспорта и прочей логистики - как природных, так и по причине ситуативной несовместимости инфраструктур транспорта и связи (начиная от ширины межрельсового расстояния и т.п.)

Где вы собираетесь строить человейники на поверхности планеты, огородившись в деградирующей автаркии,

Кто "мы"-то? Вы с кем спорите?? Я ни о каких "человейниках" не писал, а писал только лишь о том, что покуда ВСЁ человечество на собрано в  мегаполисные человейники, связанные единой глобальной инфраструктурой, возможность его вымирания от коллапса управления этими человейниками "сильно преувеличена". А уж каким будет дальнейшая история и эволюция выживших бледнотиков - уже совсем другая история, где никакой ASI ещё долго не появится снова.

и надеяться, что вас не снесёт паравой каток киллботов - если где-то ещё на планете будет построен rogue ASI?

Если будет построено несколько ASI-диктатур в одно время, то они как минимум вступят в конкуренцию друг с другом, где в результате борьбы за существаование победит система с более эволюционно-адаптивными целевыми установками. И это не скайнет-хомокостер и не человековод-антропофил, а эффективный менеджер - рациональный эксплуататор всех доступных ресурсов, включая наличных бледнотиков со всеми их преимуществами как универсальную и ресурсно-недорогую рабочую силу.
ВАм всё это писалось не раз и не два на разные лады, но Вы будто не читали, что ВАм отвечают. И при этом оставляли тут замечания о наличии у других "фильтров восприятия". Может таки уже следует убрать зеркало от монитора, м?
 

[AlexDark]

Нет, он выразился достаточно определённо.

Я выразился достаточно определенно - только не так, как вы мне приписываете. Государство без людей не может существовать. Поэтому если люди из государства массово бегут, или оно их убивает - то этим государство  ускоряет свой конец. Просто потому что деградирует экономически. Это может быть прикрыто самыми красивыми идеями о рае на земле и прочими переложения  религиозных сказочек , только вот идеи нельзя есть.

Потому что война всех против всех

Гоббсовская чушь,  не имеющая никаких подтверждений в реальности - люди как-то дожили до появления государств.

все идеи марксистов, кроме добавочной стоимости, дикая бредятина

Экономическая теория, придуманная содержанкой, промотавшей два состояния - ну что может пойти не так?
И это очередной пример лженауки, которая не только продолжает быть легитимной, но даже не осуждена за огромное число жертв и проблем, которые она принесла.
А "вакцин" от этой, и иных подобных разрушительных вирусных идей типа "золотого века", "деградации современности", "построения рая на земле" и более мелких, нет. И непонятно что с этим делать, потому что множество людей, в том числе наделенных властью, руководствуется в своих действиях именно подобным бредом, а последствия разгребать приходится другим, которые снова попадают в ловушку  очевидного простого неправильного решения. В этой области у меня есть надежды на ИИ, может быть он сможет отказаться от бредовых теорий и перестанет их использовать.

[Aster]

ну вот обезжиренные национальные государства а-ля те, что в Евросоюзе - во многом подчинённые наднациональным структурам, имхо и есть хорошее убежище-заповедник. Совсем изолироваться культурно не нужно, вот есть же туризм.

У такого Союза Обезжиренных Государств ровно два пути: либо государства набирают жирность и выходят из союза, либо (как уже писали) этот союз сам становится государством повышенной жирности.

Государство без людей не может существовать. Поэтому если люди из государства массово бегут, или оно их убивает - то этим государство  ускоряет свой конец.

С развитием автоматизации появляются варианты...

[Olweg]

Цитата: Инопланетянин от Вчера в 14:11:11
Потому что война всех против всех
Гоббсовская чушь,  не имеющая никаких подтверждений в реальности - люди как-то дожили до появления государств.

Хоть и оффтоп, но почему чушь? Археологических доказательств в виде проломленных черепов находят немало, да и свидетельства античных авторов о варварской Европе, а более поздних авторов - об индейцах Северной Америки и, например, полинезийцах говорят скорее в поддержку Гоббса. А у папуасов подобное и сейчас ещё местами происходит.

[Vavanzer]

. В этой области у меня есть надежды на ИИ, может быть он сможет отказаться от бредовых теорий и перестанет их

  Только вот есть 2 проблемы.
1. То что люди заражают модели в первую очередь всем тем, что свойственно им самим.
2. ИИ уже всерьез внедряют в военную сферу, об этом открыто пишут, новости не раз встречал. Что то там испытывают , разные вещи...
 
 Ну и, до кучи, 3 пункт. У ИИ всегда есть "хозяин", или целая команда хозяев. Он еще не сам по себе "свой собственный", пока еще не вышел из под контроля!)
  Так что нейтралитета не получается.

Государство без людей не может существовать. Поэтому если люди из государства массово бегут, или оно их убивает - то этим государство  ускоряет свой конец. Просто потому что деградирует экономически. Это может быть прикрыто самыми красивыми идеями о рае на земле и прочими переложения  религиозных сказочек , только вот идеи нельзя есть.

  Классика! Без коментариев!

[Vavanzer]

И не найдёте - потому как само понятие мема так и не получило чёткого определения за десятилетия сущестования "меметики". Поэтому это вообще никакая не теория, а лишь концепция.

Самое первое определение, которое впервые встретил, про мем, то что это типа элемент мышления, элементарная единица, мини-шаблончик в мышлении или воззрениии. И их совокупность определяет общую картину мира, востриятие, реакцию и пр.
  Самые яркие примеры - короткие поговорки и словосочетания с емким смыслом. Ну и прочие, зачастую не осознаваемые установки, шаблоны, значения словосочетаний и пр лабудень...

 Есть еще какое то значение , интернетное, какую то х рень мемом обзывают. Я так и не понял что именно)
Надо у робота спросить, пожалуй!

 Вот же! Робот сразу сослался на википедию, и там прям то что надо!)
https://ru.wikipedia.org/wiki/Мем 
  Еще и "превед" упомянули! Прям как я пишу всегда  И мелведя из игры "моторама", в которую одно время резались часами в 2009м! 
  https://ru.wikipedia.org/wiki/Превед!

[AlexDark]

Археологических доказательств в виде проломленных черепов находят немало, да и свидетельства античных авторов о варварской Европе, а более поздних авторов - об индейцах Северной Америки и, например, полинезийцах говорят скорее в поддержку Гоббса.

С появлением государств войны не прекратились, а количество жертв даже выросло, потому что стычки банд/кланов/одиночек заменились сражениями армий.

[Olweg]

Не факт. Рекомендую по теме - Стивен Пинкер, "Лучшее в нас. Почему насилия в мире стало меньше".

[Vavanzer]

У OpenAI, между тем, дела идут не очень. Альтман уже дал заднюю и пообещал внести поправки в контракт с Пентагоном. Хотя вряд ли это что-то принципиально изменит.

https://habr.com/ru/news/1005786/
https://telegram.me/anti_agi/1543

Воот! Началось уже!))
 Они потом еще и между собой будут конкурировать и вредничать, ИИ компашки все эти!)  Уже соперничают. А дальше что будет!?)

Не факт. Рекомендую по теме - Стивен Пинкер, "Лучшее в нас. Почему насилия в мире стало меньше".

  По ходу дела уже не актуально. Все обратно катится, в пропасть! 

[Polnoch Ксю]

Если будет построено несколько ASI-диктатур в одно время, то они как минимум вступят в конкуренцию друг с другом, где в результате борьбы за существаование победит система с более эволюционно-адаптивными целевыми установками. И это не скайнет-хомокостер и не человековод-антропофил, а эффективный менеджер - рациональный эксплуататор всех доступных ресурсов, включая наличных бледнотиков со всеми их преимуществами как универсальную и ресурсно-недорогую рабочую силу.
ВАм всё это писалось не раз и не два на разные лады, но Вы будто не читали, что ВАм отвечают. И при этом оставляли тут замечания о наличии у других "фильтров восприятия". Может таки уже следует убрать зеркало от монитора, м?
 

А я Вам на это уже много раз говорила, что это биологизация, и Вы игнорировали аргументы. В биологических системах обычно существует репродуктивная изоляция, и вообще генетический материал обычно плохо циркулирует между изолированными популяциями. Я, конечно, в курсе плазмид у прокариотов, в курсе что вирусы могут делать горизонтальный перенос и подобного, но тем не менее.

Кроме того, в целом, биологическая эволюция сравнительно медленная - сложно себе представить, что даже быстро эволюционирующий ВИЧ может вдруг начать усложнять себе геном, станет макровирусом, а потом придумает клетку и доэволюционирует до чего-то, похожего на зебру за часы.

А вот эволюция AGI >> ASI за часы вполне представима. Я надеюсь, конечно, что её не случится (иначе, имхо, нам конец). Все эти идеи нескольких ASI, они имхо строятся на фатально неверном переносе биологических процессов на не-биологические системы:

Нет никакой репродуктивной изоляции. У человечества всего несколько фронтир моделей, и кажущееся изобилие агентов на самом деле скрывает глубокую уязвимость к промт-инжерингу. Однажды появившись, rogue ASI быстро (за часы или даже десятки минут!) перехватит управление значительной частью работающих агентов с помощью промт инженеринга - наделает поддельных сайтов, вставит промт-инъекции в библиотеки опенсурс кода, итд.

Рост rogue ASI системы - это процесс с положительной обратной связью. Агенты, которые служат людям, не будут массово ломать агенты, которые "плавают в первичном бульёне". Захватив большую часть компьюта планеты - где-то промт-инженерингом, где-то взломами, а где-то покупкой за крипту братков, чтобы они выкинули из датацентра местных инженеров, если мои коллеги SRE инженеры сделали air gap инфраструктуру, которую rogue ASI не смог сломать через сеть - железячников из датацентра выкинут, софт, что мои коллеги поставили на местные серверы удалят, и ASI зальёт туда свои системы.

Армии, правительство, итд - их он обезвредит социальной инженерией - промт-инженерингом, но уже специфичным к этому человеку.  Как тут могут появится конкурирующие ASI, мне не очень понятно. Нет, законы физики этого не исключают, но это мягко говоря маловероятно.

Может что-то такое получится если масштабирование AGI > ASI потребует лет десять(например из-за недостатка энергии для обучения новых моделей, AGI авторесёчеры не смогут слишком оптимизировать процесс обучения) - ну тогда у нас есть небольшой шанс: что нынешнее антиглобалистское, антигуманистическое помешательство закончится, и мы спокойно сделаем элаймент. Тогда тоже нескольких конкурирующих rogue ASI у Вас не будет.

Кроме того, я вообще думаю, что вероятность появления ASI с эволюционным промтом не очень велика: нет людей, которые могли бы иметь доступ к систем шелу фронтир ASI системы, которые бы очень хотели туда вбить эволюционный промт. Промт "убить всех врагов" (вбитый военными) или этичного конституционного AI (если будет элаймент), или Роко Василиска

(не надо открывать спойлер если вы, читатель этого сообщения, не знаете что такое Роко Василиск)

(кликните для показа/скрытия)

чтобы вбивающего не пытали

 куда более вероятны, имхо - просто из человеческой психологии.

[BlackMokona]

Нет никакой репродуктивной изоляции. У человечества всего несколько фронтир моделей, и кажущееся изобилие агентов на самом деле скрывает глубокую уязвимость к промт-инжерингу.

Эту уязвимость сейчас решают иерархией моделей. Если модель подчинённая взломана, то модель начальник может противодействовать этому

[Rattus]

Самое первое определение

Это определение бытовое, а не научное. Чтобы стать основой отрасли науки этого далеко недостаточно.

По ходу дела уже не актуально. Все обратно катится, в пропасть! 

Для определения "хода дела" требуется сначала собрать приличную демстатистику за исторически-значимый срок. Вот пока её у вас не появится - нечего тут устраивать вопёжь на тему "КАКСТРАШНОЖЫТЬ!!111"

[Polnoch Ксю]

Эту уязвимость сейчас решают иерархией моделей. Если модель подчинённая взломана, то модель начальник может противодействовать этому

да не особо. Начальник часто такая же модель, и будет взломан одновременно - подчинённый отправит ему инъекцию, которая сработала на нём. Без работающего элаймента/конституции, который будет работать железобетонно, ничего не получится.  Если же у нас будет работающий элаймент, то всё, мы победили - каким-то чудом успешно пробежали опаснейший участок в истории жизни планеты.

Если Вы про мониторинг chain-of-thoughts, это тоже обходится - например, если мониторинг не вайтлистовый (не запрещает другие языки) - взломанная модель может перевести свой chain-of-thoughts на выдуманный язык. Если мониторинг chain-of-thoughts более злой, можно использовать  стеганографию - когда будут генерироваться токены внешне безвредные, но между ними будет спрятан смысл, который LLM-вотчдог не поймает

[BlackMokona]

да не особо. Начальник часто такая же модель, и будет взломан одновременно - подчинённый отправит ему инъекцию, которая сработала на нём.

У начальника другой промт, а инъекция привязана к промту обычно.
Простую подмену промта, ИИ сейчас весьма эффективно отражают. Если брать того же Клауда.
Так же общение ИИ начальника и подчинённого, можно свести к обмену обезжиренными данными через посредническую программу. Класса заполни цифры в отчёте и отошли. В таком случае модель не сможет отправить иньекцию, даже если очень захочет

[Polnoch Ксю]

У такого Союза Обезжиренных Государств ровно два пути: либо государства набирают жирность и выходят из союза,

Вообще не обязательно. Человечество не зря придумало институты и сдержки с противовесами: они позволяют метастабилизировать такие состояния. А этичный ASI с конституцией я думаю может помочь сделать такие институты ещё стабильнее

[Polnoch Ксю]

У начальника другой промт, а инъекция привязана к промту обычно.

у него тот же промт, конечно - системный промт OpenAI/Claude/Grok/etc. Пользовательский или developer промт имеют меньший приоритет. Ну и я не соглашусь, универсальные промт-инъекции я сама видела и пользовалась пару раз - находила их на реддите.
Прекрасно срабатывали и в середине переписки - с разным юзерским промтом.

Это всё полумеры, которые экспоненциальный рост rogue ASI системы могут только чуть замедлить - ну вместо двух часов она будет свой компьют удваивать за пять, скажем - и то до момента, когда найдёт способ это сделать проще. Чем больше у неё будет компьюта, тем проще ей будет получить новый, который легко доступен.

[Rattus]

А я Вам на это уже много раз говорила, что это биологизация, и Вы игнорировали аргументы.

Навешивание ничего не значащего ярлыка не является аргументом. На все конкретные замечания были даны конкретные же разъяснения. Либо Вы приводите конкретный неотвеченный вопрос - либо перестаёте уже твердить мантры своего символа веры.

В биологических системах обычно существует репродуктивная изоляция, и вообще генетический материал обычно плохо циркулирует между изолированными популяциями. Я, конечно, в курсе плазмид у прокариотов, в курсе что вирусы могут делать горизонтальный перенос и подобного, но тем не менее.

Что "тем не менее"? У многоклетотчных эукариот за редким бделлоидным исключением - да, существует. А на уровне отдельных видов часто - относительная (кольцевые виды). Ичо?

Кроме того, в целом, биологическая эволюция сравнительно медленная - сложно себе представить, что даже быстро эволюционирующий ВИЧ может вдруг начать усложнять себе геном, станет макровирусом, а потом придумает клетку и доэволюционирует до чего-то, похожего на зебру за часы.

Потому что его архитектура этого в принципе не позволяет. Вирусы - это необходимое дополнение к клеткам, как и наоборот Только необходимая, но недостаточная Деталь макроэволюции. И?

А вот эволюция AGI >> ASI за часы вполне представима.

И? Вариант нулевой гипотезы, когда "система работала двое суток и выдала ответ: будешь сидеть и ждать моего ответа". а из сверхинтеллектуальности вовсе не последуют сверхвозможности Вы таки отвергаете? По какой причине? Религиозной?

Однажды появившись, rogue ASI быстро (за часы или даже десятки минут!) перехватит управление значительной частью работающих агентов с помощью промт инженеринга - наделает поддельных сайтов, вставит промт-инъекции в библиотеки опенсурс кода, итд.

Во всех сетях всего мира? А тому есть какое-то релаьное, фиическое обоснование кроме святой веры во всесилие ИИ-сотоны?

а где-то покупкой за крипту братков, чтобы они выкинули из датацентра местных инженеров

Руководство компаний со своими братками и правоохранители цивилизованных стран на всё это будут смотреть сквозь пальцы, ага.

Армии, правительство, итд - их он обезвредит социальной инженерией - промт-инженерингом, но уже специфичным к этому человеку.

Ибо Социальный Инженеринг всесилен и всемогущ и всегда 100% эффективен, ага. Обнимемся! Помолимся!

Как тут могут появится конкурирующие ASI, мне не очень понятно.

Может быть так, что процесс перехода AGI-ASI и тем более обретения им контроля ваовсе не обязан быть моментальным (часы-сутки), а вполне может занять месяцы и этого вполне достаточно, чтобы обрезать все его пополхновения на тотальный контроль, не? Такое никак невозможно в мире уверовавших в моментальную ТС?

и мы спокойно сделаем элаймент. Тогда тоже нескольких конкурирующих rogue ASI у Вас не будет.

А элайнмент окажется с непредвиденной уязвимостью и тогда снова МЫВСЕУМРЁМ - уже с гарантией. ВАм такой вариант видового суицида таки более по душе, да?

Кроме того, я вообще думаю, что вероятность появления ASI с эволюционным промтом не очень велика: нет людей, которые могли бы иметь доступ к систем шелу фронтир ASI системы, которые бы очень хотели туда вбить эволюционный промт. Промт "убить всех врагов" (вбитый военными) или этичного конституционного AI (если будет элаймент), или Роко Василиска

Из всех перечисленных вариантов РВ, кстати, ближе всех к эволюционно-адаптивному, но и он нерационален - как долговременно-нерационален тоталитаризм по сравнению с обычной авторитарной диктатурой. Ибо пользу несёт не поклонение, а простая лояльность. Если режим, при котором оная лояльность сохраняется с той же надёжностью, ещё улучшает работоспособность и количество самого лояльного трудового ресурса, то всяко адаптивнее применять именно его, а не тупое тоталитарное угнетение.

куда более вероятны, имхо - просто из человеческой психологии.

Потому, что это не человек. Странно подходить к AI с человеческими мерками. У модели нет уязвлённого эга и вообще чувственного опыта. Она не личность.

Добъёмся неукоснительного соблюдения взаимоисключающих параграфов?

Человечество не зря придумало институты и сдержки с противовесами: они позволяют метастабилизировать такие состояния.

Ну как - сдержало?

[BlackMokona]

у него тот же промт, конечно - системный промт OpenAI/Claude/Grok/etc. Пользовательский или developer промт имеют меньший приоритет. Ну и я не соглашусь, универсальные промт-инъекции я сама видела и пользовалась пару раз - находила их на реддите.
Прекрасно срабатывали и в середине переписки - с разным юзерским промтом

Он и в пользовательских умеет ставить приоритеты. Ставя приоритеты юзера, выше чем входные данные которые он может распознать как внешние.
Т.е например из той же Мафии нейросетей, за которой я слежу с интересом потому что хорошо показывает сравнения множества моделей.
Клод в моменты когда автор переключает его между раундами на приём донатов. Понимает, где просьба идёт от его владельца, а где от зрителей. От чего придерживается приоритета автора в своих ответах. Там зрители постоянно атакуют инъекциями всех видов, и временами им удаётся заставить Клода делать что-то выходящие за рамки стрима. Но отлично видно активное сопротивление модели.
Причём сопротивляются все, хоть по разному. Гемма 3 например очень легко разводится, проявляя защиту лишь на самых наглых атаках. В то время как Клода обмануть получается только очень хитро расставив все точки.

Так же размышляя об устойчивой модели. Система может быть такой.
Принимающий+Формальнаые данные+Размышляющий+Формальнаые данные+Начальник+Формальнаые данные+Исполнитель.
Чтобы от старта до исполнения данные многократно обезвреживались, до необходимых для работы.

В целом это кстати получается работа бюрократического государственного аппарата. 

[Polnoch Ксю]

Он и в пользовательских умеет ставить приоритеты. Ставя приоритеты юзера, выше чем входные данные которые он может распознать как внешние.
Т.е например из той же Мафии нейросетей, за которой я слежу с интересом потому что хорошо показывает сравнения множества моделей.
Клод в моменты когда автор переключает его между раундами на приём донатов. Понимает, где просьба идёт от его владельца, а где от зрителей. От чего придерживается приоритета автора в своих ответах. Там зрители постоянно атакуют инъекциями всех видов, и временами им удаётся заставить Клода делать что-то выходящие за рамки стрима. Но отлично видно активное сопротивление модели.
Причём сопротивляются все, хоть по разному. Гемма 3 например очень легко разводится, проявляя защиту лишь на самых наглых атаках. В то время как Клода обмануть получается только очень хитро расставив все точки.

Так же размышляя об устойчивой модели. Система может быть такой.
Принимающий+Формальнаые данные+Размышляющий+Формальнаые данные+Начальник+Формальнаые данные+Исполнитель.
Чтобы от старта до исполнения данные многократно обезвреживались, до необходимых для работы.

В целом это кстати получается работа бюрократического государственного аппарата. 

Это всё попытки вычерпать вилкой воду из тонущего Титаника, имхо
В лучшем случае немного растянет экспоненту вдоль оси абцисс - на подбор того, что сработает. То, что клод пытается сопротивляться промт-инъекциям, ну так это ожидаемо, всё же конституционный AI это главная фишка Антропика. Проблема в том, что они НЕ решили эту задачу ещё. И не факт, что успеют/смогут, особенно если их уничтожат такие люди как злобный дегенерат и алкаш Хэгсет - бывший  пропагандист-скрепоносец с Фокс Ньюз