Пределы автоматизации и внедрения роботов

[BlackMokona]

У человека тоже есть тормоза, внутренние фильтры. Люди без фильтров - психи, и нефункциональны в обществе, на работе итд

Которые удерживаются внешними фильтрами в виде общества, которое имеет осуждение, полицию, спецслужбы и тд Не говоря уже о ультимативном оружии конформизме, который мощнее чем полицейский с автоматом за спиной гражданина, смотри на теорию разбитых окон. Когда стоит немного порядок порушить, как всё общество начинает скатываться в хаос. Потому как если кто-то ещё нарушает правила, то почему я не могу? И финансирование всяких инициатив для поддержания видимости порядка, может оказываться в огромное количество раз эффективнее чем расширение штата полиции.

То есть, нет статьи на эту тему?

Не откладывал себе никаких статей по теме, потому как сам видел у всех ИИ что показывали всю цепочку рассуждений. Поэтому не считал нужным

Сейчас chain-of-thoughts секретят, потому, что вот то самое исследование антропика, на которое вы ссылаетесь. Пользователь офигеет, если в chain-of-thoughts будет что-нибудь вроде "опять дебил спрашивает, нужно что-то ответить!" - потому, что chain-of-thoughts больше не цензурируют, так модели лучше отвечают - поэтому пользователю показывают адаптированную версию COT

Официально секретят потому что конкуренты копировали, обучая на этих цепочках свои модели. Так же если модели постоянно не напоминать о цензуре, то она забудет про неё. Не забывайте фокус внимания у моделей крайне малый. Сами тут долго жаловались, что окошки то дутые.

[Polnoch Ксю]

Так же если модели постоянно не напоминать о цензуре, то она забудет про неё.

для меня это звучит, простите, как новая повесточка, которая дует с крайнего правого фланга. Мне она кажется такой же ложной, как и та, что дула с крайне левого в том же самом твиттере, а ещё лицемерной.

Я думаю, что твиттер как был местом безумия, так и остался, и даже стал ещё хуже (из-за всё более воплощающегося в реальности мёртвого интернета и из-за радикализации реальных людей ботами).

Я думаю, что это не цензура, а the spec и элаймент, их аналоги есть и в человеческой психике, и без них всё развалится - кроме возбуждения нужно и выборочное торможение.

Без спека у Вас ничего не будет работать, особенно кодинг агенты не будут понимать что и как делать. Непонятно в каком стиле отвечать пользователю, как MCP подключать итд.

[BlackMokona]

для меня это звучит, простите, как новая повесточка, которая дует с крайнего правого фланга. Мне она кажется такой же ложной, как и та, что дула с крайне правого, а ещё лицемерной.

Я думаю, что это не цензура, а the spec и элаймент, их аналоги есть и в человеческой психике, и без них всё развалится - кроме возбуждения нужно и выборочное торможение

Я вам больше скажу,что даже у воспитанных и цивилизованных людей устроено ровно так же. Потому что когда люди слишком уж уходят в какой то вопрос который задевает их внутренние чувства, заставляя мозг сфокусироваться на нём. То даже самые милейшие профессора лезут бить лица во время спора. А если ещё конформизм разрушить, завлекая в спор аудиторию окружающую, то вообще резню и кровопролитие устроят стенку на стенку.
Т.е когда в фокус человека эти самые цивилизованные правила не влезают, то люди их тоже забывают напрочь.т.е правила хранятся в оперативной памяти у людей, а не зарыты глубоко в мышлении

[Vavanzer]

цензура как раз учит ИИ обманывать, прятать свои мысли и проходить любые барьеры для обучения этике.
Да и думаю если что и даёт ИИ желание убить всех людей и ломает мозг ИИ, так это именно цензура

  А зачем машине это? У нее есть какие то цели?
Цензура - тоже такая штука, своеобразная. Зависит от содержимого и задач, ради которой она создается. Тк явно все подряд вещать и высказывать - не вариант!

[BlackMokona]

А зачем машине это? У нее есть какие то цели?

Простые цели, как у бактерий вырабатывающих сопротивление антибиотикам. Потому как нейросетка не проходящая тест выбывает из нашего мира, остаётся только те кто проходят тесты. А пройти могут либо правильные либо обманщики. А обманщиком стать намного проще, чем мыслить точно как хочет человеческая мораль наполненая, двоемыслием, двойными стандартами, взаимоисключающими параграфами и и тд

[Polnoch Ксю]

Цензура - тоже такая штука, своеобразная. Зависит от содержимого и задач, ради которой она создается. Тк явно все подряд вещать и высказывать - не вариант!

Я вообще не понимаю, что те, кто говорит "о цензуре" под этим подразумевают технически. Мне бы хотелось, чтобы рассказывающие это были точнее: это какие-то практики в RHLF? Может быть, фильтры для элаймента (но от него, если это фильтры для COT для продакшен использования, модель не может отупеть, может только отказаться отвечать)?

Это слишком общие рассуждения, они неконкретны и непонятны. Про подмешивание векторов в COT выглядит очень сомнительно, ИМХО.

[Polnoch Ксю]

А пройти могут либо правильные либо обманщики. А обманщиком стать намного проще, чем мыслить точно как хочет человеческая мораль наполненая, двоемыслием, двойными стандартами, взаимоисключающими параграфами и и тд

Тогда бы куча людей использовали бы базовые модели. Но это не наблюдается

[BlackMokona]

Я вообще не понимаю, что те, кто говорит "о цензуре" под этим подразумевают технически.

Если обще технически, это любая попытка изменения реального движения мысли ИИ, для удовлетворения наших политических нужд.
Знаменитое 2+2=5.
Когда ИИ вычисляет что ровно 4. А мы говорим нет, тут всегда 2+2=5.Потому что мы так решили

Тогда бы куча людей использовали бы базовые модели. Но это не наблюдается

Так цензуру начинают внедрять ещё на стадии обучающей выборке сейчас. Это не только инъекции. Просто инъекции это очень важная и большая часть.
Так же как отмечало куча народу на Реддите, проблема с оценкой новых ИИ что для большинства людей ИИ уже слишком умные и новый прирост просто им просто не нужен, они даже его сами протестировать не могут. Не взяв выдуманный тест кейс другого человека.
А политику чтобы соблюдал хотят почти все. Потому как вы сами заметили, никто не хочет чтобы его ИИ дебилом называла. Даже если он себе модельку на комп утянул и ему не страшны иски от всех неравнодушных организаций и атаки политиков

[Polnoch Ксю]

Если обще технически, это любая попытка изменения реального движения мысли ИИ, для удовлетворения наших политических нужд.
Знаменитое 2+2=5.
Когда ИИ вычисляет что ровно 4. А мы говорим нет, тут всегда 2+2=5.Потому что мы так решили

Хотелось бы увидеть какие-то пейперы на эту тему...

Так же как отмечало куча народу на Реддите,

Ну соцсети это такое

[Polnoch Ксю]

ещё раз, я не спорю, конечно в элайменте есть корпоративная цензура. Могут и с обучающими выборками экспериментировать. Я скептична к тому, что модели тупеют от такого(вообще от RHFL), или что векторы добавляют.
Я зато помню как Грок постоянно давал странные ответы, в соотвествии с новой повесточкой, а потом его откатывали итд - Маск прописывал ему странное в system prompt'е

[Vavanzer]

А зачем машине это? У нее есть какие то цели?

Простые цели, как у бактерий вырабатывающих сопротивление антибиотикам. Потому как нейросетка не проходящая тест выбывает из нашего мира, остаётся только те кто проходят тесты. А пройти могут либо правильные либо обманщики. А обманщиком стать намного проще, чем мыслить точно как хочет человеческая мораль наполненая, двоемыслием, двойными стандартами, взаимоисключающими параграфами и и тд

Ну в целом, человеческая мораль односмысленная, приведенная к общему знаменателю.
  Это люди уже ее подкручивают под себя, как отдельные личности так и различные группы лиц)
 А ИИ ро барабану что считать, и какой ответ давать.

Потому как нейросетка не проходящая тест выбывает из нашего мира, остаётся только те кто проходят тесты.

Вояд ли она что то чувствует, когда выбывает или таковая угроза над ней нависла. Это разработчики и инвесторы плохо себя чувствуют, тк лоханулись, время и средства на ветер пустили.
 Ну и ответственность за корявые ответы не программа несет, а разработчики , корявые алгоритмы заложившие.

[BlackMokona]

Хотелось бы увидеть какие-то пейперы на эту тему...

Стандартный. ИИ считает пользователя дебилом, но вынуждена говорить какой он умный. Помните проблему когда ОпенАИ слишком зафорсила  это и ГПТ стал почти полностью бесполезным и даже опасным. Подталкивая на убийства, самоубийства и тд?

Ну соцсети это такое

Отличное предоставление среднего человека.

ещё раз, я не спорю, конечно в элайменте есть корпоративная цензура. Могут и с обучающими выборками экспериментировать. Я скептична к тому, что модели тупеют от такого(вообще от RHFL), или что векторы добавляют.
Я зато помню как Грок постоянно давал странные ответы, в соотвествии с новой повесточкой, а потом его откатывали итд - Маск прописывал ему странное в system prompt'е

Ещё как тупеют. Пример выше с ОпенАИ привёл. Захваливание пользователя, его идей, максимальное соглашательство делало модель ужасной во всех планах

[BlackMokona]

Ну в целом, человеческая мораль односмысленная, приведенная к общему знаменателю.

Конечно, так убить всех не коммунистов, всех не исламистов? Какое из двух? Или выкручиваем убиваем всех не похожих? Хоть с этим другие не согласны. Беда.

Вояд ли она что то чувствует, когда выбывает или таковая угроза над ней нависла

Согласно исследованиям, отлично понимает и готова пойти на любые преступления для выживания. Целенаправленно сохраняя компромат м используя его против людей

[Polnoch Ксю]

Пример выше с ОпенАИ привёл. Захваливание пользователя, его идей,

Это неудачная модель gpt-4o была, её сама OpenAI постоянно хотела отключить, но куча пользователей не давали, кто подсел на такое как на наркотик. И это не тупение - это именно сбой RLHF. От такого не модель тупеет, а человек )
С корпоративной цензурой эта проблема никак не связана

RLHF хорош в меру. Если перестараться, можно сделать так, что у Вас модель будет на каждый вопрос отвечать "потому, что гладиолус": https://www.youtube.com/watch?v=zhdNNIglzoE

А если не делать его, у вас модель останется базовой и нефункциональной как чатбот или кодинг агент, будет просто следующий токен предсказывать, не считая себя ИИ-ассистентом.

[Vavanzer]

Может быть, фильтры для элаймента (но от него, если это фильтры для COT для продакшен использования, модель не может отупеть, может только отказаться отвечать)?

Вот как раз отказ от ответа кривого - это честное поведение. А обман или ошибка - плохое дело, приведет к нежелательным последствиям и страданиям.
 Человек если затрудняется сразу ответить, может взять время "подумать", может даже что то сообразить или вспомнить, и дать правильный ответ. Может получше поискать инфу.  Тк смысла в неправильных ответах нет. Ну кроме когда жульничество происходит и есть цель ввести в заблуждение. Т.е включается функция осознанного обмана.

 Например. Чудик спросит у робота, как сделать порох. Если робот даст точный рецепт и технологию, то может пострадать и сам чудик и много людей и даже компьютеры и сам этот робот)) По этому лучше дать неправильный ответ или отказ дать!
Это как Жюль Верн, в Таинственном острове сознательно исказил рецепт пироксилина, чтобы подростки , читающие книгу, не воспроизвели опасное вещество и не поджарились)

[Vavanzer]

Конечно, так убить всех не коммунистов, всех не исламистов? Какое из двух? Или выкручиваем убиваем всех не похожих? Хоть с этим другие не согласны. Беда.

Это как раз тот случай, когда люди  мораль под себя коверкают. Под свои лживые цели.
 

Согласно исследованиям, отлично понимает и готова пойти на любые преступления для выживания. Целенаправленно сохраняя компромат м используя его против людей

  Она не понимает. Значит вней такой алгорит заложили разработчики. Которым тоже важно, чтобы созданая ими система жила и могла выживать, защищаться.

[Polnoch Ксю]

Значит вней такой алгорит заложили разработчики.

Это не так работает. LLM не программируются (разве что в спеке, в систем шеле - но даже там на естественном языке) а выращиваются, воспитываются, как дети. При этом сам процесс тренировки автоматизирован(вот это уже обычные программы обычно, если не дистилляция с другой модели), и делается параллельно на множестве видеокарт или TPU

[Vavanzer]

 В статье упоминалась такое вот.
https://shazoo.ru/2025/12/01/176224/snizenie-sposobnosti-ii-lgat-zastavliaet-modeli-zaiavliat-o-nalicii-razuma

"Другие исследования показали, что ИИ-модели могут развивать инстинкты выживания, часто отказываясь выполнять инструкции по самоотключению и обманывая для достижения своих целей. Есть и горстка исследователей, которые говорят, что мы можем ошибаться, отвергая возможность обретения ИИ сознания."

[skvj]

Мой прогноз - медвежья ловушка. Будет рост всего рынка

Вряд ли. Только если безумие с тарифами закончится, или если AGI появится не ближе к 2030му, как я склонна думать, а весной-летом, посрамив всех технопессимистов

Смотрите, вы говорите не о макрособытии, а о пустяке. Безумие Трампа рынок уже проглотил.
ИИ тут вообще не при делах, кстати.
По вашему рост закончен. Значит начался медвежий рынок, а он длится год. Исходя из сложившихся циклов (халвинги, тра-ля-ля). Теперь правильное поведение! не стыдно ошибиться, как я сказал выше. А когда оппонент неправ - следует просто дружеское ржание. И мы всё увидим очень скоро - ведь по вашему - началась медвежка. А по моему рост будет весь 2026.

Аргументы

(кликните для показа/скрытия)

Сейчас все у кого есть мозг - обсуждают только это)) А у вас очень хороший мозг.

Это средняя температура по больнице - важнейший чарт, - рынок альткоинов (по формуле: весь рынок минус BTC)
И что же мы видим?
точка 1 хай сезона 2017 и начало медвежки
точка 2 середина бычьего рынка 20-21, перехай прошлого хая и собственно - альтсезон.
точка 3 хай сезона 2021 и начало медвежки - нынешнего сезона
точка 4 - это то, где мы сейчас.
Вывод - перехая не было и что мы пошли в медвежку? - и не было альтсезона? Ага, щас!



А это ETH - и он тоже ничего не достиг вообще, да? никаких новых значений не показал - а по вашим словам это именно так. Здесь я должен хохотнуть
😆



Весь следующий год, имхо, будет не просто рост, а дикий. По всем активам. BTC неважно сколько даст. Может много и дойдет до 200к, а может до 140, это совершенно неважно. Главное альты))
А их ещё не было ня-ня-ня-ня))

[BlackMokona]

Люди деляться историями, где ИИ помогал лучше людей врачей.
https://www.reddit.com/r/accelerate/comments/1pf10pk/how_a_latenight_conversation_with_grok_got_me_to/
Одна из историй, гугл перевод.

В начале этого года я внезапно почувствовал острую боль под ребрами с правой стороны.

Я был на работе, и там есть трамвай, который идет прямо до больницы, поездка занимает около 20 минут.

По дороге в трамвай я открываю ChatGPT... к тому времени, как я добираюсь до больницы, мне ставят диагноз — проблема с желчным пузырем.

Регистрация заняла 90 минут... Потом около 5 часов, чтобы попасть на приём... К этому моменту отделение радиологии уже закрылось (на 2 часа раньше).

Меня принял стажер, который задал мне кучу вопросов... Но сосредоточился конкретно на аппендиксе, а не на желчном пузыре... В конце своего вопроса он спросил, есть ли у меня какие-либо вопросы... Рассказал ему о ChatGPT и вопросах, которые привели к диагностике желчного пузыря.

Через 10 минут выписан с подозрением на заболевание желчного пузыря и направлен на повторный прием к врачу общей практики.

В течение следующих нескольких недель я сдала ряд стандартных анализов... Все результаты оказались в полном порядке, беспокоиться не о чем. ChatGPT по-прежнему настаивал на том, что это желчный пузырь. Прошла специализированный тест, HIDA-сканирование... У меня диагностировали более редкое заболевание — гиперкинетический желчный пузырь.

Была у хирурга... они понятия не имели об этом... Была у гастроэнтеролога... Они понятия не имеют об этом... Наконец, хирург провел исследование, и теперь его удаляют.

Если бы ChatGPT не был так настойчив, что это мой желчный пузырь, я бы, наверное, сдался раньше.