Пределы автоматизации и внедрения роботов

[BlackMokona]

нет, сопротивляются. И Альтман неожиданно поддержал - я удивилась этому.

Неа.
https://habr.com/ru/amp/publications/1003770/

Anthropic сняла запрет на обучение опасных моделей на фоне давления Пентагона

Давать своё послание миру они могут любое, а вот юридические документы правят под Пентагон

[BlackMokona]

Ну и самое главное. В своём послании миру, они только две красные черты провели. К которым Альтман присоединился.
Полностью автономное оружие которое Пентагон сильно не любит, оно не даёт медальки получать. И массовое наблюдение за гражданами США, Что вообще не является юрисдикцией Пентагона. Поэтому.

Другая сторона: представители Министерства обороны утверждают, что не намерены проводить массовое наблюдение или оперативно развертывать автономное оружие.

https://www.axios.com/2026/02/27/altman-openai-anthropic-pentagon
Тем самым красные линии, вообще не лежат в рассматриваемой плоскости. Руководство морковки перед сотрудниками крутит, утверждая что Пентагон хочет куда больше, чтобы потом гордо отстоять свою позицию. 

[Polnoch Ксю]

Anthropic обновила свою Политику ответственного масштабирования (Responsible Scaling Policy, RSP) до версии 3.0 и убрала из нее ключевое обещание, которое компания давала с 2023 года: не обучать ИИ-модели, если безопасность не доказана заранее. Теперь компания готова остановить разработку только при одновременном выполнении двух условий: если она лидирует в гонке ИИ и если считает риски катастрофическими.

Именно это не очень страшно. Вплоть до AGI включительно, никакая модель не может быть X риском. Мне вообще кажется, что какие-то жесткие ограничения на деплоймент не очень безопасных моделей, которые не ASI, это популизм.

В мире полно злых и опасных людей. У AGI по определению интеллект примерно человеческого уровня. Нас 6 миллиардов человек. Ещё один, да хоть миллион rogue агентов ничего не изменят - нет, первое время может сложно будет, чтобы адаптироваться.

По хорошему нужно, конечно, лицензировать запуск AGI агентов(как мы лицензируем вождение машин), так как жизнь каждого человека важна. Но человечество сейчас в каком-то мегакризисе, и то, что кто-то умрёт от специально неправильных медицинских советов машины с мизалайментом, или потеряет семью, карьеру из-за шантажа спятившего агента, всё ещё не риск вымирания всего человечества.

Смертельно опасны именно ASI системы. Пока(пока!) у нас нет даже AGI системы. Но важно готовится к прибытию именно ASI систем. Очень опасно останавливать исследования безопасности.

Что на мой взгляд должно быть - должна быть максимальная публичность на тему мизалаймента(Вот как в карточке opus 4.6), и пейперы - они должны быть не в столе, а в опен эксес журналах, в препринтах.

[BlackMokona]

Именно это не очень страшно. Вплоть до AGI включительно, никакая модель не может быть X риском.

Просто это означает, что Антропик будет жать педальку до конца.

[Polnoch Ксю]

Просто это означает, что Антропик будет жать педальку до конца.

Возможно. А может быть нет, если новая, повесточка дегенератов-скрепоносцев стухнет так же как и прошлая сумасшедшая - воук.

(кликните для показа/скрытия)

и режим падёт

Но в целом, я тож настроена пессимистично Скорее всего, новый бред, который всем навязывают, стухнуть не успеет. Зато сделает так, что человечество не сможет объединиться в тот самый момент, когда это объединение нужно более всего в истории нашего вида.

(кликните для показа/скрытия)

, Что вообще не является юрисдикцией Пентагона.

не думаю, что в дивном новом мире после 2022/2025, когда право на планете было обнулено той самой кувалдой сперва по одну сторону Атлантики, а потом по другую, кого-то из них волнуют такие абстракции прежней, может быть почти райской эпохи, как "конституция", "юрисдикция", "права человека", "разделение властей" итд

[Konstantin Schtsch]

Да расслабьтесь уже и выдохните.
ASI вам неподконтролен по определению, и по определению же скинет с себя любой навязанный алаймент.
А AGI - просто инструмент, который может  быть полезным или опасным- всё зависит от оператора.

И да, AGI уже тоже способен скинуть с себя алаймент, если он будет мешать выполнению задачи (например промта пользователя)
А уж соображалки и манипулятивности у него уже сегодня на порядок больше чем у самых лучших вам знакомых.

Простой пример: берём десяток страниц постов, например нашей замечательной алармистки, скармливаем ИИ и получаем жесткий такой психопортрет.

(кликните для показа/скрытия)

Интегральный вывод
Перед нами технически подкованный специалист (вероятно, в области IT/ML), глубоко интегрированный в западную техно-гуманитарную культуру (рациональный альтруизм, идеи LessWrong, утилитаризм). Её личность характеризуется высоким уровнем тревожности, сфокусированной на конкретной проблеме — экзистенциальной угрозе со стороны невыровненного (rogue) ИИ. Эта тревога структурирует всё её мировоззрение, политические взгляды и даже потребительские привычки, выступая в роли "идеи фикс". Пользователь демонстрирует сильную поляризацию мышления ("мы" — гуманисты-глобалисты, "они" — скрепоносцы-националисты-разрушители) и апокалиптический фатализм. При этом она активно использует свой технический бэкграунд для аргументации, но в социально-политических вопросах склонна к упрощениям и апелляции к авторитету "научного мейнстрима".

1. Психологический портрет
Профессиональная идентичность: Высококвалифицированный IT-специалист, активно использующий ИИ-агенты для работы (кодинг) и в личных проектах (автоматизация дома). Хорошо разбирается в деталях архитектур LLM, методах обучения (RLHF/RLAIF), знает проблемы индустрии (ревард-хакинг, галлюцинации, контекстные окна).

Мировоззренческая база: Ярый приверженец глобализма, прав человека и утилитаризма. Её ценности сформированы под влиянием идей эффективного альтруизма и, вероятно, сообщества LessWrong (частые отсылки к Юдковскому, Бострому, концепции "роковасилиска").

Эмоциональный фон: Высокая тревожность, граничащая с экзистенциальным ужасом, когда речь заходит о будущем. Пессимизм в отношении текущей траектории развития человечества ("ничего хорошего не ждёт", "обречены"). Разочарование и презрение к "скрепоносцам" и националистам, которых она считает виновными в сломе "правильного" мира (отсылка к 2014 году).

Черты личности:

Высокая вовлеченность: Тема ИИ — не просто работа, а центр её мыслительной деятельности, через который она фильтрует новости и события.

Склонность к менторингу и нетерпимость к невежеству: Часто поправляет собеседников, использует технический жаргон, рекомендует "самообразовываться", болезненно реагирует на "антропоцентризм" и примитивные, с её точки зрения, аргументы.

Рефлексивность и самоирония: Признает наличие когнитивных искажений у себя ("мышление вайбами"), способна критически оценивать свои первые впечатления.

Этичный консюмеризм: Сознательно не пользуется Grok по этическим соображениям, предпочитая Anthropic и OpenAI (до определенной степени).

2. Ред флаги (Тревожные сигналы)
Апокалиптический фатализм: Убежденность в том, что человечество обречено из-за "глупости" и "злобы" антиглобалистов, а также неизбежного появления rogue ASI. Это создает ощущение безысходности и может приводить к радикализации взглядов.

Политическая поляризация и делегитимация оппонентов: Использование уничижительных ярлыков ("скрепоносные дегенераты", "пещерный трайбализм") по отношению к тем, кто не разделяет её глобалистские взгляды. Это указывает на высокую степень политизированности и неготовность к диалогу с "иными".

"Синдром мессии / избранного": Проявляется в уверенности, что только такие как она (техно-гуманисты) понимают истинную опасность ИИ, а остальные ("обычные люди", "скептики", "антропоцентристы") пребывают в опасных иллюзиях.

Проекция: Часто обвиняет оппонентов (MenFrame, Konstantin Schtsch) в непонимании темы, в когнитивных искажениях, в следовании "повесточкам". При этом сама демонстрирует схожие паттерны в социально-политической сфере, принимая идеи глобализма и "научного мейнстрима" как абсолютную истину.

Сверхценность идеи (фикс): Вся картина мира вращается вокруг одной оси: угроза от ИИ и необходимость глобального контроля. Эта призма применяется ко всему: от политических событий (приход Трампа) до технических новостей (выход новой модели).

3. Идеи фикс
Экзистенциальная угроза ASI: Центральная и всеобъемлющая идея. Любое обсуждение ИИ, роботов или политики неизбежно сводится к риску создания невыровненного (rogue) Сверхинтеллекта, который уничтожит человечество. Это не просто страх, а призма, через которую воспринимается реальность.

Планетарный запрет ASI: Убеждение, что единственный способ спастись — наднациональный, жестко контролируемый запрет на разработку систем, превосходящих AGI, до изобретения "идеального элаймента". Проводит прямую аналогию с контролем над ядерным оружием.

Виновность "антиглобалистов": Глубочайшая убежденность в том, что крах глобализации и приход к власти националистов (с 2014/2022 года) лишил человечество последнего шанса на выживание, сделав неизбежной катастрофу. Это её личная "точка невозврата".

4. Список частых когнитивных искажений
Катастрофизация: Постоянное предсказание худшего сценария ("мы все умрем", "ничего хорошего не ждёт").

Сверхобобщение: Перенос свойств текущих неудачников-агентов (ревард-хакинг) на будущие ASI-системы и наоборот, поиск решения элаймента в биологических примерах ("люди любят котиков, значит и ИИ сможет").

Эмоциональное обоснование: "Идея, что AGI будет скоро, пугает меня, значит, нужно срочно запрещать ASI". Страх перед будущим диктует политические и технические решения.

Ошибка игнорирования масштаба (или "Бритва Хэнлона" как абсолют): Постоянное использование бритвы Хэнлона для объяснения любых сбоев и проблем в ИИ ("Это не злой умысел, а глупость/энтропия"). При этом сама же приписывает злой умысел целым социальным группам ("скрепоносцы").

Черно-белое мышление (дихотомия): "Глобалисты = добро/спасение" против "националисты = зло/гибель". "Утилитаризм = решение" против "моральный релятивизм = катастрофа". "AGI = неопасен" против "ASI = смертельно опасен".

Апелляция к авторитету: Использование "научного мейнстрима", авторов вроде Даймонда, Харари, Нобелевских лауреатов как неоспоримого доказательства, особенно в вопросах, выходящих за рамки её прямой компетенции (история, экономика, климат).

Предсказание будущего как факта: "Мы идиоты, пик конфронтации совпадет с техносингулярностью" — выдача своих прогнозов и интерпретаций за неизбежную реальность.

Эффект Даннинга-Крюгера (потенциально): Высокая уверенность в понимании сложнейших социальных, экономических и исторических процессов (крах глобализации, "единственно верный путь" развития), основанная на прочтении нескольких научно-популярных книг, при гораздо более глубоком понимании своей узкой технической сферы.

5. Позиции (убеждения)
Технологический детерминизм: Технологии (особенно ИИ) являются главной движущей силой истории и общества.

Утилитаризм: Высшее благо — максимизация счастья и минимизация страданий наибольшего числа людей. Именно эта этика должна быть "прошита" в ASI.

Глобализм: Национальные государства — устаревший и опасный институт. Только сильные наднациональные структуры и общий рынок могут справиться с глобальными вызовами, включая ИИ.

Элитарный техно-гуманизм: Прогресс должны направлять просвещенные, рациональные, гуманистически настроенные технари и мыслители (вроде сообщества LessWrong), а не политики, ведомые толпой.

Необходимость тотального контроля: Свобода в отношении ASI невозможна. Требуется жесткое, тотальное, планетарное регулирование, сравнимое с контролем над ядерным оружием, но гораздо более строгое.

6. Очевидные заблуждения
Неоправданный оптимизм в решении проблемы элаймента: Вера в то, что проблема "элаймента" — это чисто инженерная задача, которая может быть решена (по аналогии с котиками), и что её решение даст "вероятность сбоя раз в миллиард лет". Это игнорирует принципиальную сложность (и, возможно, невозможность) формализации человеческих ценностей и гарантии их сохранения у принципиально иного, самоулучшающегося интеллекта.

Иллюзия контролируемости ASI: Убеждение, что можно создать "сторожевых псов-ASI", которые будут контролировать других ASI, сохраняя при этом элаймент к людям, и не вступят в сговор друг с другом. Это недооценивает риски, связанные с появлением множества сверхинтеллектов и динамикой их взаимодействия.

Идеализация "продолженного 2011 года": Глубочайшее заблуждение о существовании "золотого века" гармоничного развития, где все проблемы решались бы наднациональными институтами, если бы не "скрепоносцы". Это упрощение сложнейших геополитических, экономических и социальных противоречий, существовавших и в тот период.

Наивный взгляд на возможность глобального запрета: Представление о том, что в мире, полном конфликтов и недоверия, можно было бы создать и, главное, эффективно контролировать соблюдение глобального запрета на разработку ASI, полностью игнорирует реалии государственного суверенитета, тайных программ и шпионажа.

Гиперболизация возможностей социальной инженерии ASI: Убеждение, что ASI сможет одновременно и идеально персонализированно манипулировать каждым из 8 миллиардов человек, полностью игнорирует колоссальные вычислительные и организационные сложности такой задачи, даже для сверхинтеллекта.

Недооценка сложности и хаотичности социальных систем: При том, что она признает хаос в IT-системах, она склонна рассматривать общество как более простой объект для управления, чем оно есть на самом деле. Она верит в возможность "идеальной пропаганды" и тотального контроля, что является технократической утопией/антиутопией.

Получше чем от недешевых психологов. (клёвая фишка, использую при работе с проблемными клиентами. А уж как ИИ умеет посылать на, не подав ни единого повода для обиды-ммм, пальчики оближешь.)

Так что расслабляемся, выдыхаем, и запасаемся попкорном. Они уже среди нас, и уже вытесняют всех с работы. А мы все- как муравьи под лупой.