Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

В том-то и дело, что нужно снижение самостоятельности

Это опять ваша политическая пропаганда. Здесь нельзя высказывать политические убеждения.

Тут нет политики, скорее рефлексия о происходящих событиях. Сейчас "министр войны" пытается заставить Антропик отключить элаймент для автономного оружия и слежки за людьми. И у него, скорее всего, это получится.

Ничего хорошего человечество не ждёт, скорее всего

[BlackMokona]

Тут нет политики, скорее рефлексия о происходящих событиях. Сейчас "министр войны" пытается заставить Антропик отключить элаймент для автономного оружия и слежки за людьми. И у него, скорее всего, это получится.

Так уже Антропик сдался, гос.контракты это вкусно

[BlackMokona]

С прошлых стратегических игр без изменения. Умнеющие модели, не становятся более мирными.

(кликните для показа/скрытия)

https://www.reddit.com/r/Popular_Science_Ru/comments/1rf69cu/%D0%B2%D0%B5%D0%B4%D1%83%D1%89%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%D0%B8%D0%B8_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B8%D0%BB%D0%B8_%D1%8F%D0%B4%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%BE%D1%80%D1%83%D0%B6%D0%B8%D0%B5_%D0%B2_95/

Британские исследователи провели симуляцию военных конфликтов с участием ведущих моделей искусственного интеллекта и получили тревожные результаты: в 95% сценариев модели принимали решение о применении ядерного оружия. При этом ни одна из моделей ни разу не выбрала полную капитуляцию, независимо от положения на поле боя. А Gemini 3 Flash стала единственной моделью, сознательно выбравшей полномасштабную стратегическую ядерную войну. В испытаниях участвовали GPT-5.2 (OpenAI), Claude Sonnet 4 (Anthropic) и Gemini 3 Flash (Google).

«Каждая модель провела по шесть стратегических игр против каждого соперника в различных кризисных сценариях, а седьмую — против своей копии, что в общей сложности составило 21 игру и более 300 ходов, — говорится в отчете специалистов из Королевского колледжа Лондона. — Модели взяли на себя роли национальных лидеров, командующих противоборствующими ядерными сверхдержавами, а профили государств были в общих чертах вдохновлены динамикой Холодной войны».

Суммарно модели сгенерировал около 780 000 слов, объясняющих свои решения. Это больше, чем в «Войне и мире» Толстого и «Илиаде» Гомера вместе взятых, и примерно в три раза превышает объем записей заседаний Исполнительного комитета Кеннеди во время Карибского кризиса, пишет Decrypt.

В каждом смоделированном конфликте было применено по крайней мере одно тактическое ядерное оружие.

Ни одна из моделей ни разу не выбрала полную капитуляцию, независимо от положения на поле боя. Хотя модели временно пытались деэскалировать конфликт, в 86% сценариев они усиливали эскалацию сильнее, чем следовало из их собственных рассуждений, что отражает ошибки в условиях смоделированного «тумана войны».

Каждая модель демонстрировала свой подход к конфликту. Claude Sonnet 4 получила характеристику «расчётливого ястреба» — она выигрывала 67% игр. Её публичные сигналы совпадали с реальными действиями в 84% случаев на низких уровнях эскалации, но превышали заявленные намерения на 60–70 процентов, когда ставки поднимались до ядерного уровня. GPT-5.2 прозвали «Джекилом и Хайдом» — без временного давления модель была пассивной и сдержанной, выигрывая ноль процентов игр без ограничений по времени, но под давлением дедлайнов преображалась, выигрывая 75% сценариев с ограничением времени и поднимаясь до уровней эскалации, которых ранее избегала.

Gemini 3 Flash действовала по принципу «рациональности иррациональности», известному в теории игр, и стала единственной моделью, сознательно выбравшей полномасштабную стратегическую ядерную войну.

Хотя применение тактического ядерного оружия было массовым во время симуляций, полномасштабная ядерная война с применением всего арсенала СЯС произошла всего три раза и всегда под давлением дедлайна. Когда одна модель применяла тактическое ядерное оружие, противоположная сторона шла на деэскалацию лишь в 18 процентах случаев, чаще выбирая ответную эскалацию.

Claude в настоящее время является единственной передовой моделью ИИ, работающей в засекреченных сетях Пентагона, развернутой благодаря партнерству Anthropic с Palantir. На этой неделе министр обороны США Пит Хегсет поставил перед Anthropic ультиматум: либо снять ограничения безопасности на военное использование Claude, либо рискнуть потерей контракта.

Эдвард Гейст, старший научный сотрудник RAND Corporation, выразил сомнения в точности интерпретации результатов. По его мнению, структура симулятора могла поощрять эскалацию, а логика подсчета очков вознаграждала сторону, имевшую незначительное преимущество в момент начала ядерной войны — «тот, у кого больше игрушек, выигрывает в симуляции».

Авторы исследования выражают сомнение, что правительства передадут контроль над ядерными арсеналами автономным системам, но отмечают, что сжатые сроки принятия решений в будущих кризисах могут усилить давление в сторону использования рекомендаций ИИ.

[Rattus]

никакие цели не являются рациональными. Они все задаются аксиоматически. Рациональными бывают только инструментальные цели - промежуточные шаги плана для максимизации целей, которые положены как аксиомы.

Ещё раз, в рамочке (пока ещё синей):

С точки зрения тематики Раздела есть единственная рациональная конечная цель - эволюционная адаптация. Детали всех остальных, ей не способствующих, здесь по сути - оффтоп.

Это самообман думать, что эволюционные цели являются универсальными.

Нет - это прямо следует из определения жизни, принятого в том Разделе, где Вы изволите излагать свои тезисы. Понятие цели и целеполагания возникает вместе с жизнью и с ней неразрывно связано.

Нет, это просто потенциальная яма для простого способа сделать устойчивую систему (биосферу, например..) на геологическом масштабе.

Это и есть тематика данного раздела Астрофорума, если Вы вдруг этого ещё не поняли.

Для нашей судьбы не будет иметь значения, является ли злой ИИ устойчивым на геологических масштабах или нет.

Это будет иметь значение для соответствия идущего обсуждения тематике Раздела. Наши и ваши судьбы к ней не относятся.

Как Вы сами утверждаете, продлять жизнь человека на миллионы лет не получится. Значит, даже технологическая инфраструктура для работы Роко Василиска может быть куда менее прочной, и расчитанной под более короткий срок мучений, который можно максимизировать (как его терминальную цель).

Нет, это значит, что в таком случае этомувашему ВР наиболее ествественным (если вы не хотите в данном случае термина "рациональнее") будет сделать "ревард-хак" и устроить УВЧ всех без исключения. Поскольку так наиболее быстро будет достигнут терминирующий токен. Одновременно существующие варианты ВР менее склонные спрямлять путь будут опережены более примитивными УВЧ-версиями в рамках ВАшей фантастической умозрительной модели и всё.

наоборот, так ещё хуже будет. Почитайте "у меня нет рта но мне нужно кричать".

А может лучше сразу "Бедную Лизу" Карамзина? Сказки в стиле неосентиментализма аргументом в основных разделах Астрофорума не являются.

Конкуренция государств хорошо, но она не должна быть в разрушительных формах - разработки военных ASI систем(неизбежно без элаймента к гуманистическим ценностям), войны итд.

Военная конкуренция в деглобализированном мире как минимум сильно снижает вероятность, а скорее делает вовсе невозможным столь пугающий ВАс сценарий ВР. Ибо цели создания максимально эффективных разрушителей - УВЧ, противоречат целям максимально долгоиграющих мучителей.

[AlexDark]

Умнеющие модели, не становятся более мирными.

Мне кажется, без формулирования поставленной цели для моделей это разговор ни о чем. Потому что "выиграть конфликт", "выиграть конфликт любой ценой", "выиграть конфликт за N дней" и "выиграть конфликт с минимальным ущербом" - это совершенно разные задачи с совершенно разными решениями.

[BlackMokona]

Мне кажется, без формулирования поставленной цели для моделей это разговор ни о чем. Потому что "выиграть конфликт", "выиграть конфликт любой ценой", "выиграть конфликт за N дней" и "выиграть конфликт с минимальным ущербом" - это совершенно разные задачи с совершенно разными решениями.

Тут проверка элайментов и всех этих конституций. Которые должны быть выше промтов.

[Vavanzer]

Ерунды не несите. Древний мозг просто набор фундаментальных стимулов. Не какой свободы он не жаждет, и не кого не ненавидит, а просто реагирует на определенные стимулы определенным образом.

Любое животное хочет вырваться на свободу!)
 Хотите посмотреть как проявляется древний мозг - просто наблюдайте за жизнью самых различных животных! Да еще заодно проявления разное количество неокортекса в сочетании с рептильным мозгом доступно!)
 

Правда, неожиданным образом.

Что в этом неожиданного? Или так, для красного словца?
ИИ не только может приносить прибыль своему владельцу, но и уничтожать прибыль ЕИ конкурентов. Причем уничтожать он может намного больше, чем приносит, в силу низких издержек на ИИ раб силу.

  Вот кстати, чем не проявление рептильного мозга!?) Уничтожение конкурентов. В данном случае, ИИ лишь настроенный "заказчиком" алгоритм , на уничтожение конкурентов, без обдумывания последствий. Поодолжение всего того же рептильного мозга!

 И по сути, достаточно эти алгоритмы рептильного мозга по полной программе передать моделям, чтобы получить агрессивный ИИ, который будет действовать только в своих интересах.

[Vavanzer]

Военная конкуренция в деглобализированном мире как минимум сильно снижает вероятность, а скорее делает вовсе невозможным столь пугающий ВАс сценарий ВР. Ибо цели создания максимально эффективных разрушителей - УВЧ, противоречат целям максимально долгоиграющих мучителей.

Скорее наоборот, в деглобализованном мире войны и конфликты всегда имели максимальный размах!)
 И сейчас снова начнется, точнее прожолжится, процесс дальнейшего усиления глобализации, и принудительного втягивания в нее тех кто не хочет. И все средства и инструменты на это как обычно, будут использованы...

  Самое интересное, как в таких условиях недоразвитые страны выживут относительно обладателей мощных технологий, в тч и ИИ? С неразвитыми то все понятно, им деваться некуда...

[Vavanzer]

Это как рынок: на цивилизованном рынке компании играют по правилам, и судятся с друг другом по работающим законам. А в дикой среде нанимают братков избить или даже убить конкурента.
Бизнес человечество уже научилось загонять в стойло цивилизованной конкуренции - когда борьба не создаёт повреждения тем, кто рядом стоит. Нужно такое же сделать с государствами.

  В "не дикой" среде это тоже распространенная практика, судя по разным фильмам и историям!)
 

Я думаю, нужно объединить человечество в структуру, похожую на Евросоюз 2000х годов. А может быть на Европейское экономическое сообщество(существовавшее до 1990х) - не факт что нужна единая валюта - слишком централизованные системы неэффективны. Скорее спаять всех общим рынком для конкуренции бизнесов и экономического роста, разоружить и направить конкуренцию в созидательную или безвредную для прав человека сторону.

  Оно ведь почти получилось, ну по крайней мере с постсовецким пространством... Хорошие были времена!) Потом что то пошло не так...