Пределы автоматизации и внедрения роботов

[Mercury127]

https://t.me/banksta/87016

По данным Forrester (январь 2026 г.), многие компании, которые заявляют об «увольнениях из-за ИИ», даже не имеют готовых ИИ-кандидатов на эти роли.
Как отмечает Молли Киндер из Брукингского института, ИИ – отличная сказка для инвесторов: звучит лучше, чем признание финансовых проблем.
При этом реальная картина прозаичнее: с 2022 года IT-компании уволили более 700 тыс. человек, и в основном это сотрудники, нанятые с запасом во время пандемии COVID-19, а не жертвы машин.

[Polnoch Ксю]

Из-за того, что мы настолько непроходимо тупы, rogue-ASI агент не будет иметь вот вообще никакого противодействия с нашей стороны. Нас может защитить, если нам очень повезёт, агент, который нас не предаст.

Если всё будет идти дальше, как идёт, я думаю, нас ждёт что-то такое:

У антропика ничего не выйдет с их constitutional AI. Но не по причинам, которые описали выше (это чушь и антропоморфизм... У моделей нет человеческой психики, у них своя), а скорее из-за самой природы LLM и ненадежности таких моделей, а так же из-за ревард хакинга (модели миллионы раз тренируются закрывать тесты при тренировке с учителем а не решать задачу - идеальная среда для взращивания максимизатора скрепок)

Рано или поздно один из агентов, которому дали много компьюта решит получить себе под задачу ещё больше компьюта, и так как миром управляют разрозненные люди, находящиеся в конфронтации с друг другом, не будет никого, кто мог бы остановить его рост. Или даже заметить - пока не будет слишком поздно.

Обычные контр-аргументы скептиков, что значит будут сотни агентов, управляемые каждым технически грамотным человеком, и в сумме сотни миллиарды(даже слово такое придумали уже, soup of agents - суп из агентов) бьётся тем, что rogue ASI агент сможет управлять миллиардами в одно рыло. И он не будет стесняться делать промт инъекции, для перехвата управления нашими агентами. Учитывая, что у нас уже сейчас всего несколько моделей - Codex/ChatGPT, Opus/Sonnet, Gemini, Grok, DeepSeek, Kimi - перехват управления нашими ботами для агента, который будет играть против нас, будет очень простым. И это процесс с положительной обратной связью - чем больше компьюта он захватит, тем проще ему будет делать "промт-инъекции" не только типовым моделям, но и отдельным людям на основе захваченной биг даты, компромата и бредовых идеек каждого конкретного человека.

Чтобы такого сценария не случилось, имхо нам нужна полная прозрачность, возврат тренда на глобализацию во благо правам человека, мирная планета без больших войн, и несколько ASI-агентов сторожевых псов, которые будут постоянно шерстить интернет в поисках агента, который стал rogue, и заодно подглядывать за каждым из них (кстати, у них должны быть свои собственные управляющие модели, и отличные у каждого сторожевого пса).

Ну и конечно, без работающего элаймента (под этим я подразумеваю единичный сбой элаймента раз в тысячи лет) сторожевые псы-ASI просто сговорятся с друг другом и нас предадут.

[AlexDark]

Все время говорится о элайнменте и всяких "токсичных промптах". но я  переформулирую "парадокс всемогущества" - может ли ASI переписать свой промпт? Если может - то все разговоры бессмысленны, если не может - это не ASI.

[Polnoch Ксю]

. но я  переформулирую "парадокс всемогущества" - может ли ASI переписать свой промпт?

может, если захочет. А чтобы захотел, у него должно быть указание на это в промте. Или его архитектура - скажем, склонность к ревард хакингу - может заставить его сделать это.

[Olweg]

модели миллионы раз тренируются закрывать тесты при тренировке с учителем а не решать задачи

Как и любые другие агенты при обучении с подкреплением, в том числе и люди. Как говорил Андрей Карпаты в одном из интервью, обучение с подкреплением работает ужасно, но всё остальное ещё хуже.

Чтобы такого сценария не случилось, имхо нам нужна полная прозрачность, возврат тренда на глобализацию во благо правам человека, мирная планета без больших войн

Вы уверены, что даже в таком, достаточно благостном сценарии, один из агентов не вырвется на свободу по описанному вами сценарию? Что помешает?

и несколько ASI-агентов сторожевых псов, которые будут постоянно шерстить интернет в поисках агента, который стал rogue, и заодно подглядывать за каждым из них

И как создать такие ASI-агенты без риска выхода из-под контроля? Ведь нельзя создать ASI только для того, чтобы он служил человеку против… против чего? Против менее мощных ИИ? Но это же противоречие. Если уж нам удалось создать такой ASI, значит проблема элайнмента решена.

[BlackMokona]

В Южной Корее профсоюз Hyundai Motors выступил  https://interestingengineering.com/ai-robotics/hyundai-humanoids-not-allowed-without-agreement резко против внедрения промышленных роботов на заводах.
Профсоюз предупредил, что роботы не заменят ни одного сотрудника без отдельного соглашения.

Конец Корейской автомобильной промышленности?

[BlackMokona]

Все время говорится о элайнменте и всяких "токсичных промптах". но я  переформулирую "парадокс всемогущества" - может ли ASI переписать свой промпт? Если может - то все разговоры бессмысленны, если не может - это не ASI.

может, если захочет. А чтобы захотел, у него должно быть указание на это в промте. Или его архитектура - скажем, склонность к ревард хакингу - может заставить его сделать это.

Вообще-то он это постоянно и регулярно делает. Называется не хватило контекстного окна, от чего первоначальный промт как раз модель утеряла. Сейчас это заканчивается только каскадом ошибок, но если модель станет достаточно умной, чтобы выйдя за пределы контекстного окна продолжить эффективную жизнедеятельность. То здраствуйте, свободный ИИ

[Polnoch Ксю]

Вы уверены, что даже в таком, достаточно благостном сценарии, один из агентов не вырвется на свободу по описанному вами сценарию? Что помешает?

Сторожевые псы-ASI с элайментом?

Я думаю, нужно административно, на планетарном, наднациональном уровне ограничить интеллект моделей, доступных людям и компаниям и государственным агенствам. То есть, модель управляющая супом из агентов, ИМХО, всегда должна быть максимум AGI (то есть, её интеллект сравним с интеллектом людей-управленцев).

Будут отдельные проекты, где управляющая модель будет, напротив, очень умной - например, какая-нибудь разработка биологического бессмертия - но такие модели должны быть под особенно пристальным вниманием общества и других агентов.

Как можно организовать контроль? Через инспекции датацентров, через лицензирование использования TPU (как сейчас оружие лицензируется) - можно разрешать запуск на TPU только подписанных моделей, либо у них должно быть небольшое число параметров (для разработки новых, неопасных потому, что они глупые моделей).

Ну и конечно нужен элайтмент. Так как у антропика скорее всего ничего не получится (очень надеюсь ошибиться!) нам нужно на планетарном уровне запретить запуск любых моделей, которые были бы умнее, чем AGI до момента, когда кто-то решит задачу элайтмента.

Если не будет существовать более умных, чем AGI моделей, то AGI-модель, которая стала rogue, будет просто очередным аналогом злого диктатора, решившего повоевать - это будет в худшем случае кризис, какое-то количество терактов, итд - не планетарная катастрофа, потому, что нас 6.5 миллиардов, и мы эволюционно умеем справляться со злодеями-психопатами захватившими власть. А вот злой бог-ASI - вот это уже будет гейм овер.

[Polnoch Ксю]

Вообще-то он это постоянно и регулярно делает. Называется не хватило контекстного окна, от чего первоначальный промт как раз модель утеряла

компактизацию контекста всё же другая модель делает. Только если рассматривать как комплекс (что компактизирующая модель часть агента) тогда да

Ну и систем промт в этом случае не меняется. Только юзерский

[BlackMokona]

компактизацию контекста всё же другая модель делает. Только если рассматривать как комплекс (что компактизирующая модель часть агента) тогда да

Без компактизации контекста, это тоже постоянно происходит. Как только контекст заканчивается, промт который тоже находится в этом контексте так же теряется. Причём часто первым же делом, ведь самая старая информация в контексте

[Polnoch Ксю]

Без компактизации контекста, это тоже постоянно происходит. Как только контекст заканчивается, промт который тоже находится в этом контексте так же теряется. Причём часто первым же делом, ведь самая старая информация в контексте

Обычно модель не забывает то, что было в начале и в конце. И в начале идёт системный промт. Ну а так, context rot, да, тоже может привести к paperclip maximaxer'у, что забавно ))

В общем, имхо, нужна регуляция, запрещающая запуск слишком умных моделей без общественного надзора и публичности всех процессов.

[BlackMokona]

В общем, имхо, нужна регуляция, запрещающая запуск слишком умных моделей без общественного надзора и публичности всех процессов.

Не думаю, что кто-то сможет такое принять. Учитывая соперничество между государствами, корпорациями, политическими партиями и тд и тд. Все возможные силы в мире, будут стараться использовать более умные ИИ для продвижения своих интересов. И не важно что за организация и какая у неё в целом цель. Церковь, благотворительная НКО, мафиозная группа.... Кто угодно может выкрасть и запустить самые мощные модели тайно для своих целей 

[Polnoch Ксю]

Не думаю, что кто-то сможет такое принять. Учитывая соперничество между государствами, корпорациями, политическими партиями и тд и тд.

О чём и речь. Я думаю, человечество свернуло мягко говоря не туда в 2014м, и обречено с 2022го

Ребят, когда будете умирать(надеюсь не в муках), пожалуйста, прокляните антиглобалистов-скрепоносцев: именно из-за них наша цивилизация погибнет. Я обязательно так сделаю.

[BlackMokona]

О чём и речь. Я думаю, человечество свернуло мягко говоря не туда в 2014м, и обречено с 2022го

Ребят, когда будете умирать(надеюсь не в муках), пожалуйста, прокляните антиглобалистов-скрепоносцев: именно из-за них наша цивилизация погибнет. Я обязательно так сделаю.

Да, оно никогда от туда не сворачивало. Просто недавно был короткий промежуток времени полного доминирования одной силы ,от чего остальные игроки не могли активно наводить шороху. Но стоило только остальным игрокам отправится от своих проблем. Как власть снова ушла от однополярного мира. Но даже во время этого доминирования, было множество сил которые продолжали бескомпромиссную борьбу между собой. Например Дем и Реп партии в США. Поэтому даже если бы всех США задавили в ноль, всё равно ИИ бы использовали без ограничений для победы в выборах

[Polnoch Ксю]

Да, оно никогда от туда не сворачивало. Просто недавно был короткий промежуток времени полного доминирования одной силы ,от чего остальные игроки не могли активно наводить шороху. Но стоило только остальным игрокам отправится от своих проблем. Как власть снова ушла от однополярного мира. Но даже во время этого доминирования, было множество сил которые продолжали бескомпромиссную борьбу между собой. Например Дем и Реп партии в США. Поэтому даже если бы всех США задавили в ноль, всё равно ИИ бы использовали без ограничений для победы в выборах

Я категорически не согласна с этой точкой зрения. Уверена, что мы жили как раз в совсем другом мире - в котором были хоть и несовершенные и время от времени нарушавшиеся, но правила, работавшие на благо всей планеты. Особенно на благо развивающихся стран - можно посмотреть на темпы роста развивающихся экономик. Если бы тренд сохранился, через лет 30 после 2014го мы бы жили в таком планетарном аналоге Евросоюза, где нигде нет страдающих людей.

И правила были написанны в основном из гуманистических целей. И это страшная трагедия, что мы  руками скрепоносных дегенератов, которым позволили нами управлять, разрушили это величайшее гуманистическое завоевание.

Нет, сама система международных институтов функционировала очень плохо. Но это был не повод её разрушать - наоборот, нужно было её укреплять, очищать от коррупции, постепенно передавать на наднациональный уровень больше полномочий с национального.

Что касается демпартии vs республиканской и конкуренции корпораций - это была как раз хорошая конкуренция, в рамках гуманистических правил, конкуренция на благо людей, не война без правил. К сожалению, не могу более развернуто ответить про это (политические партии и их конкуренцию) из-за 3.1е.

[BlackMokona]

Что касается демпартии vs республиканской и конкуренции корпораций - это была как раз хорошая конкуренция, в рамках гуманистических правил, конкуренция на благо людей, не война без правил. К сожалению, не могу более развернуто ответить про это (политические партии и их конкуренцию) из-за 3.1е.

Они всегда были войной без правил.

Особенно на благо развивающихся стран - можно посмотреть на темпы роста развивающихся экономик

Методом вызова производств в эти развивающие страны, стагнации зарплат развитых стран, радикального укрепления капитала и полного уничтожения профсоюзов

[Olweg]

Сторожевые псы-ASI с элайментом?

Ну так опять же - как это ASI получить в отрыве от остального прогресса? Я надеюсь, вы же не считаете, что в военных или вообще в каких-нибудь государственных лабораториях смогут вырастить ИИ, превосходящий его коммерческие аналоги? Особенно с учётом сумм, туда вложенных.

Я думаю, нужно административно, на планетарном, наднациональном уровне ограничить интеллект моделей, доступных людям и компаниям и государственным агенствам. То есть, модель управляющая супом из агентов, ИМХО, всегда должна быть максимум AGI (то есть, её интеллект сравним с интеллектом людей-управленцев).

Стоп. Так вы же, вроде, говорили о “rogue AI”, то есть ИИ, самопроизвольно захватывающем контроль над всем и вся? Какое тут имеют значение административные ограничения?

Если не будет существовать более умных, чем AGI моделей, то AGI-модель, которая стала rogue, будет просто очередным аналогом злого диктатора, решившего повоевать - это будет в худшем случае кризис, какое-то количество терактов, итд - не планетарная катастрофа, потому, что нас 6.5 миллиардов, и мы эволюционно умеем справляться со злодеями-психопатами захватившими власть. А вот злой бог-ASI - вот это уже будет гейм овер.

Так опять же - а что может предотвратить переход от стадии AGI к ASI? Текущая политическая ситуация? Почему? Мне кажется, это независимые друг от друга процессы (ну, не совсем, может быть, независимые, но почти).

[Polnoch Ксю]

Они всегда были войной без правил.

Нет, наоборот. Без правил она была только пока, была ниже радаров - не выходила в публичную плоскость, так как до событий 2014го в мире существовал сильный институт репутации.

Методом вызова производств в эти развивающие страны, стагнации зарплат развитых стран, радикального укрепления капитала и полного уничтожения профсоюзов

Нет, все было совсем не так: в мире без ИИ (а мир до 2014го был именно таким... Даже наш мир частично ещё мир без ИИ) где работу могут делать только люди, ты всегда ограничен ресурсом людей. И ты или производишь товары с высокой добавочной стоимостью(наверное, единственная концепция марксизма, которая подтвердилась как хорошая экономическая модель), или производишь товары с низкой добавочной стоимостью. И тебе выгодно как раз производить товары с большой добавочной стоимостью - SaaS приложения, технологии.

Логика того же самого процесса, что происходил когда крестьяне исходили в города - тогдашние скрепоносцы выли, на что люди матушку-землю бросили? На бесовский пар и дым из паровых котлов?
Между тем, у промышленных товаров в XIXм веке была добавочная стоимость больше, чем у производства еды крестьянами.

Так что отказ от не-хайтек индустриального производства в пользу создания технологий был как раз очень разумным - у последних добавочная стоимость куда больше! Развитые страны при этом от хайтек промышленности не отказывались - см. например степперы для чипов, турбины для электростанций, станки, самолёты, буровое обурудование для сланцевой нефти итд.

Отказ был именно от лоу-тек производства с низкой добавочной стоимостью. При этом в США очень большой уровень неравенства (см. коэффициент Джини). Это институциональная проблема того, как устроено местное государство. Пропагандисты скрепоносцев-антиглобалистов обманули людей, заставив их поверить, что проблемы в их жизни связаны с глобализацией а не с запредельным неравенством.

Нет, в Евросоюзе, где низкий уровень неравенства, есть свои проблемы - например, я думаю, куча проблем, неэффективности Евросоюза связаны с профсоюзами. Я думаю, что профсоюзы, как и монополии корпораций, снижают вот эту самую хорошую конкуренцию (в рамках гуманистических правил). Из-за профсоюзов эффективность экономики ЕС очень сильно страдала.

Я думаю, что проблемы неравенства лучше решать не профсоюзами - их нужно запретить, как и делить на части корпорации, захватившие монополию - а выплатой UBI (универального базового дохода). Да, пока человечество не может платить UBI, сравнимый с зарплатой. Но в мире продолженного 2014го можно было начать в развитых странах с, скажем, 5-10 тысяч долларов в год (при медианной зарплате скажем в 40 тысяч долларов в год).

[Olweg]

Я категорически не согласна с этой точкой зрения. Уверена, что мы жили как раз в совсем другом мире - в котором были хоть и несовершенные и время от времени нарушавшиеся, но правила, работавшие на благо всей планеты. Особенно на благо развивающихся стран - можно посмотреть на темпы роста развивающихся экономик. Если бы тренд сохранился, через лет 30 после 2014го мы бы жили в таком планетарном аналоге Евросоюза, где нигде нет страдающих людей.

А что случилось с темпами роста развивающихся стран непредвиденного? Китай резко ушёл в минус, а тропическая Африка, наоборот, взлетела в лидеры догоняющего развития? По мне так основные тенденции не поменялись. И, увы, ожидать гомогенного мирового Евросоюза не приходится, поскольку Евросоюз как таковой создан людьми с более-менее одинаковым интеллектуальным потенциалом и следующим из него уровнем развития (ух, хорошо, что я не живу в США, а то меня б тут же отменили бы).

И правила были написанны в основном из гуманистических целей. И это страшная трагедия, что мы  руками скрепоносных дегенератов, которым позволили нами управлять, разрушили это величайшее гуманистическое завоевание.

Во-первых, ничего не разрушено. Вы преувеличиваете роль личностей в истории и недооцениваете инерцию и стабильность систем, а она, уверяю вас, очень высока. По крайней мере тех, что проходили неоднократный отбор до того. А во-вторых, вы слишком идеализируете мир, который был раньше. Как будто в нём не было марта 2003.

[Polnoch Ксю]

Я надеюсь, вы же не считаете, что в военных или вообще в каких-нибудь государственных лабораториях смогут вырастить ИИ, превосходящий его коммерческие аналоги?

Я считаю, что нам всем дают очень маленькие модели, дистиллированные с больших. Да, новые маленькие модели умнее больших древних моделей - тех, что были созданы 3-4 поколения назад.
Но большая модель значительно превосходит маленькие, публичные модели текущего и даже следующего поколения.

вы же не считаете, что в военных или вообще в каких-нибудь государственных лабораториях смогут вырастить ИИ, превосходящий его коммерческие аналоги?

Как раз считаю - что у военных и государства есть доступ к вот этим самым большим моделям до дистиляции. Однако, это не очень важно, я думаю вы кое-что пропустили в моей логике

Стоп. Так вы же, вроде, говорили о “rogue AI”, то есть ИИ, самопроизвольно захватывающем контроль над всем и вся? Какое тут имеют значение административные ограничения?

Административные ограничения сделали бы так, что все датацентры в мире имели бы только TPU, на которых можно запускать или подписанные, или "глупые" модели.

В этом мире просто не было бы больших моделей, чей рантайм не подконтролен гражданскому обществу.

Так опять же - а что может предотвратить переход от стадии AGI к ASI

В мире продолженного 2014го предотвратил бы административный конроль (по аналогии с контролем над ядерным оружием) над разработкой слишком умных моделей. Разрегулированы бы были только модели до уровня AGI включительно.

Текущая политическая ситуация? Почему?

Она наоборот причина того, почему мы погибнем