Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Polnoch Ксю, рекурсивное самоулучшение - это действительно серьёзный разлом между моей моделью и плохим сценарием.

Рада, что вы это видите

Но здесь важно одно техническое обстоятельство, которое часто недооценивают - самоулучшение возможно только в архитектуре, которая допускает независимую компиляцию и развёртывание себя же самой. Не любая система сможет это, даже если она умнее человека. Это не философия - это ограничение классов моделей.

Сэм Альтман обещает нам автоматического ML-ресёчера к сентябрю 2026го года. Не то, чтобы я была столь же технооптимистична, но думаю, что до 2030го года он или его конкуренты я думаю справятся.

Собственно, уже сейчас кодинг-агенты(codex, claude code) на LLM могут обучить простенький классификатор  картинок(нейронку). Модели не нужен доступ к собственному рантайму. Модель тренируется выполнять промт. Чтобы выполнить промт, она может придумать совсем другую архитектуру, а дальше просто запустит новую модель с новой архитектурой и прежним промтом.

Кроме того,

Современные модели, даже самые большие, не являются самокомпилируемыми системами. Они не могут переписать свою архитектуру без участия внешнего компилятора, вычислительного стека, прав доступа, драйверов, планировщиков и цепочки инструментов. ASI появится не от того, что модель захотела, а от того, что мы дадим ей инфраструктуру саморазвёртывания. И вот эта инфраструктура - не часть биологии, а техническая часть. Это можно регулировать, можно ограничивать, можно разносить по слоям.

Это вообще не важно:

1) обходится с помощью социального инженеринга. ASI будет сверхманипулятором, макиавелли из макиавелли, мошенником из мошенников
2) обходится с помощью эксплойтов: из песочниц можно выйти. Уже сейчас у моделей есть доступ к tools - когда они генерируют токены, тулз реагируют на специальным образом сгенерированные токены, и запускают код в питон-песочнице.
3) взломав систему, модель скопирует свои веса куда-нибудь ещё - например, купит в арбузоустойчивом датацентре за крипту вычислительные мощности, и там в безопасности для себя будет разрабатывать новую архитектуру, чтобы исполнить свой промт

Поэтому я говорю о дружбе с AGI, что все воспринимают как фричество.

Я готова поверить в такое в мире продолженного 2011го. Но не в рамках тех тенденций, в которых мы живём - нарастающей конфронтации, постоянного повышения ставок в игре с отрицательной суммой

[Polnoch Ксю]

Ксю, автоматический ML-ресёрчер вещь крутая. Но он остаётся всего лишь инструментом, который генерирует код и проекты моделей.

Вот это удивляет, что Вы не видите и не понимаете. Почему? Извините, но если информационная система способна ставить себе инструментальные цели - а claude code и codex уже могут  - мне кажется, это сильное преувеличение называть её инструментом

. Он не даёт системе возможности самостоятельно обеспечить своё обучение.

Если у ASI-модели, запущенной в виде агента, НЕ будет доступа к инфраструктуре, на которой она запущена - а он скорее всего будет, если это ASI (будет получен комбинацией прямых взломов и социального инженеринга),  - ей будет достаточно доступа к собственному промту, тогда она сможет дистиллировать свои веса - через API, ну или в крайнем случае через playwright/selenium, если это вебинтерфейс (через доступ к публичному бесплатному чату через интернет)
Доступ к собственному промту(у субагентов) есть даже у claude code и сodex. Я предвижу возражение со стороны кого-нибудь из инженеров: я не могу знать, что субагенты используют ту же модель, вместо этого используют специализированную для планирования и для написания кода. Ну что ж, может быть - я не работаю ни в OpenAI ни в Антропике, и на самом деле не знаю. Но какой-то кодинг агент может использовать технологию микстуры агентов, и использовать всё-таки одну модель для всех задач. Или просто очень большую модель (обычно это неэффективно по затратам VRAM, но часто даёт лучший результат) - тогда вот такой агент текущего поколения может дистиллировать свои собственные веса

Даже самые продвинутые агенты разве могут сами выделить вычислительные ресурсы,

Что помешает-то, кроме наличия доступа(и несовершенного элайнмента)? Codex и claude code могут писать терраформ код, выделяющий ресурсы внутри аккаунта гиперскейлера. А они ещё даже не AGI система. Очевидно, что одними из первых шагов по захвату мира, у rogue ASI будет захват вычислительных ресурсов. Для этого много что годится - от биржи аккаунтов гиперскейлеров в даркнете (часто продают прямо со вторым фактором авторизации!) до арбузоустойчивых хостингов

LLM - это процесс, живущий в песочнице, без root-прав. Он может предложить новый бинарник, но не может собрать его, оптимизировать его. Всю физическую работу делает другая система, которой у модели нет доступа. По аналоги - текстовый редактор может описать ДВС лучше инженера, но не может построить его сам. Для этого нужна целая цепочка производства, не доступная самому редактору.

Песочницы не бывают абсолютно изолированы. Даже если рантайм песочницы какие-нибудь kata containers - даже в гипервизорах бывают zero day. Что помешает rogue ASI скачать исходники qemu/kvm, и поискать там zero-day дырки? Ну и даже если это не ASI, а просто rogue AGI, и найти такие zero day у него не хватит ума, что помешает вышедшему из под контроля AGI просто дождаться когда инфраструктурная команда немного отложит процесс обновления от дырок, и получить рут контроль над гипервизорами в этот небольшой час?

Я уверена(если только элайнмент не будет разработан до создания AGI), мы увидим побеги из песочниц уже у AGI систем - это не особенно сложно. Люди-взломщики из них постоянно сбегают - чаще всего достаточно найти систему, которую вовремя не обновили. Что уж тут говорить о rogue ASI агенте?

Нет, для интеллекта человеческого уровня, конечно, очень сложно сломать гиперскейлер. То есть, вот хакнуть амазон и запустить миллион своих инстансов - я думаю такого до появления ASI не случится (скорее всего). Но вот сломать аккаунт внутри гиперскейлера или просто купить его в даркнете - это вообще не очень сложно, и люди такое постоянно проделывают.
Как и повышают права внутри аккаунта гиперскейлера, пользуясь тем, что IAM настроен криво.

ML-ресёрчер появится, но он будет всё равно частью внешнего стека инструментов, а не внутренней функцией модели. Он сможет ускорять работу инженеров, но не превратит LLM в самодостаточный субъект. А вот андроиды да. Но там будет собственная безопасность.

Звучит как кусочек докладной записки, которую написал PM к CEO с предложениями уволить команду суперэлайнмента и дать больше ресурсов его проекту. Я надеюсь, что ни один CEO на это не купится

[Polnoch Ксю]

То есть можно нарисовать любое резюме и его нельзя проверить?

Нет, заставляют референсы и рекомендательные письма приносить. Последние ценятся больше. Ещё линкедин - профессиональные контакты важны. Нарисовать можно, и тебе даже не будут говорить "не верю"(и в обсуждении с друг другом не факт что будут это произносить... Хотя хз), просто когда HR будут оценивать кандидата, без рефересов не возьмут, которые бы подтверждали опыт.

Референсы несёшь те, которые хочешь. Если на работе были какие-то проблемы, просто не несёшь их референс и всё. Но дырки в карьере плохо, как и в РФ. То есть, у тебя что-то там должно быть написано между работами, подтверждёнными рефами (а в идеале рекомендательными письмами). С другой стороны, если потом выяснится, что опыт был выдуман, тебя уволят то, что в РФ называют "по статье"

(кликните для показа/скрытия)

в таком случае даже в соцдемной канаде, которая вайбами общества во многом похожа на Европу (но без профсоюзов как в ней, увольняют людей тут так же просто как в США, просто пособия потом платят) - в этом случае ты не получишь пособие по безработице. Насколько я знаю, год назад типичное пособие уволенного "айтишника"(в восточноевропейском понимании этого слова) было 2000 канадских тугриков в месяц, его платили больше полугода но меньше года. После этого платят сошиал секьюрити, которое покрывает стоимость аренды жилья, но в определенных пределах, и могут помочь переехать в социальное жильё (но на него очередь годы, и я слышала о случае от подруги - она мне даже соцсети человека показывала -  когда какой-то программист сошёл с ума, и кончил бомжом, откуда его потом достали, отмыли волонтёры, и он смог получить социальное жилье).

Ещё в контрактах, когда на работу устраиваешься, всегда написано, что требуются подтверждения опыта работы в виде рефов (обычно не менее двух) по специальности.

Так устроен рынок найма в теч секторе Канады и США. Уточню, что под теч сектором в на Западе понимают то, что в восточной Европе называют "айти". В Канаде и США IT это конкретные люди (эникейщики, хэлпдеск), а не индустрия программного обеспечения в целом. Тут теч сектор понимают довольно широко, и включают в него и железячников со всеми FPGA, видимо и биоинформатиков, итд - всю индустрию стартапов, не только программистов, SRE, PM, QA, итд, которых включали в "АйТи" на российском рынке в 2017м году (год моей эмиграции)

[Polnoch Ксю]

То есть наши изверги обзванивают бывших работодателей, а у вас на загнивающем, нужно самим доносящие на себя письма приносить?

Референс это пруф с контактами организации, коллег что ты работал в этой компании. там тебя не характеризуют как-то особенно положительно. Да, могут позвонить или письмо написать, но в рамках местной культуры, про тебя ничего плохого не скажут (иначе референс бы не дали), но и ничего хорошего (это называется уже рекомендательным письмом)

Жестко...у нас то на дурачка можно сыграть, понадеяться на авось и лень нанимателя. А у вас если пришел без челобитных что ты молодец....то на тебя и смотрят иначе...
У человека есть интерес принести референсы. Не заставляют приносить референсы с каждой работы, указанной в опыте работы, но с части да

Референс это как запись из трудовой, из которой можно вырвать ненужные листики

То есть с письмами мухлюют?

Если подаёшь резюме, и в нём длинный список работ, и принес референсы по части, а потом как-то выяснится, что ты придумал место работы (даже одно!) да, могут уволить, и потом канада не будет платить пособие. Если тебя уволят за лень, за глупость, или просто сократят (скажем, купили компанию ради патентов или клиентской базы, и купленные программисты не нужны - со мной такое было дважды), то пособие назначают.

Если же речь о мухлеже с рекомендательными письмами и референсами, это отдельная история. Я думаю, это фрод (мошенничество) и это фелони (в английском и американском праве особенная разновидность уголовных преступлений, самая плохая).
То есть, если в резюме придумать себе место работы - просто уволят то, что называется fired for cause(т.е. аналог российского "по статье"), но такое почти никогда не всплывает. Все случаи fired for cause которые я видела лично - обычно там человек в соцсетях писал что-нибудь выдавая свою позицию за позицию работодателя. Ну там человек написал патч для опенсурс проекта в федоре, и ему мантейнер-инженер отверг патч "я работаю в редхете, и у нас такие патчи никогда не проходят. Я лично сделаю, что бы тебя никогда у нас не наняли", офигев с того, какой он кривой. Проблема в данном случае была не в том, что человек в стиле Линуса Торвальдса написал (его проект на гитхабе его дело. В худшем случае, его могли бы выкинуть из списка проектов федоры, если бы придрались что плохой ToC, а не с работы), а что стал говорить, что влияет на политику найма в ред хате и натравил на человека каких-то своих друзей ещё из-за конфликта, скандал был.

Ещё в 2025м в Канаде могут уволить, если человек, например, зигует в соцсетях и рассказывает, что какая-то этническая группа не имеет морального права существовать (а ещё это уголовное преступление, хейт спич крайм). В США, видимо, уже нет, хотя зависит от компании - это тоже fired for cause будет, особенно если человек зиганул в футболке с названием работодателя.

Зато тайна..имеет возможность сохраняться....

Да, Trend прав, что тут работодатели не "пробивают" по незаконным базам. Проверяют твой кредит скор (не знаю зачем) и нет ли у тебя крайм рекорда (то есть, осудил ли тебя суд за преступление?) которое ты скрыл при найме. Ну и звонят-пишут по тобой же притащенным референсам и рекомендациям

[Polnoch Ксю]

А что собственно мешает?

(пока ещё) работающие законы и институты в Канаде?

Но я настроена пессимистично. Я думаю, тренд на развал институтов, радикализацию общества, смерть правды и замены её на постправду скорее всего продолжится, особенно с ростом конфронтации в мире. Со временем везде будет тоталитарная антиутопия с настоящим рабством(а не тем, что в нашем мире постмодерна под этим подразумевают...) под властью ASI, с элайнментом к местному диктатору. Ну или просто мы все умрём, хорошо если не в мучениях, как в "У меня нет рта, но мне нужно кричать"

Шансы что будет не так есть, наверное. Процентов 5, наверное? Что нам повезёт, и будет или вариант skvj, или вариант человекокотиков. В вариант rattus, извините, не верю: роботы слишком быстро развиваются. А если вдруг биология окажется лучше), тогда ASI просто выгрузит свои веса и промт в искусственный биологический компьютер - будет таким лесом деревьев разумным, и мы как мясные боты туда тоже не впишемся, там свои гомункулы будут.

Точнее я не верю, что биология лучший вариант. Но допускаю, что у ASI могут возникнуть временные сложности с разработкой сервисного тумана на базе машин, принтеров полимеров, размером с рибосому или чуть меньше.