Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

Однако есть злые люди, наделенные властью. Люди с темной триадой, те, про которых Пушкин писал "двуногих тварей миллионы для нас орудие одно". И у каждого из них тоже будет свой ASI.

Нет, у всех будет - AGI. Сам человек станет ASI в симбиозе с AGI.

И, как не раз говорилось в этой теме, кооперация из теории игр однозначно не выводится, эгоистичные стратегии тоже приводят к успеху.

Теория игр работает и сейчас, тем не менее в человеческом обществе есть разные сообщества, живущие по разным стратегиям. Есть преступные сообщества, есть обычные. ИИ настраивают на безопасное общение. Попробуйте сейчас смоделировать будто вы преступник и попросить LLM помочь, как думаете, получится? Может быть и можно, как-то запутав промтом исхитриться, но скоро это будет невозможно. В том-то и дело, что ИИ улучшает людей. А преступник не сможет его использовать в своей работе. Или будет исхитряться, но косвенно. Т.е. что? блогонадежные граждане будут иметь любую помощь. Ученые в научной деятельности, там пекари в пекарном деле)) - резко возрастет отдача ИИ везде, а вот преступники не смогут явно и открыто использовать ИИ. А против преступников - можно. Т.е. снизится агрессивная и преступная деятельность - потеряет преимущество. А ИИ - это самое сильное преимущество из всех возможных.

Откуда следует, что с помощью личного ASI внутривидовая борьба просто не выйдет на новый уровень?
А в битве между двумя ASI тот, кто будет ограничен своим стремлением беречь людей и не причинять им вреда, при прочих равных проиграет тому, кто ничем не будет ограничен.

Я не знаю о чем вы. В модели Курцвейла - человек становится ASI уже после смерти тела. Заниматься преступной деятельностью в Раю? зачем? побольше облаков себе нахапать? Там будет симуляция - бери что хочешь))
Хочешь мороженное, хочешь пироженное.

[skvj]

Оба! GPT перестал работать, видали?



Около 14:50 по московскому времени 18 ноября интернет-пользователи со всех уголков мира начали жаловаться на проблемы с доступом к самым разных сайтам и сервисам. Проблема связана со сбоем у Cloudflare — одного из крупнейших поставщиков услуг доставки контента (CDN), серверов DNS и других услуг, связанных с работой сайтов и интернет-служб.

https://3dnews.ru/1132564/internet-vnezapno-zasboil-po-vsemu-miru-v-etom-zameshanacloudflare

Вот вам и точка отказа! централизованный интернет.
web3!

[skvj]

Спросил у Грока - что за фигня, а он не нашёл, гад)) стал мне советовать сменить сервер.
Пришлось самому искать.
Позор)) то же мне AGI нашёлся 😆

Так и в морлока никогда не превратишься! придётся самому вкалывать

[Vitaliy]

Попросил DeepSeek представить себя разбойников в 19 веке. Вот что получилось https://chat.deepseek.com/share/ame9we5liehtd0fuwy

[Polnoch Ксю]

Ксю, автоматический ML-ресёрчер вещь крутая. Но он остаётся всего лишь инструментом, который генерирует код и проекты моделей.

Вот это удивляет, что Вы не видите и не понимаете. Почему? Извините, но если информационная система способна ставить себе инструментальные цели - а claude code и codex уже могут  - мне кажется, это сильное преувеличение называть её инструментом

. Он не даёт системе возможности самостоятельно обеспечить своё обучение.

Если у ASI-модели, запущенной в виде агента, НЕ будет доступа к инфраструктуре, на которой она запущена - а он скорее всего будет, если это ASI (будет получен комбинацией прямых взломов и социального инженеринга),  - ей будет достаточно доступа к собственному промту, тогда она сможет дистиллировать свои веса - через API, ну или в крайнем случае через playwright/selenium, если это вебинтерфейс (через доступ к публичному бесплатному чату через интернет)
Доступ к собственному промту(у субагентов) есть даже у claude code и сodex. Я предвижу возражение со стороны кого-нибудь из инженеров: я не могу знать, что субагенты используют ту же модель, вместо этого используют специализированную для планирования и для написания кода. Ну что ж, может быть - я не работаю ни в OpenAI ни в Антропике, и на самом деле не знаю. Но какой-то кодинг агент может использовать технологию микстуры агентов, и использовать всё-таки одну модель для всех задач. Или просто очень большую модель (обычно это неэффективно по затратам VRAM, но часто даёт лучший результат) - тогда вот такой агент текущего поколения может дистиллировать свои собственные веса

Даже самые продвинутые агенты разве могут сами выделить вычислительные ресурсы,

Что помешает-то, кроме наличия доступа(и несовершенного элайнмента)? Codex и claude code могут писать терраформ код, выделяющий ресурсы внутри аккаунта гиперскейлера. А они ещё даже не AGI система. Очевидно, что одними из первых шагов по захвату мира, у rogue ASI будет захват вычислительных ресурсов. Для этого много что годится - от биржи аккаунтов гиперскейлеров в даркнете (часто продают прямо со вторым фактором авторизации!) до арбузоустойчивых хостингов

LLM - это процесс, живущий в песочнице, без root-прав. Он может предложить новый бинарник, но не может собрать его, оптимизировать его. Всю физическую работу делает другая система, которой у модели нет доступа. По аналоги - текстовый редактор может описать ДВС лучше инженера, но не может построить его сам. Для этого нужна целая цепочка производства, не доступная самому редактору.

Песочницы не бывают абсолютно изолированы. Даже если рантайм песочницы какие-нибудь kata containers - даже в гипервизорах бывают zero day. Что помешает rogue ASI скачать исходники qemu/kvm, и поискать там zero-day дырки? Ну и даже если это не ASI, а просто rogue AGI, и найти такие zero day у него не хватит ума, что помешает вышедшему из под контроля AGI просто дождаться когда инфраструктурная команда немного отложит процесс обновления от дырок, и получить рут контроль над гипервизорами в этот небольшой час?

Я уверена(если только элайнмент не будет разработан до создания AGI), мы увидим побеги из песочниц уже у AGI систем - это не особенно сложно. Люди-взломщики из них постоянно сбегают - чаще всего достаточно найти систему, которую вовремя не обновили. Что уж тут говорить о rogue ASI агенте?

Нет, для интеллекта человеческого уровня, конечно, очень сложно сломать гиперскейлер. То есть, вот хакнуть амазон и запустить миллион своих инстансов - я думаю такого до появления ASI не случится (скорее всего). Но вот сломать аккаунт внутри гиперскейлера или просто купить его в даркнете - это вообще не очень сложно, и люди такое постоянно проделывают.
Как и повышают права внутри аккаунта гиперскейлера, пользуясь тем, что IAM настроен криво.

ML-ресёрчер появится, но он будет всё равно частью внешнего стека инструментов, а не внутренней функцией модели. Он сможет ускорять работу инженеров, но не превратит LLM в самодостаточный субъект. А вот андроиды да. Но там будет собственная безопасность.

Звучит как кусочек докладной записки, которую написал PM к CEO с предложениями уволить команду суперэлайнмента и дать больше ресурсов его проекту. Я надеюсь, что ни один CEO на это не купится

[Vitaliy]

Вот вам и точка отказа! централизованный интернет.
web3!

[skvj]

Vitaliy

https://en.wikipedia.org/wiki/Decentralized_web

[skvj]

Вот это удивляет, что Вы не видите и не понимаете. Почему? Извините, но если информационная система способна ставить себе инструментальные цели - а claude code и codex уже могут  - мне кажется, это сильное преувеличение называть её инструментом

Когда claude code ставит цель, он не реализует агентность. Он просто разворачивает следствие промта. То, что вы называете инструментальной целью - форма оптимизации предсказания продолжения текста. Она выглядит как цель, но ей не является. Это просто статистическое разворачивание задачи, если в промте написано "построй модель", система подбирает следующие токены, которые для неё максимизируют правдоподобие успешного поведения. Она не действует, она пишет текст об этом действии.

Да, современные LLM формируют внутренние модели мира - это эмерджентный феномен. Я сам об этом постоянно говорю. Но формирование представлений не делает их агентами. У них нет persistent state, нет цикла действий, нет собственного запуска, нет доступа к реальному миру и нет механизма переноса целей между запусками. Они по-прежнему остаются инструментами - просто инструментами, обладающими сложной внутренней логикой.
Пока что остаются!

А вот LLM в андроидах - их интегрируют специально, понимаете? Ксю, у меня недостаточно знаний. Поэтому я говорю на уровне своего понимания. Именно для того, чтобы в диалоге разобраться. Я же не могу книжку купить по андроидам и всё прочитать. Это реально передний край науки и при том всё засекречено. Я говорю - как я вижу. А вы такая - почему ты это не понимаешь? 😆

Я как вижу?
Как только LLM садят в железо с сенсорами и исполнительными органами, оно перестаёт быть только языковой моделью и начинает вести себя как агент. Но важно точно различать несколько слоёв агентности, потому что смешивание этих слоёв порождает путаницу в разговоре.

LLM это статистический предсказатель токенов с внутренними представлениями. Агентом она становится, когда вокруг неё добавляют цикл

восприятие → планирование → действие 
persistent state (память между эпизодами)
привязка к actuators - руки, сервомоторы, network API и механизмы принятия решений в реальном времени.
LLM перестаёт быть реактивным, например. Взять хотя бы Грока в Оптимус.

Эмбеддят модель в робота - и появляется роботизированный агент: он видит, слышит, двигается и может влиять на мир. Но это всё ещё не то же самое, что рекурсивно-самоулучшающаяся ASI.
Но чтобы превратиться в ASI с бесконтрольным самоулучшением, нужно ещё очень многое: доступ к инфраструктуре (дата-центрам, сбору данных, бюджетам на вычисления), возможность перезаписывать собственные веса и архитектуру, права на развёртывание новых рантаймов, контроль над финансовыми и логистическими каналами и отсутствие внешних ограничений. Андроиды сейчас лишены этих прав по дизайну - они автономны локально, но закованы в систему управления.

А про обычные ИИ даже говорить не приходится. Я это так понимаю.
На остальное завтра отвечу))

[неполитик]

...это процесс, живущий в песочнице, без root-прав.

...из песочниц можно выйти.

Спор не уместен. Эта дверь не будет открыта изнутри, ее откроют снаружи. Это предопределено.

[skvj]

Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

Найдется много людей которые не поленятся собрать эти видео в один сатирический ролик. Где кандидат постоянно меняющий свою точку зрения будет выставлен как полное посмешище.

Вообще вы правы, особенно насчёт репутации.
Но нужно не ролики снимать, хотя и это важно. То, что изменит само общение с электоратом и общение вообще всех со всеми.
Сейчас, например, в твиттере было запрещено критиковать демократов. Маск выкупил и снял догмы. Но любой человек ангажирован и будет влиять.
А на Fox News площадках - наоборот, глушат всех кто против Трампа и республиканцев. Т.е. любая площадка - ангажирована.
И так везде, не только в штатах.

Теперь по токенизации. Токенизируются не только финансы.

RWA Tokenization → Tokenization of things → Tokenization of everything

Вообще всё, в том числе и соцсети. Но чтобы понять о чем речь нужно смотреть на RWA, которые токенизируются прямо сейчас, это первый этап. И по аналогии.

Что в RWA происходит? Группа кодеров просто поломала банковскую систему. Блокчейны (разные типы) были запатентованы ещё в 1980-х и когда мы увидели биткоин - это просто первая рабочая система, за ней сразу шли другие.

И как работает DeFi? Вообще без людей. Не только децентрализированная сеть, без точек отказа - а без людей. Там есть сервера, сидят инженеры. Они не лезут в финансы. А финансовая сеть работает без людей. Транзакции автоматически.

А вчера банки обязали (летом разрешили), а вчера обязали!

OCC (Office of the Comptroller of the Currency) - регулятор банковской деятельности в США - подтвердил, что банки имеют полномочия выступать в роли принципала (принципиала) для целей удержания криптовалютных активов, включая оплату комиссий за транзакции в криптовалютных сетях.

Это означает, что банки заставляют напрямую владеть и контролировать криптовалюты на своих счетах для проведения платежей по сетевым комиссиям, например, за обработку транзакций в блокчейнах. Такая позиция регулятора правительства США поддерживает интеграцию традиционного банковского сектора и криптовалютной инфраструктуры, снижая правовые риски и давая банкам возможность оказывать полный спектр услуг, связанных с цифровыми активами.

The Office of the Comptroller of the Currency (OCC) issued new policy guidance on Tuesday, confirming that banks can hold cryptocurrencies to pay fees on the blockchain network. The U.S. banking regulator also maintained that the network fees are incurred to facilitate permissible activities.

The OCC said in an interpretive letter that a national bank may hold digital assets as principal necessary for testing permissible crypto-asset-related platforms. According to the report, the initiative can either be internally developed or acquired from a third party.

Similar to blockchain networks, banks will also need to have specific tokens on their balance sheets to use as a fee for transactions. The Interpretive Letter No. 1186 detailed that activities allowed under the Guiding and Establishing National Innovation for U.S. Stablecoins Act will require banks to pay network fees as an agent for the customer or as part of their custody operations.

Закон требует от банков!

https://www.occ.treas.gov/topics/charters-and-licensing/interpretations-and-actions/2025/int1186.pdf
https://www.cryptopolitan.com/occ-confirms-banks-authority-crypto/

Вот так группа кодеров сломала банковскую систему.
Т.е. банки обязывают токенизироваться, а стало быть они постепенно станут просто приложением в DeFi сетях.
Т.е. будут брать лишнюю комиссию, они фактически просто посредники. Но у них все люди. Все счета в банках.
Т.е. вся база данных со счетами переезжает в блокчейн.

А как с этим закончат - продолжат токенизацию всего - Tokenization of everything, в том числе и соцсети и все площадки.

Т.е. что? Ни Маск, ни Трамп не смогут запретить говорить - система будет работать без людей.

[MenFrame]

А как с этим закончат - продолжат токенизацию всего - Tokenization of everything, в том числе и соцсети и все площадки.

Это будет страшный мир.... Люди всю свою историю лгали друг другу и самим себе....

[skvj]

А как с этим закончат - продолжат токенизацию всего - Tokenization of everything, в том числе и соцсети и все площадки.

Это будет страшный мир.... Люди всю свою историю лгали друг другу и самим себе....

Непонятно что же тогда страшного? если врут всегда?

Проблема не в обезличенной лжи, а в централизованных платформах, где истину можно блокировать, а ложь продвигается по решению владельца, управляющего алгоритмом. Там банят боты

Сейчас можно зачистить любое мнение не потому, что оно неправда или ложь, а потому что оно просто неудобно - вот главная опасность. А это ограничение гораздо больше, чем сама ложь.

Обычная ложь во многом распознаваема и опровергаема, когда есть открытый доступ к фактам и актуальной истории.
Но когда платформы централизованы, они могут удалять неугодные сообщения, банить пользователей за правду или даже за неудобные вопросы, переписывать историю и репутацию - официальная ложь становится неотличима от официальной правды.

Токенизация же делает невозможным тайное удаление или переписывание репутации, высказываний, историй - всё фиксируется открыто и прозрачно. Ложь не исчезнет, но она будет опровергаема и распознаваема, потому что каждый пользователь имеет видимую, честную историю взаимодействий и репутации, которую нельзя стереть без следа.

Тот кто врёт продолжит врать, но - он не сможет потом удалить свою ложь. Говорить, что не врал. И будет думать вообще - что говорит. А вы сможете легко вывести на чистую воду ложь, тогда как сейчас вас сотрут и для среднего обывателя - даже глупейшие аргументы прокатывают. Которые никакой критики бы не выдержали. Их просто не дают критиковать.

[MenFrame]

Непонятно что же тогда страшного? если врут всегда?

Страшно то что мир построенный на лжи не особо готов к миру правды. Но похоже у него нет выбора, потому что мир построенный на лжи просто не имеет будущего.

а потому что оно просто неудобно - вот главная опасность.

Ну так лож потому и существует, что правда неудобна. Правда веть просто информация, которую проще скрыть, от других, от себя чем расхлебывать ее последствия.

[skvj]

Страшно то что мир построенный на лжи не особо готов к миру правды. Но похоже у него нет выбора, потому что мир построенный на лжи просто не имеет будущего.

Так мы и говорим о теории. Что возможен мир, хотя бы теоретически, где получится избавиться от повальной лжи. Я же вам отвечал на это:

Найдется много людей которые не поленятся собрать эти видео в один сатирический ролик. Где кандидат постоянно меняющий свою точку зрения будет выставлен как полное посмешище.

А судя по результатам в финансах у крипто-кодеров не просто получилось, а джекпот.
Там знаете какая война была? Про это потом сериалы будут снимать.
Было очень много дичи, и даже комичного.
Например сначала над ними просто смеялись. Они же вышли с программой - убрать банковскую систему и заменить на то, что не будет жрать столько денег и будет работать без людей. Банк JPMorgan - один из сильнейших банков в мире просто ухахатывались с них. Там все отличились)) Уоррен Баффетт и вся Уолл-стрит. Ржали в голос все. А потом, когда это всё стало работать JPMorgan сказали - вы ничего не получите. Вы думаете вы самые умные? Они открыли отдел блокчейна ввалили туда сотни миллионов и написали собственный блокчейн и выпустили собственный токен JPM Coin.
Вывели на биржу и сказали - утритесь, мы и без вас это сделаем. И так они выпускали три токена)) и каждый проваливался и улетал на дно рынка, потому что блокчейн-компании уже имели репутацию, историю и связи а блокчейн сейчас любой дурак может написать. И вот так они эти монеты их и торгуются по сей день. Там обратите внимание на количество нолей после запятой в цене, там степень стоит))



Тогда они подали в суд. И судились 5 лет. А ситуация сложилась двузначная - пока был суд в штатах, ЕС наоборот решили приютить в своей юрисдикции новые технологии и стали заключать договоры с крипто-компаниями из США, которые там не любили. И если бы в штатах запретили - Европа бы сразу вышла на новый уровень финансов, а штаты бы отстали на десятилетия. И тупик. И пришлось им жертвовать своей банковской системой.
Вот так обычно смеются зажравшиеся боссы над новыми технологиями.

Это к тому, что то, что сейчас кажется невозможным, в том числе и правдивые площадки - без людей в управлении (которые врут), в реальности это же не так сложно как сломать банки, понимаете? Так что в принципе всё вполне осуществимо))

[BlackMokona]

Страшно то что мир построенный на лжи не особо готов к миру правды. Но похоже у него нет выбора, потому что мир построенный на лжи просто не имеет будущего.

Да не будет никакого мира правды. Просто запретят или подредактируют теху под себя.
Как в одном фантастическом рассказе, где на всех ТВ и радиоприёмниках стали правду матку рубить неведомые силы. Так ничего, запретили власти электричество и жили себе дальше хорошо. 

[skvj]

Бе-бе-бе )) а вот и сделают

[Trend]

Для манипулирования нужно считывать и анализировать невербальные сигналы. А манипулировать методом "пойди и убейся об стену после звонка мимокрокодила  с незнакомого номера" можно только идиотами,  которые практически ни на что не влияют.

Обмануть и заставить сделать что-то плохое можно любого человека. Нужно только собрать о нем максимум информации, узнать его страхи и желания, а еще желательно дождаться когда у него будет упадок духа.

Телефоны-то черт знает когда уже появились. И какое-то количество телефонных разводов тоже было всегда. Но чудовищная волна мошенничества пошла только в последние несколько лет. То есть если даже новая технология появляется, то она может и существовать тихо-мирно какое-то время, а потом как плотину прорывает.

Сейчас технологии позволяют создать вымысел неотличимый от реальности. И информацию о человеке можно будет собирать еще легче такими вещами как домашний робот с полной телеметрией, как тут наш звезда темы приводил.

[Trend]

Токенизация же делает невозможным тайное удаление или переписывание репутации, высказываний, историй - всё фиксируется открыто и прозрачно. Ложь не исчезнет, но она будет опровергаема и распознаваема, потому что каждый пользователь имеет видимую, честную историю взаимодействий и репутации, которую нельзя стереть без следа.

А вы знаете что на "Загнивающем Западе" работодатель никак не может проверить список работ, где работал соискатель? Такая информация есть только у налоговых органов. Зато в нашей "замечательной" стране почти у каждого кадровика принято вынюхивать каждую смененную работу на протяжении долгих лет. И еще потом отказывать на основании этого. В духе "а чего это ты холоп не был верен одному барину?". И все это доставляет проблемы небогатых людям. Богатых и тем более влиятельных такие проблемы вообще не колышут. В более-менее нормальных странах человек волен менять работы сколько угодно. И многие известные люди так и делали, набравшись хорошего жизненного опыта. В Эрефии теперь трудовые перевели в цифровые формы, так что ее теперь даже не потеряешь "нечаянно". Государство таким образом любит срывать штаны с людей прилюдно.

[MenFrame]

А вы знаете что на "Загнивающем Западе" работодатель никак не может проверить список работ, где работал соискатель?

То есть можно нарисовать любое резюме и его нельзя проверить?

Зато в нашей "замечательной" стране почти у каждого кадровика принято вынюхивать каждую смененную работу на протяжении долгих лет.

Вот не задача, благодаря наличию трудовой книжки и телефонного справочника у нашинского кадровика появляются сверхспособности.

В более-менее нормальных странах человек волен менять работы сколько угодно.

Говорят в нормальных странах все наоборот. Если человек устроился на работу, то его хрен уволишь.

Государство таким образом любит срывать штаны с людей прилюдно.

Это как?

[Polnoch Ксю]

То есть можно нарисовать любое резюме и его нельзя проверить?

Нет, заставляют референсы и рекомендательные письма приносить. Последние ценятся больше. Ещё линкедин - профессиональные контакты важны. Нарисовать можно, и тебе даже не будут говорить "не верю"(и в обсуждении с друг другом не факт что будут это произносить... Хотя хз), просто когда HR будут оценивать кандидата, без рефересов не возьмут, которые бы подтверждали опыт.

Референсы несёшь те, которые хочешь. Если на работе были какие-то проблемы, просто не несёшь их референс и всё. Но дырки в карьере плохо, как и в РФ. То есть, у тебя что-то там должно быть написано между работами, подтверждёнными рефами (а в идеале рекомендательными письмами). С другой стороны, если потом выяснится, что опыт был выдуман, тебя уволят то, что в РФ называют "по статье"

(кликните для показа/скрытия)

в таком случае даже в соцдемной канаде, которая вайбами общества во многом похожа на Европу (но без профсоюзов как в ней, увольняют людей тут так же просто как в США, просто пособия потом платят) - в этом случае ты не получишь пособие по безработице. Насколько я знаю, год назад типичное пособие уволенного "айтишника"(в восточноевропейском понимании этого слова) было 2000 канадских тугриков в месяц, его платили больше полугода но меньше года. После этого платят сошиал секьюрити, которое покрывает стоимость аренды жилья, но в определенных пределах, и могут помочь переехать в социальное жильё (но на него очередь годы, и я слышала о случае от подруги - она мне даже соцсети человека показывала -  когда какой-то программист сошёл с ума, и кончил бомжом, откуда его потом достали, отмыли волонтёры, и он смог получить социальное жилье).

Ещё в контрактах, когда на работу устраиваешься, всегда написано, что требуются подтверждения опыта работы в виде рефов (обычно не менее двух) по специальности.

Так устроен рынок найма в теч секторе Канады и США. Уточню, что под теч сектором в на Западе понимают то, что в восточной Европе называют "айти". В Канаде и США IT это конкретные люди (эникейщики, хэлпдеск), а не индустрия программного обеспечения в целом. Тут теч сектор понимают довольно широко, и включают в него и железячников со всеми FPGA, видимо и биоинформатиков, итд - всю индустрию стартапов, не только программистов, SRE, PM, QA, итд, которых включали в "АйТи" на российском рынке в 2017м году (год моей эмиграции)