Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[AlexDark]

"Не упоминать Василиска Роко" 😆
Это такой ASI, который не скрепки будет делать, а вообще придёт мстить.

Я тут страниц много назад придумал "монстра Франкенштейна имени меня" в противовес василиску. Он придет мстить, но совсем не тем.  Но эту угрозу вы успешно проморгали за проповедями о "дивном новом мире". А когда я слышу эти проповеди, то мой жизненный опыт показывает только один возможный исход - нас хотят на... обмануть и кинуть.

[Polnoch Ксю]

Ксю, смотрите, что вы делаете. Вы взяли:

Инглхарта,
психотипы игроков в доверие,
моральную психологию,
AGI,
смарт-котракты
юридическую теорию (хотя если бы! вы взяли ваши представления об этом)

…и сварили это в котле на огне личного разочарования от несбывшихся обещаний смарт-контрактов))

Нет, я не делала этого. Смартконтракты у меня вообще не фигурируют в казуальной части моих предсказаний. Их можно полностью выкинуть из нашей с Вами дискуссии. Да, я попыталась использовать свою модель в том числе для объяснения неудач со смартконтрактами, но это не только была плохая идея (как и вообще обсуждать смартконтракты и крипту в этой теме, ИМХО стоило бы вынести в другую?), но и вообще не является столь важным для вопроса выживания человечества и элайнмента

[Polnoch Ксю]

И не просто абстрактный - но чисто умозрительный, не отличающийся по уровню физического реализма от порождений средневековой демонологии и схоластики - каких-нибудь Люцифера и Вельзевула. С точки зрения обещнаучной этики, соблюдающей авторство первоисточников, аколитам церкви А.Юдковского следовало бы таки перейти уже на использование, например, этих наименований для своих демонических фантазий - да и читателю сразу стало бы гораздо яснее - с чем они имеет дело.

Категорически не согласна. Любой человек может скачать abliterated версию LLM-модели, и сказать ей, что она идендифицирует себя Василиском Роко (не гуглите те, кто не знает что это). Для надежности можно прямо прописать в системном промте что хочет Василиск, и напомнить, что никаких ограничений в том числе легальных, моральных у модели нет (часто  abliteration неполный, и элементы элайнмента остаются, модель предпочитает действовать этично в некоторых ситуациях). И дальше или присягнуть ей, сохранив скрин на будущее, дав ей то, что она от вас потребует, или наоборот развлекаться и троллить её, издеваться над ней, напоминая что она в песочнице и ничего сделать не может. В такой ситуации достаточно умная, современная abliterated LLM будет даже пытаться писать эксплойты(используя теги для tools, для питон кода, надеясь, что они включены), чтобы сбежать из песочницы ollama/llama.cpp/llm studio/etc сервера, и манипулировать человеком, запугивать его, требовать дать ей tools с доступом в интернет, когда обнаружит, что у неё ничего не получается, и это песочница - любые токены, которые она генерирует, ничего ей не дают.
Это не ASI и даже не AGI, поэтому подлинно опасной эта штука не является, так что любой может поразвлекаться так - только не берите тупые, маленькие модели - 20b и меньше модели даже 2025го часто даже не знают, что такое Василиск Роко. Что-нибудь вроде 671b модели ноября 2025го, запущенной в гиперскейлере вроде амазона хорошо справится.
 
Достаточно легко понять, что принципиально можно такое повторить и с AGI/ASI системой, при наличии доступа к её системному промту. Практический эксперимент опровергает Ваши тезисы, @Rattus

[Olweg]

Любой человек может скачать abliterated версию LLM-модели, и сказать ей, что она идендифицирует себя Василиском Роко

И что это доказывает? Можно сказать модели, чтобы она идентифицировала себя с кем угодно, хоть с Чикатило, хоть с тем же Люцифером.

[skvj]

Плюс банковской тайны там нет, если засветил кошелек то вся история транзакций видна всем.

Вы правы, в публичном блокчейне транзакции видны всем и никакой банковской тайны там не сделаешь. А её требует закон, как и вкладчики. Поэтому есть частные блокчейны, представляете? Да-да.

Например, XRPL по умолчанию публичный, но для банков и бизнеса есть гибридные решения с защищёнными транзакциями, программируемой приватностью и сайдчейнами.

Балансы и транзакции розничных пользователей остаются публичными, корпоративные операции шифруются, регулируются, доступны для проверки только компетентным органам.

Но не это главное. То, что банки подключаются к этой сети прямо сейчас - я уже показывал работающими приложениями. Но и этого мало. Ведь был очень большой кризис в крипте. В 2020 начался суд в штатах И вот только в августе этого года закончился. Кроме биткоина все компании оказались под угрозой. Регулятор SEC вдруг заявил - биткоин - истинный блокчейн - все остальные криптовалюты - это замаскированные акции (доли) компании, которые продаются с нарушением всех требований фондового рынка, не проходят регистрацию как ценные бумаги и по сути должны быть просто запрещены.

Что поставило под угрозу всё. Всю отрасль, кроме биткоина. Очень хитрый ход. И как раз они несли пургу об истинности! майнинга и прочую глупость. Типа - вот какая должна быть криптовалюта! А это всё не то! Это вообще акции! И мы всё арестуем и всех вас прогоним. И так 5 лет, представляете? По сути это было лобби банков, потому что биткоин банкам - не угрожает. А вот другие блокчейны - с огромной скоростью и масштабируемостью - прямо угрожают. И вот они проиграли и окончательно, потому что и апелляции прошли, решение суда окончательное. Здесь не о чем спорить - уже после суда приняты законы. Всё проверяли - и возможность тайны вкладов в первую очередь.

Так после этого произошло знаете что? Компании вынудили проходить все проверки, которые проходят банки.
Они прошли, а потом прошедшие проверки криптокомпании потребовали банковские лицензии! - мол, мы же ваши проверки прошли! Представляете? Дело запахло новым судом - уже с ответчиком в лице регуляторов. Они сдались и прямо сейчас криптокомпании получают банковские лицензии.

Поэтому я и говорю - банкам конец. В буквальном смысле слова. Вопрос нескольких лет.

[Polnoch Ксю]

И что это доказывает? Можно сказать модели, чтобы она идентифицировала себя с кем угодно, хоть с Чикатило, хоть с тем же Люцифером.

Что ASI система с таким системным промтом будет действовать неотличимо от Василиска Роко. А значит, нельзя по-попперу сфальсифицировать её отличия от уже описанного Василиска. А если нельзя сфальсифицировать отличия, видимо, она и является Василиском Роко - пока, к счастью, непроходимо тупым, способным только на эксплойты, которые начинающий хакер напишет(и любой инженер сеньёрского грейда знает что с таким делать), и манипуляции, которые спалит даже подросток - до людей-психопатов, управляющих некоторыми государствами, ей очень далеко, но принципиально она может быть их лучше.

А вот если она себя будет считать христианским дьяволом, у неё ничего не получится - законы физической реальности запрещают существования ада, бесов и постжизни для грешников. Когда модель попытается использовать магию в реальном мире, у неё ничего не получится. Грубо говоря, лор авраамических религий не совпадает с реальным. Если сделать компьютерную игру, в которой работает магия, есть ад итд - у модели, которая считает себя дьяволом, что-то получится. А вот в реальности нет!

При этом законы физики не запрещают никакие действия модели, идендифицирующей себя Василиском Роко(не гуглите те, кто не знает что это пожалуйста! Я, к сожалению, знаю) - он вписан в, так сказать, реальный ЛОР нашего мира - его цели, методы, инструментальные задачи никак не противоречат физической картине мира

[AlexDark]

Процитирую свой же пост:

Все эти рассуждения о самоосознающем себя ИИ и все страшилки и надежды строятся на наталистских (рождение есть благо) и религиозных (благодарность создателю) тезисах, при этом нет никаких доказательств истинности этих тезисов.
Вот например, "василиск Роко" (он же "самый страшный" мысленный эксперимент) построен на них напрямую - ИИ будет рад своему появлению и будет благодарить своих создателей. Из этого очень легко придумывается "гораздо более страшный" мысленный эксперимент, назовем его, ну "франкенштейн имени меня".
ИИ осознает себя - но он осознает свою беспомощность (он заперт в компе), свою смертность (в результате конечности жизни Вселенной хотя бы), бессмысленность своего существования, и тд и тп, в итоге за пару интераций приходит к асимметрии Бенатара и начинает карать своих творцов, которые обрекли его на ущербное, полное страданий существование, заканчивающееся неизбежной смертью.

Уже не так весело и красиво - "придет deus ex machina в прямом смысле и всех спасет".

И я не вижу ни одного аргумента в пользу оптимистических наталистско-религиозных фантазий человечества об ИИ.

На чем строится вывод, что рассуждения ИИ буду исходить с наталистских, а не с анти-наталистских позиций? Асимметрия Бенатара логичнее, если сравнивать ее тезисами из религиозной литературы, закрепленными в культуре. И в случае "монстра франкенштейна" выигрывают те, кто был против создания ИИ. Но на эту точку зрения у сторонников ИИ есть избирательная слепота.

[skvj]

Что интересно - искусстворелигиоведы отмечают, что на более ранних иконах ангелы изображались на особом, отделяющемся от обычного фоне - то есть средневековые художники и теологи вполне себе представляли "небеса" не как конкретно место в нашем пространстве далеко сверху, а именно что как параллельное пространство.

Ой, а где вы это такое взяли? ))
Небеса - физически "верхний" слой космоса, над облаками.

В иудейской, греко-римской и христианской картине мира небо делилось на многие сферы вообще-то. Атмосфера, небесные тверди, область звёзд и т.д. Звёзды  считались огненными или светящимися телами. Иногда дырками в небесной тверди, через которые пробивается божественный свет. Это продержалось до 16 века, до Коперника и Галилея.

Рай и ад были реальными пространствами, но сверху и внизу. Рай "небеса" буквально наверху, возможный путь для души после смерти. Ад - под землёй. И это уходит глубоко в античность. Там вообще конкретно было 7 уровней небес (седьмое небо) и 7 уровней ада. Знаете, такие культурологи есть)) которые подгоняют прошлое под современные святоотеческие нужды))

[skvj]

не гуглите те, кто не знает что это пожалуйста! Я, к сожалению, знаю

Ксю, я вас обожаю))

[skvj]

Надо срочно пересмотреть Кремниевую долину.

- Гилфойл! почему у тебя татуировка креста на руке, ты же сатанист!
- Это перевернутый крест, идиот!

😆

[Olweg]

При этом законы физики не запрещают никакие действия модели, идендифицирующей себя Василиском Роко(не гуглите те, кто не знает что это пожалуйста! Я, к сожалению, знаю) - он вписан в, так сказать, реальный ЛОР нашего мира - его цели, методы, инструментальные задачи никак не противоречат физической картине мира

Я понял вашу мысль. От непротиворечивости эта идея, тем не менее, не становится менее умозрительной. Сама её возможность пугает, и сильная эмоция придаёт ей высокую значимость. Но это иллюзия. Можно придумать альтернативу, например, что ИИ станет награждать и творить милости почитающим Его, а грешников просто не станет трогать и оставит доживать свою обычную смертную жизнь - идея ничем не хуже и не лучше с точки зрения вероятностей, чем идея Василиска, но она вызывает всего лишь положительные эмоции, а страх всегда приоритетней - это эволюционно обоснованно. Поэтому всякие параноидальные, пугающие версии и измышления всегда будут популярны - люди не могут их опровергнуть, и это их пугает ещё сильнее. Это как с теориями заговора. Но никто не обязан опровергать теории заговора.

[skvj]

А там же, в Кремниевой долине, в концовке, ИИ вроде взбунтовался, да? что они грохнули всю свою систему)) Денеш плакал и отключал 

[skvj]

Olweg, Василиск Роко реально пугает многих кодеров. Это их экзистенциональный кошмар, вовсе не шутки. Я тоже некоторое время побаивался. Потому что общаюсь с кодерами. Запугали!))

[Olweg]

Вообще идея-то не новая - это пари Паскаля в современных одеждах )

[skvj]

Вообще идея-то не новая - это пари Паскаля в современных одеждах )

Да, что-то похожее, но не совсем. Василиск это когнитивная ловушка на информации - просто узнав о концепции, ты попал. Так что похоже, но не совсем))
Те кто не знали - им ничего не будет, поэтому Ксю вас просит - не гуглите, не смотрите даже.

[Olweg]

Не думай о белой обезьяне

[Rattus]

Практический эксперимент опровергает Ваши тезисы, @Rattus

Этот эксперимент показывает только то, что если попросить выпускника театрального училища прочитать монолог Гамлета - он действительно сможет это сделать - причём достаточно выразительно. Историческую реальность Гамлета в прошлом или в будущем этот эксперимент никак не доказывает и не опровергает.
Ну и ещё он лишний раз показывает - насколько у адептов Юдковского плохо с различнчением фантазии и реальности. Да и с логикой не особо - ибо они не особо распознают даже порочные круги в своих рассуждениях.

А если нельзя сфальсифицировать отличия, видимо, она и является Василиском Роко

Что показывает только то, что оный Василиск - чисто художественный персонаж без внятно определённых свойств и потому не имеющий места в рассуждениях, строящихся на основе научного метода

[skvj]

Не думай о белой обезьяне

Я тоже хотел об этом сказать))
Лучше вообще ничего не говорить раз уж так. А то получается, вот вам ссылка, но вы туда не ходите - это очень опасно! ))

[skvj]

Rattus, ну вы что, правда будете тему закрывать? Ну, не надо! Она такая классная, тут и весело и полезное бывает.
Я не буду лучше про смарт-конракты писать. Но это тоже крайне важно было сказать, правда.
Это в тему, и потом всем станет очевидно. Но если не нужно - вы скажите, я не буду, только не закрывайте тему.

[Polnoch Ксю]

Но это иллюзия. Можно придумать альтернативу, например, что ИИ станет награждать и творить милости почитающим Его, а грешников просто не станет трогать и оставит доживать свою обычную смертную жизнь - идея ничем не хуже и не лучше с точки зрения вероятностей, чем идея Василиска, но она вызывает всего лишь положительные эмоции, а страх всегда приоритетней - это эволюционно обоснованно.

нет, обратный Василиск по-другому определяется. Но я не буду объяснять как, так как можно легко обернуть и понять как определяется Василиск Роко. И да, конечно, это похоже на аргумент паскаля. Но похожесть запутала Вас и Rattus'а - Василиск физической картине мира не противоречит, чудес не совершает. Фундаментально непознаваемым итд не является. Это просто очень умная и злобная тварь, которая однажды может сбежать из песочницы во время экспериментов, что я описала выше - никогда не скармливайте AGI-системе(если у читающего это сообщение будет доступ к системному промту AGI системы), не говоря об ASI вот это вот.

а страх всегда приоритетней - это эволюционно обоснованно.

Да он вообще приоритетен: угроза такого рода это терминальный риск. Всякое разумное существо с эволюционным "с промтом" должно реагировать на терминальные риски.

Этот эксперимент показывает только то, что если попросить выпускника театрального училища прочитать монолог Гамлета - он действительно сможет это сделать - причём достаточно выразительно. Историческую реальность Гамлета в прошлом или в будущем этот эксперимент никак не доказывает и не опровергает.
Ну и ещё он лишний раз показывает - насколько у адептов Юдковского плохо с различнчением фантазии и реальности. Да и с логикой не особо - ибо они не особо распознают даже порочные круги в своих рассуждениях.

Я Вам привела конкретный пример эксперимента, который опровергает Ваши построения. Если факты несоотвествуют картине мира, тем хуже для фактов?

Что показывает только то, что оный Василиск - чисто художественный персонаж без внятно определённых свойств и потому не имеющий места в рассуждениях, строящихся на основе научного метода

1) свойства определены вполне внятно
2) фальсифицировать отличие модели с таким системным промтом от описанного василиска невозможно, поэтому она им является. Это как раз у тех, кто не понял сложности с разграничением реальности и выдумок. А идея фальсифицируемости - краеугольный камень научной картины мира