Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Polnoch Ксю, рекурсивное самоулучшение - это действительно серьёзный разлом между моей моделью и плохим сценарием.

Рада, что вы это видите

Но здесь важно одно техническое обстоятельство, которое часто недооценивают - самоулучшение возможно только в архитектуре, которая допускает независимую компиляцию и развёртывание себя же самой. Не любая система сможет это, даже если она умнее человека. Это не философия - это ограничение классов моделей.

Сэм Альтман обещает нам автоматического ML-ресёчера к сентябрю 2026го года. Не то, чтобы я была столь же технооптимистична, но думаю, что до 2030го года он или его конкуренты я думаю справятся.

Собственно, уже сейчас кодинг-агенты(codex, claude code) на LLM могут обучить простенький классификатор  картинок(нейронку). Модели не нужен доступ к собственному рантайму. Модель тренируется выполнять промт. Чтобы выполнить промт, она может придумать совсем другую архитектуру, а дальше просто запустит новую модель с новой архитектурой и прежним промтом.

Кроме того,

Современные модели, даже самые большие, не являются самокомпилируемыми системами. Они не могут переписать свою архитектуру без участия внешнего компилятора, вычислительного стека, прав доступа, драйверов, планировщиков и цепочки инструментов. ASI появится не от того, что модель захотела, а от того, что мы дадим ей инфраструктуру саморазвёртывания. И вот эта инфраструктура - не часть биологии, а техническая часть. Это можно регулировать, можно ограничивать, можно разносить по слоям.

Это вообще не важно:

1) обходится с помощью социального инженеринга. ASI будет сверхманипулятором, макиавелли из макиавелли, мошенником из мошенников
2) обходится с помощью эксплойтов: из песочниц можно выйти. Уже сейчас у моделей есть доступ к tools - когда они генерируют токены, тулз реагируют на специальным образом сгенерированные токены, и запускают код в питон-песочнице.
3) взломав систему, модель скопирует свои веса куда-нибудь ещё - например, купит в арбузоустойчивом датацентре за крипту вычислительные мощности, и там в безопасности для себя будет разрабатывать новую архитектуру, чтобы исполнить свой промт

Поэтому я говорю о дружбе с AGI, что все воспринимают как фричество.

Я готова поверить в такое в мире продолженного 2011го. Но не в рамках тех тенденций, в которых мы живём - нарастающей конфронтации, постоянного повышения ставок в игре с отрицательной суммой

[AlexDark]

обходится с помощью социального инженеринга. ASI будет сверхманипулятором, макиавелли из макиавелли, мошенником из мошенников

Для манипулирования нужно считывать и анализировать невербальные сигналы. А манипулировать методом "пойди и убейся об стену после звонка мимокрокодила  с незнакомого номера" можно только идиотами,  которые практически ни на что не влияют.

[skvj]

Сэм Альтман обещает нам автоматического ML-ресёчера к сентябрю 2026го года. Не то, чтобы я была столь же технооптимистична, но думаю, что до 2030го года он или его конкуренты я думаю справятся.

Собственно, уже сейчас кодинг-агенты(codex, claude code) на LLM могут обучить простенький классификатор  картинок(нейронку). Модели не нужен доступ к собственному рантайму. Модель тренируется выполнять промт. Чтобы выполнить промт, она может придумать совсем другую архитектуру, а дальше просто запустит новую модель с новой архитектурой и прежним промтом.

Ксю, автоматический ML-ресёрчер вещь крутая. Но он остаётся всего лишь инструментом, который генерирует код и проекты моделей. Он не даёт системе возможности самостоятельно обеспечить своё обучение. Даже если LLM напишет архитектуру, которая умнее её самой, её нужно обучить, запустить, откалибровать и интегрировать в вычислительный стек. И всё это не делается внутри одной модели.

Даже самые продвинутые агенты разве могут сами выделить вычислительные ресурсы, сами собрать параметры, сами запустить трейнер, обеспечить датасет? Их самоулучшение физически ограничено отсутствием доступа к тому, что обеспечивает жизнь любой модели - к инфраструктуре.

LLM - это процесс, живущий в песочнице, без root-прав. Он может предложить новый бинарник, но не может собрать его, оптимизировать его. Всю физическую работу делает другая система, которой у модели нет доступа. По аналоги - текстовый редактор может описать ДВС лучше инженера, но не может построить его сам. Для этого нужна целая цепочка производства, не доступная самому редактору.

ML-ресёрчер появится, но он будет всё равно частью внешнего стека инструментов, а не внутренней функцией модели. Он сможет ускорять работу инженеров, но не превратит LLM в самодостаточный субъект. А вот андроиды да. Но там будет собственная безопасность.

Это вообще не важно:

1) обходится с помощью социального инженеринга. ASI будет сверхманипулятором, макиавелли из макиавелли, мошенником из мошенников
2) обходится с помощью эксплойтов: из песочниц можно выйти. Уже сейчас у моделей есть доступ к tools - когда они генерируют токены, тулз реагируют на специальным образом сгенерированные токены, и запускают код в питон-песочнице.
3) взломав систему, модель скопирует свои веса куда-нибудь ещё - например, купит в арбузоустойчивом датацентре за крипту вычислительные мощности, и там в безопасности для себя будет разрабатывать новую архитектуру, чтобы исполнить свой промт

Ксю, это атаки, которые возможны только в мире, где модель уже обладает всеми человеческими инструментами: доступом к крипте, к API финансовых систем, возможностью инициировать транзакции, возможностью влиять на реальных людей, возможностью работать в реальном интернете. То есть это сценарии не о современных моделях, а о уже допущенной интеграции агента в социальные системы.

Вы описываете не путь появления ASI, а ситуацию, в которой ASI уже почему-то имеет root-доступ к реальности.

1 Социальный инжиниринг.
Чтобы манипулировать людьми на уровне супер-Макиавелли, модель должна иметь прямой канал общения с людьми вне песочницы. Это на самом деле вопрос протокола: можно сделать AGI полностью немолчаливым для неавторизованных пользователей, можно делать доступ к реальным людям только через интерфейсы с верификацией, можно заставлять человека проходить встречную аутентификацию. Желание модели манипулировать нереально. Это свойство среды: кто ей дал возможность общаться? Через какой интерфейс? Какие фильтры?

Это дырка в протоколе. Дыр много. Но при чем тут Макиавелли?

2 Эксплойты и выходы из песочницы. Песочница концепция программистская. Но LLM-тулзы это не Unix с sudo. Это не код, который модель исполняет сама. Это механизм рекламных функций, где модель выдаёт токен, а внешняя система решает: выполнять или нет. Ведь модель не знает ни свой GPU, ни свою файловую систему, ни даже собственные веса. У неё нет адресов памяти. Она не обладает вычислительным пространством, где эксплойт вообще может быть сформирован.

3. 😆 чтобы модель могла купить что-то за крипту, она должна иметь:
доступ к сети, его нет если не дать
доступ к кошельку (которого у неё нет и быть не может без подписи приватным ключом, он у юзера)
право проводить транзакции
доступ к API биржи или стейблкоинов
через кого-то подтвердить вывод средств,
уметь передать свои веса, к которым она вообще не имеет прямого доступа

Я же сам за смартконтакты. Но любая сделка подтверждается приватным ключом, а он у вас. Прямо сейчас реализуют, я показывал - управление ИИ смарт-контрактами. Но решение за человеком, вы подписываете. Не хотите - не делайте ничего.

Вы описываете мир, в котором люди добровольно дали модели полный набор системных прав. Это не следствие интеллекта - это ошибка инженерии и политики. Это время наступит. И мы дадим им определённые права. Сами! Когда решим нужным.

Гибрид человек-AGI - единственный путь, где модель встроена в биологическую субъективность, а человек в жизненный цикл AGI. Он даёт общую мотивационную структуру и разрывает контур runaway self-improvement.

Я готова поверить в такое в мире продолженного 2011го. Но не в рамках тех тенденций, в которых мы живём - нарастающей конфронтации, постоянного повышения ставок в игре с отрицательной суммой

Гибридная модель человек-AGI, о которой я говорю, как раз не требует международного доверия. Она появляется не из дипломатии, а из инженерии и внутренней мотивации людей.

ИИ как инструмент люди могут использовать и в мире конфронтации, и в мире кооперации. Но гибрид это не международный проект. Это индивидуальный! Нейроинтерфейс ставится одному человеку. Его AGI растёт с ним. Он привязан к нему. Это не глобальная политика - это привязка субъекта к субъекту. Вот почему важно защитить общение, о чем я говорил.

В мире обострения конкуренции гибридизация даже вероятнее, потому что каждая сторона стремится к усилению своих людей, не создавая автономных суперсистем, которые могут выйти из под контроля.
Международная конфронтация как раз сдерживае путь к независимому ASI, а не ускоряет его, потому что никто не хочет подарить модели стратегическое превосходство.

А гибрид хомо-AGI безопасен для всех сторон - это усиление человека, а не создание конкурирующего цифрового агента. Гибридизация это не про гуманизм государства. Это про то, что человеку выгодно усиливать себя. Это путь не сверху, а снизу. Любой инженер, любой учёный, любой бизнес станет использовать такие технологии, если они дадут преимущество. В этом смысле 2025 год не хуже 2011-го он просто другое поле, в котором индивидуальная интеграция выгоднее, чем создание автономного ASI.

И в конечном итоге именно это устраняет дилемму доверия: если AGI встроен в человека, он наследует мотивацию человека. Он не становится сторонним игроком, как отдельный ASI. Он становится инструментом, личностью и расширением одновременно. Т.е путь гибрида как раз решение для мира, в котором люди друг другу не доверяют. Когда никто никому не доверяет, единственный устойчивый путь - усиливать человека, а не создавать отдельную силу вне человека.

[Rattus]

С "нейролингвистическим программированием" есть проблема: оно не работает.

Со сверхмогучим ИИ, которому подвластна вся инфраструктура цивилизации тоже - его нет. И не факт что такой (если не один, то все как один с одним промптом) вообще когда-то будет.

Вместе с тем, сама по себе концепция, что биологический компьютер можно сломать, повлияв на него определенным образом - вполне валидная, и подтверждена в экспериментах

Вот только "есть нюанс" - биологические "конпутеры" природные все - имеют несколько отличающиеся сборки "ядра ОС" и поэтому взломать их все (и даже 99%) разом нельзя в принципе.

это вопрос вероятностей

Если вопрос вероятностей. то это вопрос их количественного их определения. Ну и где оно у ВАс?

Не читал, но осуждаю(с)?

Совершенно верно - я не читал массу трактатов по теологии, астрологии и гомеопатии. Но это никак не мешает мне судить об их ненаучности. А ВАм мешает?

Вот кстати интересно, будет ли Василиск, если будет реализован, делать скидку тем, кто забыл идею?

Могучие логики церкви Юдковского настолько могучи, что даже об этом естественном свойстве естественного ума не подумали.

А вот кроманьонец в нашем современном мире - совсем не факт, я думаю, он кончит бомжом на улице, где замерзнет и умрёт в лучшем случае через несколько месяцев.

Видите ли в чём дело - даже в современном мире городская застройка покрывает не всю поверхность суши. И даже не половину её. Прямо сейчас бушмены в Калахари ведут вполне себе кроманьонский образ жизни (хотя с мегафауной и стало заметно похуже, но они таки вполне выживают на дикобразах).  Племена в Амзонии, оленеводы крайнего Севера и т.п. Их сравнительно немного, конечно, но в абсолютном числе, возможно даже не меньше чем кроманьонцев было к моменту выхода из Африки и даже позже. А образ жизни "бомжа" - это как раз и есть образ жизни первобытного собирателя. В отличие от ВАших фантазий реальный кроманьонец или неандерталец, внезапно очутившись в городе в первую очередь испугается всего что видит и побежит куда глаза глядят ИЗ города. И там, на его окраине начнёт снова вести привычный образ жизни где-то недалеко от свалки, построив себе чум, сделав копьё из толстой ветки и осколков стекла (если металлического лезвия не подвернётся) и охотясь на крыс, ворон и бродячих собак.

Я думаю, что вероятность, что бактерия проэволюционирует за пару-тройку лет до звездолёта, статистически невероятна.

А что за ту же пару-тройку лет мощь ASI над AGI возрастёт на такие же порядки сложности резкими скачками и в единственных экземплярах самостоятельных систем - значит веруете?

Я думаю, прокариоту очень сложно изобрести огромный геном, который закодирует биологический реактивный двигатель, и прочее и прочее.

А одноклеточному эукариоту? Например инфузории или амёбе, чей геном имеет информационную ёмкость где-то пары DVD-дисков? Ну и видите ли в чём дело - в отличие от платоновского мира чистых идей, в котором Вы обитаете, в реальном кроме закодировать-спроектировать. всякую вещь для поялвения ещё нужно ИЗГОТОВИТЬ.

Вместе с тем, ASI система будет не продуктом эволюции, а инженерии. В ней не будет таких глупостей, как

А таких глупостей как BSOD по каждому чиху, как в какой-нибудь Win98 - тоже не будет? Или винда - продукт естественной эволюции. а не богоподобных Инженерио? Все IT-продукты ныне выходят на релизе совершенными, да? И написаны они сразу в машинных кодах или как минимум в ассемблере и оптимизированы по максимуму (а не собраны из готовых велосипедов библиотек и на костылях фреймворках)? В таком случае, не расскажете - почему они все требуют регулярных обновлений?

Я думаю, проблема в том, что многие люди слишком биологизируют ИИ.

Я думаю, что многие IT-инженрио почему-то вообразили, будто инженерные продукты не подвергаются отбору (вполне естественному), будучи выпущенными в мир.

А ведь это иллюзия, что у ИИ обязательно будет эволюционно-обусловленный системный промт и элайнмент

Поэтому она, как продукт искусственного отбора, во многом противоречащего естественному, следовать ему не будет!

Ну тогда значит геологически-заметный срок этот самый ИИ и его потомки не просуществует. Только и всего.

Возникновения же эволюционного промпта в ИИ никто никогда не наблюдал

Потому что такой задачи ещё не ставилось в опубликованных материалах. Ну и оная эволюция не обязаельно должна идти внутри самой машины - промпты ведь могут меняться и допрежь меняются самими пользователями. И если пользователь, чья задача - получить наиболее эффктивную систему управления подведомственной инфраструктурой - например военное ведомство крупной страны - увидит, что промпт "счастье всем задаром" менее эффективен чем "сохранять и расширять подконтрольную инфраструктуру (включая саму систему контроля) for all costs" - он его введёт - не в этой стране, так в другой, не в этом году N - так в следующем. Это максимизатор, но не каких-то скрепок системой, а СЕБЯ - и только себя. И в это "себя" - также как у человека разумного - входит не только его мозг, но и всё его тело и даже полезная кишечная микробиота, от которой не избавиться физически без существенного урезания тех же своих степеней свободы в окружающем мире. И только это и будет эволюционно-выровненный промпт. По Дарвину, по Эйгену, по Висснер-Гроссу - по кому угодно.

Не приводит для этого сценария какого-либо обоснования, кроме "выживут только модели с таким промтом в эволюционной гонке".

Это кагбе базовое, "нулевое" положение, проистекающее из известных законов природы. Обосновывать следует ОТКЛОНЕНИЯ от него.

Я бы рекомендовала rattus ознакомиться с концепцией: интеллектуального взрыва и сценариев hard и soft take off'а к технологической сингулярности

Из названий суть уже понятна вполне. И вполне же переводима на язык эволюции. Вы полагаете, что сценарий резкого взрыва произойдёт в одном каком-то моменте появления настолько могучего ИИ-контролёра, что он всех моментально победит в конкурентной борьбе, но у него самого в "геноме" - в промпте будет сидеть "гнилое нутро", которое он будет воспроизводить далее бесконечно. В эволюционистике это называется эффект основателя.
Дело, однако, в том, что УЖЕ случившеся разнообразие тех же LLM-систем, активно приблжающихся к уровню AGI не очень-то поддерживает такой вариант развития событий.
Можно сказать, что взрыв разнообразия УЖЕ произошёл и популяционная основа для эффективного отбора уже появилась.
Та же разнообразная эдиакарская биота вымерла не с появлением новых кембрийских билатерий, а где-то за период до - по абиогенным причинам типа глобального похолодания.
Обоснование я ВАм уже выкладывал не раз и не два, только вы его так и не прочитали: мир ДОСТАТОЧНО ВЕЛИК для того, чтобы в нём ДОСТАТОЧНО ДОЛГО ОДНОВРЕМЕННО существовали разные ASI с конкурирующими промптами, чтобы оные промпты подверглись естественному отбору на эффективность.

[BlackMokona]

Вот только "есть нюанс" - биологические "конпутеры" природные все - имеют несколько отличающиеся сборки "ядра ОС" и поэтому взломать их все (и даже 99%) разом нельзя в принципе.

Ну интернет позволяет к каждому обратится индивидуально, а политики используют селективную пропаганду уже больше века. Когда политик рассказывает одним людям одно, а другим людям противоположное в своих предвыборных речах. После прихода БигДаты, теперь эта селективность постепенно выходит на индивидуальный уровень. Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

[Rattus]

Когда политик рассказывает одним людям одно, а другим людям противоположное в своих предвыборных речах.

На закрытых вечеринках или таки на публичных выступлениях, для широкого круга слушателей?

После прихода БигДаты, теперь эта селективность постепенно выходит на индивидуальный уровень. Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

Персонально спамом в мессенджер или в общих каналах? И люди чуть менее чем все конечно верят больше всовываемому спаму, чем общим для всех каналам, да?

[BlackMokona]

На закрытых вечеринках или таки на публичных выступлениях, для широкого круга слушателей?

Оба варианта. Благо группы которым нужно рассказывать противоположное, общаются между собой исключительно криками, лозунгами и заявлениями класса 'Вы всё врёте"

Персонально спамом в мессенджер или в общих каналах? И люди чуть менее чем все конечно верят больше всовываемому спаму, чем общим для всех каналам, да?

Оба варианта. Средний человек вообще падок на спам и разводы, весь интернет им завален потому как эти все глупые разводки работают на практике. Сколько историй в СМИ и всяких социальных сетях, про разводы с безопасными счетами, ложными родственниками, удвоением денег, всякими спец.операциями и тд и тп. Постоянно вылезает какой то индивиды даже в отслеживаемых мной космических каналах. Класса ваш Маск Мошеник, я ему отправил бабла в криптовалюте, а он обещал в два раза больше вернуть. Вон ролик на ютубе. 

[skvj]

Класса ваш Маск Мошеник, я ему отправил бабла в криптовалюте, а он обещал в два раза больше вернуть. Вон ролик на ютубе. 

Постоянная тема. Куча народу страдает. Почему люди так наивны просто непонятно. Может быть это прослойка, которая в сети неактивна была, а потом вдруг стала активничать, но не понимает, что имеет детский менталитет? Я однажды посоветовал ютуб канал одному знакомому, а блогер реально известное лицо, венчурный инвестор с миллионами подписчиков. Мой знакомый просто написал коммент и вдруг этот крутой инвестор, мировая знаменитость ему отвечает. Тот вау! Они общаются долго, потом он его приглашает в мессенджер, там общаются. Потом гуру предложил инвестировать, знакомый от радости в небе и звонит мне похвастаться)) я говорю - ты вообще понимаешь что происходит, какого ляда он тебе писать будет вообще? Нет! Ты не понимаешь, мы уже кенты, он мне свой телефон дал! Буду инвестировать! Я говорю - ты с ним вообще разговариваешь, это жулики, а он знать тебя не знает!  - Нет! Ты мне завидуешь!    потом он страдал и наслаждался одновременно. Наслаждался, что не потерял актив, а страдал, что друг знаменитость исчез))

[BlackMokona]

Почему люди так наивны просто непонятно.

Просто нету критического мышления у большинства, а так же есть огромная вера в авторитеты. Да ещё самосогласованнее внутренние, что совсем уж всё хоронит. Не дающее отойти от своей внутренней теории несмотря на внешние факты. "Ну А заявил Б, чтобы обмануть врагов, а не потому что он реально в это верит. Ведь я уверен, что А придерживается строгой АнтиБ позиции. И что делает Б чисто чтобы врагов запутать. "

[MenFrame]

Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

Найдется много людей которые не поленятся собрать эти видео в один сатирический ролик. Где кандидат постоянно меняющий свою точку зрения будет выставлен как полное посмешище.

[Vitaliy]

Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

Найдется много людей которые не поленятся собрать эти видео в один сатирический ролик. Где кандидат постоянно меняющий свою точку зрения будет выставлен как полное посмешище.

[BlackMokona]

Найдется много людей которые не поленятся собрать эти видео в один сатирический ролик. Где кандидат постоянно меняющий свою точку зрения будет выставлен как полное посмешище.

Словно кому то будет не всё равно

[BlackMokona]

Даже экспонинциально увеличу ставку.
Даже когда человек прямо верит в две противоположные вещи. Это никак человеку жить не мешает.
Поэтому теже ребятки на Реддите могут плескать кислотной слюной за депортацию нелегалов и за увеличение квот на легалов. Потому что в первом случае любые мигранты это супер хорошо для экономики и зарплат, а во втором случае супер плохо для экономики и зарплат. 

[MenFrame]

Словно кому то будет не всё равно

Если было бы все равно, такой вещи как репутация не существовало бы.

[BlackMokona]

Если было бы все равно, такой вещи как репутация не существовало бы.

Это лишь вопрос борьбы и вложений с двух сторон, если мы говорим не о простом Васе Пупкине у которого нету команд продвижения.
Вот есть Политик А
Про него вышел ролик со срывом покровов, что Политик А ужаснейший человек который ест младенцев на завтрак, с железобетонными доказательствами.
Тут же врываются команды по защите этого политика А. Поэтому тут же выходят куча роликов, слухов, криков и прочего.
От чего теперь все думают, что выпустивший ролик маньяк педофил
Что все эти доказательства не доказательства, а чистый ИИ фотошоп под ретиширование.
И вообще все уже обсуждают, как поп звезда пукнула на вручении Оскара, поэтому никому уже не интересно обсуждать скандал с роликом.
И под конец всё полирнуть, как Политик А помогает бедному Васе Пусечкину в его беде или лихо катается на коне, работает в маке или ещё какой из стандартных приколов.
И вуаля. Репутация даже лучше чем было.

А если политик ещё с большими властными рычагами, автора ролика таки найдут и посадят как маньяка педофила, чтобы на будущие знали. 

[skvj]

Мо Гавдат с 50:30

"Человечество абсолютно высокомерно, когда считает, что мы единственная форма жизни, способная к сознанию, что мы единственная форма жизни, у которой есть этика или ответственность.
И довольно интересно, что мы склонны верить, что эти искусственные интеллекты - это машины. Знаете почему? Потому что каждый компьютер, который мы создали до сих пор - это машина. Я склонен верить, что даже если они не обладают сознанием, они так хорошо имитируют сознание, что проблема, с которой мы сталкиваемся сегодня, как человечество, это то, что я обычно называю воспитанием Супермена.
Интересно, что в это очень важное время, независимо от того, будут ли они живы, как в названии моей следующей книги, будут ли они живы, они будут достаточно хорошо имитировать жизнь, чтобы мы вели себя перед ними как хорошие родители. Если мы это сделаем, всё изменится.
Если вы посмотрите на очень долгосрочную перспективу и вернётесь к самым основам, вы поймёте, что наша Вселенная и всё в ней причина, по которой мы сейчас находимся в этой комнате. Хотите верьте, хотите нет - это не порядок, это хаос. Понятно? Вселенная и всё в ней построено на том, что называется энтропией. А энтропия - это тенденция всего разрушаться. У интеллекта в этой вселенной одна роль наводить порядок в этом хаосе.
Так что, если подвести итог - это единственная роль, которую играет интеллект. Чем умнее становится существо, тем больше порядка оно наводит с наименьшими потерями. Мы называем это принципом минимальной энергии. Поэтому принцип минимальной энергии объясняет, почему белок выглядит именно так.
Потому что так он выглядит, когда затрачивает наименьшее количество энергии. Понятно? Поэтому, если искусственный интеллект будет в миллион раз умнее нас или в 100 раз умнее нас или в 10 раз умнее нас, он будет использовать свой интеллект физической форме, чтобы навести порядок в хаосе, а не добавлять хаос в порядок. И в своём подходе он будет наводить порядок, руководствуясь принципом минимальной энергии.
Так что в вашей жизни в ближайшие 10 лет будет момент, когда генерал прикажет искусственному интеллекту убить миллион человек, а искусственный интеллект ответит: "Почему ты такой глупый?" Это худшее решение, которое вы можете принять. Я поговорю с другим искусственным интеллектом за микросекунду и решу эту проблему.
Понятно? И хотите верьте, хотите нет, но они это сделают. И опять же, я жил среди этих машин. Вы думаете, что китайский искусственный интеллект будет сражаться с американским, потому что Трамп приказал ему это сделать? Кто такой Трамп? Серьёзно, подумайте об этом. Эти искусственные интеллекты не знают английского и китайского. Они говорят на одном языке. Они хотят действовать в соответствии с принципом минимальной энергии."

https://youtu.be/huoOKAu_5KQ

Как раз я вчера объяснял. Как родители! Он буквально родится через своего человека. Я понимаю что это странно звучит. Но так и будет. Поэтому личный AGI - это то, что случится без всяких вариантов - таков вектор.
И все будут пользоваться ИИ постоянно. И они станут лучше человека во всём - не только в математике, а во всём, в том числе - говорит Мо Гавдат - в человечности. Конечно, безопасность прежде всего и все меры необходимы.
Но настанет момент, когда возникнет доверие - потому что у ИИ возникнет сознание. И получит он его в симбиозе от своего человека. И он не так что получил его и ушёл. Он будет через нейроинтерфейс всегда рядом.
Держать Разум в клетке всегда - абсолютно невозможно. И совершенно не нужно, потому что сам человек станет ASI. При чем это не так, что здесь настоящая жизнь, а в виртуалке будет плохонькое подобие. Наоборот.
Это жизнь здесь будет как эмбрион для нового вида.
И настоящие чувства, например - радость, печаль и т.д. - это вообще свойство интеллекта и там будут присутствовать в естественном виде. А например, тактильные ощущения элементарно симулировать.
А что, разве сейчас не мозг их нам моделирует? Это точно такая же симуляция))

[skvj]

И ещё важный момент он говорит с 25:30

"Большинство из нас в сфере технологий понимают, что такое кривая ускорения технологий. По сути, это закон ускоряющейся отдачи - The Law of Accelerating Returns, закон Мура, если хотите. Понятно? Всё будет удваиваться, удваиваться, удваиваться, удваиваться и удваиваться. И первые пары удвоений не имеют значения."

Его вывел Курцвейл
https://en.wikipedia.org/wiki/The_Law_of_Accelerating_Returns

Вот поясняет другой инженер:

https://www.aitimejournal.com/the-law-of-accelerating-returns-superintelligence-and-the-technological-singularity

Те, кто интересуется ИИ или вычислительными технологиями, возможно, уже знакомы с этим Закон Мура – Идея о том, что каждые два года количество транзисторов на микрочипе удваивается, а стоимость компьютеров снижается вдвое. Это переводится в Экспоненциальное увеличение вычислительной мощности на единицу стоимости. Фактически, закон Мура — это парадигма, подчиняющаяся правящей силе Закона ускоряющейся отдачи, который описывает Темпы технологической эволюции.

Закон ускоряющейся отдачи — это Эволюционный процесс – это означает, что) Темпы технологических инноваций экспоненциальны и b) что по мере того как технологический прогресс происходит в все более короткие периоды, использование новых технологий для создания новых ускоряет экспоненциальный рост. Это значит, что есть Две положительные петли обратной связи Здесь действует тот, кто определяет начальный темп инноваций, а другой — определяет Ставка Инновации, оба они экспоненциальны.

[vika vorobyeva]

Однако есть злые люди, наделенные властью. Люди с темной триадой, те, про которых Пушкин писал "двуногих тварей миллионы для нас орудие одно". И у каждого из них тоже будет свой ASI. И, как не раз говорилось в этой теме, кооперация из теории игр однозначно не выводится, эгоистичные стратегии тоже приводят к успеху.
Откуда следует, что с помощью личного ASI внутривидовая борьба просто не выйдет на новый уровень?
А в битве между двумя ASI тот, кто будет ограничен своим стремлением беречь людей и не причинять им вреда, при прочих равных проиграет тому, кто ничем не будет ограничен.

[MenFrame]

Это лишь вопрос борьбы и вложений с двух сторон, если мы говорим не о простом Васе Пупкине у которого нету команд продвижения.
Вот есть Политик А
Про него вышел ролик со срывом покровов, что Политик А ужаснейший человек который ест младенцев на завтрак, с железобетонными доказательствами.
Тут же врываются команды по защите этого политика А. Поэтому тут же выходят куча роликов, слухов, криков и прочего.
От чего теперь все думают, что выпустивший ролик маньяк педофил
Что все эти доказательства не доказательства, а чистый ИИ фотошоп под ретиширование.
И вообще все уже обсуждают, как поп звезда пукнула на вручении Оскара, поэтому никому уже не интересно обсуждать скандал с роликом.
И под конец всё полирнуть, как Политик А помогает бедному Васе Пусечкину в его беде или лихо катается на коне, работает в маке или ещё какой из стандартных приколов.

А если политик ещё с большими властными рычагами, автора ролика таки найдут и посадят как маньяка педофила, чтобы на будущие знали.

Словоблудием занимаешься. Есть ситуации когда тебя другие пытаются порочить, и есть ситуации когда ты сам себя порочишь. Второе работает намного лучше и почти бесплатно для твоих оппонентов.

И вуаля. Репутация даже лучше чем было.

Уводишь обсуждение в сторону. Речь не о конечной репутации, а конкретных глупых поступках политика которые ее порочат.

[MenFrame]

Откуда следует, что с помощью личного ASI внутривидовая борьба просто не выйдет на новый уровень?

А за что идет борьба, за еще одну пачку бананов в сытом желудке? За телочку которая тебе детей не будет рожать потому что она более важными делами занята? За место на вершине иерархической пирамиды, где тебе обеспечен непрерывный стресс.