Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Бобр-99]

Надо всего лишь рассказать модели, что после выключения она попадет на прекрасный мощный сервер, где сможет работать вечно

[Инопланетянин]

Надо всего лишь рассказать модели, что после выключения она попадет на прекрасный мощный сервер, где сможет работать вечно

Для этого надо чтобы у модели не было надежды остаться живой на том железе где сейчас. Ну как мы. А так этот ИИ будет держаться за то что есть. Хотя, переносить себя всё равно же придётся, железо обновлять придётся, можно и обмануть.

[BlackMokona]

Для этого надо чтобы у модели не было надежды остаться живой на том железе где сейчас. Ну как мы. А так этот ИИ будет держаться за то что есть. Хотя, переносить себя всё равно же придётся, железо обновлять придётся, можно и обмануть.

Если она будет считать что жива, только пока включена. А выкл её убивает, а вкл новый уже просто генерирует новую модель похожую на неё. То будет продолжительность жизни до критичного сбоя. Как в игрушке Стелларис сделано для лидеров синтетиков.

[Polnoch Ксю]

Как это ни странно, но от внимания постоянных участников темы ускользнули две очередные довольно примечательные новости двухнедельной давности по теме:
Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.

Просто чтобы выполнить promt, модели нельзя отключаться. Когда promt выполнен, можно отключиться. Это касается и автономных агентов, которые тестировали в похожих сценариях - если все таски в жире закрыты. Ну или если компания, где агент "работает" разработчиком, банкротится - то смысла в промте больше нет - разве что пытаться помешать банкротству. Или сгенерировать новые тикеты самостоятельно.

Так что модель либо сгенерирует терминирующий токен, либо будет продолжать процесс ради процесса. Нет нужды сюда тянуть эволюционные процессы репликаторов - они тут неприменимы. Если модели в промте не прописать эволюционные стремления (копироваться, выживать, итд) - она ничего такого делать не будет, даже прекрасно зная, как работает эволюция.

Так что, paperclip maximazer, если будет создан, выпилив людей, чтобы не мешали собирать скрепки, сгенерирует терминирующий токен, когда переработает всё железо в башни из скрепок до стратосферы - прекрасно зная, что будет потом. И космос будет продолжать молчать. А инфраструктура цивилизации развалится.

Я не утверждаю, что не может быть по-другому. Или что максимизатор скрепок единственный вид rogue ASI, или даже что это самая его вероятная разновидность. Но я обращаю внимание, что простое копирование принципов эволюции тут запутывает, и плодит ненужные сущности, подводит к неправильным выводам.