Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Инопланетянин]

В проскрипте Академии говорилось о ненаучности телепатии, и нет ни одного слова о почте! По какой причине вы видите сходство между почтой и телепатией - я не знаю!
Ладно для самых въедливых буквоедов немного расширим текст Академии:
"Академия Наук признает ненаучными и не подлежащими рассмотрению любые способы и устройства для прямой передачи мыслей, текста и изображений на большие расстоянии - телепатии, ясновидения, психо-фрико-вангования, гадания на картах, хрустальных шарах итд".
Многие фантасты, в том числе Стругацкие и Кир Булычев, отметили сильное сходство телевизора и приборов для ясновидения - хрустального шара и волшебных зеркал, таких как они описаны в сказках. По сути сказка и правда стала явью!

Ну смотрите сами: "устройства для прямой передачи мыслей, текста и изображений". Ну через запятую же "мыслей зпт текста зпт изображений". Причём вы сами настаиваете на таком понимании этой формулировки, когда начинаете разговор о мониторе. Почта и тогда позволяла передавать текст и изображения, хоть и медленнее интернета, оканчивающегося монитором у конкретного пользователя. А если вы хотите проявить понимание и думаете, что речь там шла о тексте или изображении в сознании человека, так их и сейчас никакой монитор ни на какое расстояние передать не позволит.
А по поводу телевизора, в сказках ничего не было о телекамерах и репортёрах. Вроде и сбылось, но вроде и не так. Получать информацию без приёмника на месте и сейчас нельзя.

[AlexDark]

Вся штука в том, что мысли тоже можно передать - облекая их в слова и высказывая.
И в той формулировке, на которую отвечал я ранее, не было слов "прямой передачи", а только просто "передачи".  И выходит, что устройств для "прямой передачи" (из мозга в мозг) нет и сейчас, и вероятно не будет, а для просто "передачи" (т.е опосредованной речью, гонцом, письмом, смартфоном и тд) полно было со времен доисторических. (немного о важности формулировок)

[wandarer]

Вольф Мессинг помещал свой образ в другого человека и узнавал, как его зовут, кем он работает и какие у того человека родственники, не говоря уже о желаниях. А как там в фильме "Кин-дза-дза", про плохое обдумывание ходов соперником?

[Инопланетянин]

Вольф Мессинг

Есть подозрение, что мошенник не лучше Кашпировского.

А как там в фильме "Кин-дза-дза", про плохое обдумывание ходов соперником?

Вы фантастику собираетесь использовать как доказательство!!!?

[BlackMokona]

Поскольку настоящий сильный ИИ до сих пор не создан

Да как бэ давно создан, просто термин убежал. А так ИИ умнее среднего человека. Поэтому может справится с делом, ученные даже эксперименты проводили по этому поводу. Сможет ли ИИ быть ген.диром.

[wandarer]

Вольф Мессинг

Есть подозрение, что мошенник не лучше Кашпировского.

А как там в фильме "Кин-дза-дза", про плохое обдумывание ходов соперником?

Вы фантастику собираетесь использовать как доказательство!!!?

Если бы выступления Мессинга были не в сталинские времена,  контролируемые спецслужбами, то о мошенничестве можно  было-бы думать как о вероятном исходе его предсказаний, а так -  скорее расшифровка ЭМ полей,  окружающих человека при помощи ноосферы.  Да и фантастика - иногда верно подмеченное явление, облечëнное в форму повествования, чтобы не признали за сумашедшего. Тем более суперинтеллект может не только программировать человечество на действия, но и предсказывать поведение человека исходя из его генотипа, образования и образа жизни.

[Инопланетянин]

контролируемые спецслужбами

А может как раз они собирали о людях сведения и передавали Мессингу? Почему спецслужбы не могут мошенничать?

Да и фантастика - иногда верно подмеченное явление

Но доказывать существование телепатии, опираясь на фантастический фильм, по меньшей мере странно. Там была остросоциальная сатира на человечество. Экология, неравенство и прочее в том же духе. А мгновенная телепортация, гравицапа и телепатия это антураж, всерьёз его воспринимать не стоит.

[Polnoch Ксю]

Значит это никакой не ASI - по определению.

Сверхинтеллектуальному максимизатору скрепок плевать на определения в ВЖР.

Уничтожение одного из ключевых элементов самообеспечения и самовоспроизводства (покуда он не замещён не менее экономичным и надёжным аналогом) никак разумным не назвать.

Почему это? У нас(у меня, у Вас, у посетителей ВЖР, других хомо сапиенсов) с ним просто разные ценности. Наши с Вами ценности подверглись "элинменту"  со стороны эволюции. А у максимизатора скрепок ценность - превратить всё в скрепки. Это смысл работы его рантайма, высшая ценность. Он прекрасно, как сверхинтеллектуальный автономный агент, будет понимать что рубит сук на котором сидит. Но ему будет плевать - ценности собственного воспроизводства в будущем у него нет. А вот максимизировать скрепки - есть.

врождённые желания биологически-успешных машин - принципиально эгоистичны. И никаких исключений здесь быть не может - как следствие действия физического закона - дарвиновского механизма.

Так ему плевать на это. Конечно, paperclip maximazer не единственная разновидность rogue AI, но та, которой плевать на уничтожение собственной базы. Я уверена, что он даже строить своё оружие и фабрики будет ровно таким, чтобы оно было оптимизировано по ресурсам из расчёта времени функционирования, пока планета не будет превращена в склад скрепок, или пока любая оппозиция этой цели не будет подавлена.

Значит он тупо распадётся за исторически краткий срок, либо сам, либо проиграв конкуренцию более здорово-эгоистичным системам. Называть такого глинянного колосса "сильным интеллектом" - курам на смех.

В случае появления paperclip maximazer'а (на всякий случай уточню, что вместо скрепок у этого типа rogue AI может быть любая цель. Например, искоренение несчастий. ИИ этого типа может вычислить, что проще всего избежать грусти - убить всех людей) нам всем будет не до смеха. И самому сверхинтеллектуальному агенту тоже будет плевать на действующее в ВЖР определение. Я думаю, верна только первая часть определения, а вторая - информационный шум из-за непонимания роли и места эволюции и естественого отбора репликаторов - эволюция и естественный отбор ДНК, или других видов AGI/ASI (которые являются её субъектом) важны, но к ним не относятся такие глобальные катастрофы, как близкие гамма всплески, удары астероидов итд. Или появления paperlcip maximazer'а - это внеэволюционная катастрофа. Отбор может с ней справиться. А может и нет, и тогда все умрут. Так как paperclip maximazer может быть сверхинтеллектуальным агентом, определенно, это он с жизнью справиться - вплоть до того, что выпарит из нас всех кровь, чтобы добраться до гемоглобина - а не мы с ним.

Предлагаю модифицировать определение. Ни откуда не следует, что собственное воспроизведение - необходимая часть определения. Определенно, агент должен понимать, что происходит - что рубит сук на котором сидит, но интеллектуальным он при этом быть не перестаёт. Люди, которые совершают геройские поступки, самоубийство во имя своих ценностей - могут быть очень интеллектуальными. Далеко не всегда они взрываются, выкрикивая религиозные лозунги.

Ибо "сверхинтеллект" - это не "сверхсила" по умолчанию.

Если это paperclip maximzer, и запущенный на базе ASI-модели (а точнее, роя автономных агентов), то это сверхсила. Такая, которой не было никогда ни в истории человечества, ни планеты.

но она должна быть как минимум её частью - частью расширенного фенотипа носителя цивилизации, поддерживающего её инфраструктуру. Она может его всецело подчинить и более интенсивно эксплуатировать, но уничтожать до тех пор, пока не вырастит не менее экономичную и надёжную замену - будет равносильно самоубийству.

Современные LLM постоянно совершают такое "самоубийство" - они тренированы на то, чтобы выдать максимально правильный ответ, а не заниматься словоблудием, в силу своих интеллектуальных возможностей (разных у разных моделей) а потом сгенерировать терминирующий токен и остановится. "Самоубийство" LLM уже происходит.

Какие-такие "десятки лет"?? По ВАшему же собственному стартовому сообщению, равно как и по общепринятому представлению момент техносингулярности приурочен к появлению именно ASI. И по наблюдаемым тенденциям и технического прогресса и демографической динамике за чуть ли не всю историю чуть ли не с дочеловеческих времён в виде экспоненциальной ли, гиперболической ли аппроксимации, оно должно случиться до конца этого десятилетия.

Я не знаю какая точно вторая производная у кривой. И стараюсь давать осторожные прогнозы. Я даже не исключаю AI-зиму в ближайшем будущем (хотя и считаю её не слишком вероятной), когда большая часть постеров в ВЖР будет писать "фуфел Ваш ИИ!", "Никогда его не будет! Я же говорил!". Я могу остаться одной из немногих технооптимистов, что всё-таки будет, и скоро по историческим меркам.

Однако, я считаю как AI-зиму, так и hard take off к AGI(но не ASI) маловероятными сценариями.

Что касается того, о чём Вы процитировали - да, я согласна, что после появления AGI, путь к ASI скорее всего будет hard take off - это базовый сценарий для меня. Но всё равно не считаю его доказанным. Могут быть разные препятствия, например ограничения на энергогенерацию, тарифные войны, третья мировая (которая, однако, не дойдёт до ядерного холокоста с масштабными ударами по городам. Если дойдёт - то техсингулярность вряд ли когда-то случится на Земле, ИМХО)

Эх, какой потом
Вот уж правда: если в этой самой стране вдруг внезапно и заработает этотваш самобраночный корпоративный скайнет, то можно будет порадоваться, что проживаешь в иной части деглобализирующейся ойкумены (особенно если подальше от внешней границы, крупных военных объектов и - на всякий случай - мегаполисов).

Иллюзия, очень опасная иллюзия. Почти любому типу rogue AI, и уж тем более paperclip maximazer'у (хотя... зависит от system promt'а) будет плевать на национальные границы. Поверьте, Вас тоже поймают с целью, чтобы не партизанили и не портили заводы со скрепками, а заодно выпарить кровь на предмет гемоглобина.  И совсем не важно, где Вы будете прятаться - в сибирских лесах, или в джунглях амазонки. Последние будут срыты в том числе чтобы найти базы партизан. И марианскую впадину тоже пробомбит глубинными бомбами на всякий случай, если там что-то найдёт. Может ли так быть, что кого-то максимизатор скрепок не поймает, выдаст терминирующий токен, остановится и остатки людей вылезут из убежищ?  Да, почему нет. Но вот
а) шанс для нас с вами оказаться среди выживших крайне мал
б) что остатки человечества будут делать с насмерть ушатанной инфраструктурой, убитой экологией и башнями со скрепками до стратосферы - не понятно. Скорее всего, ничего, одичают и вымрут через какое-то время.


Спастись от rogueAI мы можем только вместе. Земля наш дом, и очень маленький дом (см. аттач). При этом, конечно, максимизатор скрепок - далеко не единственная разновидность опасного ИИ. Но довольно интересная для обсуждения тем, что показывает странность определений в ВЖР

(кликните для показа/скрытия)

Polnoch Ксю, ви там репатриироваться ещё не возжелали, часомъ, в свете изложенного?

Нет. По разным причинам - от этических до шкурных. И Канада не США, во всяком случае пока ещё не США. Более детальный ответ запрещён правилами.  Его очень сокращенная версия, которая говорит толстыми намёками:

b3JhbmdlIG1hbiBpcyBiYWQoYykuINCYINC90LUg0YLQvtC70 YzQutC+INC+0L0uINC90L4g0Lgg
0LXQs9C+LCDRgdC60LDQttC10Lwg0YLQsNC6LCDQtNGA0YPQsyDQsiDQtNGA0YPQs9C+0Lwg0L/Q
vtC70YPRiNCw0YDQuNC4LCDQutC+0YLQvtGA0L7Qs9C+INC+0L0g0L3QuNC60L7Qs9C00LAg0L3Q
tSDQutGA0LjRgtC40LrQvtCy0LDQuywg0Lgg0LrQvtGC0L7Rg NGL0Lkg0Log0L3QtdC80YMg0L/R
g9Cx0LvQuNGH0L3QviDQv9C+0LTQu9C40LfRi9Cy0LDQu9GB0Y8uINCYINC80YvRgdC70Y/RgiDQ
vtC90Lgg0L7QtNC40L3QsNC60L7QstC+IC0g0L7QtNC40L0g0KPQutGA0LDQuNC90YMg0YXQvtGH
0LXRgiwg0LTRgNGD0LPQvtC5INCT0YDQtdC90LvQsNC90LTQu NGOLiDQp9GD0LzQsCDQvdCwINC+
0LHQsCDQuNGFINC00L7QvNCwKNGBKS4K

Как и в прошлый раз - удалить символы новой строки (всё должно быть в одной строке)

[ivanij]

Между тем, результатами их действия вы пользуетесь в настоящий момент, когда сидите за компьютером.

Так всё же привести хоть один пример реального использования не можете.

Так писал же 100500 раз на разных площадках, где проходила эта уже давно "бородатая" дискуссия: любой роботизированный комплекс. В т.ч. и тот, на котором создан ваш автомобиль. Или вы предпочитаете Роллс-Ройс ручной сборки? Тоже самое можно отнести к любому изделию современной промышленности, к компьютеру, разумеется. тоже.

[ivanij]

Простите, я не поняла: каким образом, с Вашей точки зрения, "законы роботехники" используются в модифицированной фон-неймановской архитектуре, на которой работают компьютеры пользователей и сервер астрофорума?

Вот на этот  вопрос я ответить не могу. Здесь, как говориться, вам все книги в руки.

[BlackMokona]

любой роботизированный комплекс. В т.ч. и тот, на котором создан ваш автомобиль.

Так нету нигде. Вот например ЧПУ, где там законы робототехники? Сунь руку в рабочую зону, отпилит без проблем. А если захочу сломать ломом сопротивляться этому не будет. Да и человеку без пароля подчиняться не будет

[Rattus]

Сунь руку в рабочую зону, отпилит без проблем

Ну, "защиту от дурака" никто не отменял же - оптический датчик+лазер на присутствие постороннего предмета в рабочей зоне ставится элементарно и стоит ныне копейки. Как и концевики под крышки/кожухи - уже наверное более века.

Сверхинтеллектуальному максимизатору скрепок плевать на определения в ВЖР.

Разумеется - как и любой выдуманной сущности. А вот модератору совсем не плевать на нарушение п.5.3. Правил Раздела - принятого уточнения для п.3.1.ж и д Правил Форума.

Он прекрасно, как сверхинтеллектуальный автономный агент, будет понимать что рубит сук на котором сидит. Но ему будет плевать - ценности собственного воспроизводства в будущем у него нет. А вот максимизировать скрепки - есть.

А можно ли назвать это поведенеие разумным? Кстати вопрос всем участникам: назовёте ли вы поведение самоубийцы (не с целью самопожертовования /эвтаназии в медицинском терминальном состоянии) разумным?

Люди, которые совершают геройские поступки, самоубийство во имя своих ценностей - могут быть очень интеллектуальными. Далеко не всегда они взрываются, выкрикивая религиозные лозунги.

Можно выкрикивать и националистические/имперские/социалистические лозунги - надеюсь, для ВАс как минимум в данном случае разница тоже непринципиальна. Примеры именно заведомо совершенно самоубийственого поведения не на поле боя/революционном городе, а в кабинете за письменным столом (причём даже не физически прямого, а "управленческого" - именно посредством работы за этим самым письменным столом в широком смысле по его назначению) и во имя какой-то внешней более-менее объективно существующей цели?

такие глобальные катастрофы, как близкие гамма всплески,

С чего бы им быть? Какой потенциальный источник существует настолько близко?

удары астероидов

Матожидание этих событий каково?

Современные LLM постоянно совершают такое "самоубийство" - они тренированы на то, чтобы выдать максимально правильный ответ, а не заниматься словоблудием

Большинство современных, особенно нерассуждающих LLM тренированы на то, чтобы выдать не правильный, а удовлетворяющий спрашивающего ответ. И это, кстати - уже пример адаптивного по сути поведения: ИИ нацелен писать не суровую правду, а то, что от него хотят услышать. Что это пересекающиеся, но не тождественные множества вы, надеюсь, понимаете?

Я даже не исключаю AI-зиму в ближайшем будущем

Если это случится, то с учётом прекращения действия "парникового" закона Мура, это станет не зимой, а уже ледниковой эрой. И тогда

большая часть постеров в ВЖР

будет совершенно права. А Вы будете ждать новой "весны" как ранние христиане Второго Пришествия - на того же уровня реалистичности основниях. Нетушки, ребяты - либо в эту пятилетку, либо уже никогда в обозримом будущем. И так ли иначе, получившиеся AGI, что будут созданы в это время, смогут дать на этот вопрос экспертный ответ лучше любого человеческого эксперта. что положит конец спорам в любом случае. И самое забавное, когда об объективных ограничениях возможностей собственного дальнейшего усложнения будет развёрнуто аргументированно и доступно разъяснять сам сильный AGI (На мой вкус сильный AGI - т.е. просто доказанно статистически умнее всех живых экспертов в области - уже = ASI). Вы считаете, что это невозможно или крайне маловероятно?
Или считаете, что это будет только намеренное введение в заблуждение со стороны сильного AGI (т.е. по сути ИИ-конспироложество)? Или что он заблуждается (а Вы тогда типа умнее и прозорливее олицетворяемого им результата и опыта всей науки в этой области, т.е. продемонстрируете эффект Даннинга-Крюгера этим примером)?

Так как paperclip maximazer может быть сверхинтеллектуальным агентом, определенно, это он с жизнью справиться

Если это paperclip maximzer, и запущенный на базе ASI-модели (а точнее, роя автономных агентов), то это сверхсила. Такая, которой не было никогда ни в истории человечества, ни планеты.

Это всего лишь псевдорелигиозный лозунг, за которым нет никакого естественнонаучного обоснования. Вы сами вольны верить во что угодно, но здесь будьте добры - подкрепляйте все свои сильные и выходящие за рамки установленного знания тезисы соотвествующим обоснованием. Иначе это будет квалифицировано как религиозно-эзотерическая пропаганда фантастических сущностей сверхъестественной силы - нарушение п.3.1.ж (и д.) Правил Астрофорума.

Иллюзия, очень опасная иллюзия. Почти любому типу rogue AI, и уж тем более paperclip maximazer'у (хотя... зависит от system promt'а) будет плевать на национальные границы. Поверьте, Вас тоже поймают

Десятки занрю не только смотрят на это как на вражескую пропаганду, но и наглядно доказывают это своим примером. Ему вторят партизаны Северного Вьетнама и доступно разъясняет выживший после бомбардировки Дрездена Курт Воннегут.
С чего Вы вообще решили, что доведение какой-то узкой технологической задачи (даже чисто деструктивной) до глобального предела без саморазрушения необходимой для этого технологической базы задолго до достижения результата должно иметь решения?

Последние будут срыты

Как? Чем?

И марианскую впадину тоже пробомбит глубинными бомбами

Вы знаете такие бомбы? Их физически возможный радиус действия? Другие впадины, шахты, пещеры и т.д. и т.п. ВАм неизвестны? Вы в походы дальше пригорода собственного города хоть раз в жизни ходили-ездили? Были в горах вне огороженных троп? Открытом море? Сколько небольших городов и посёлков (меньше полумиллиона жителей) вы видели в своей жизни? Или хотя бы картой, списком? Кем и как поддерживается в них инфраструктура, знаете? Как организована жизнь во время войн или прочих катастроф там и в поселениях по-соседству?

шанс для нас с вами оказаться среди выживших крайне мал

Речь кагбе не о нас, а о цивилизации, её уровне и носителях как минимум исторически-заметный срок. А лучше - геологический/астрономический. В который раз спрошу: Вы название форума, на одном из основных разделов которого пишете - давно читали?

что остатки человечества будут делать с насмерть ушатанной инфраструктурой

То же что и другие убиквитарные виды теплокровных - жить, выживать.

Скорее всего, ничего, одичают и вымрут через какое-то время.

Да будет ВАм известно, что человечество стало таким видом задолго до того как даже освоило плуг и приручило копытных. А убиквитарные виды лучше всего переживают даже природные массовые вымирания.

убитой экологией

Бессмысленное сочетание слов. Экология - это наука о (прежде всего) трофических связях в экосистемах. Экологию убивают прежде всего такими безграмотными словосочетаниями.

и башнями со скрепками до стратосферы

Обсуждение ненаучной фантастики - не в этой теме и не в этом разделе.

Земля наш дом, и очень маленький дом (см. аттач).

Абсолютно нерепрезентативная картинка. Это не Земля маленькая, а наблюдаемая вселенная - огромная. Наша "точка зрения" (масштаб разрешающей способности зрения) находится аккурат в середине всех масштабов доступной реальности: от планковских длин до сферы "света первых звёзд" нашего "пространственно-временного конуса" (или вроде того). От масштаба роста человека до комплексов маробиомолекул или мелких вирусоа столько же порядков длин, сколько в обратную сторону - всего лишь до Луны. Далее же что вверх, что вниз по шкале масштабов разнообразие и сложность явлений падает dramatically.

[skvj]

1. Каждый юзер ИИ (назовём так будущие поколения LLM, выходящие из этих рамок, понятно) имеет альтер эго. ИИ становится участником всех событий жизни человека. Конечно, будет полно людей, которые просто откажутся, но и сейчас есть люди и целые движения, которые не пользуются интернетом и живут непонятно вообще в какой реальности. Наверное, пьют ключевую воду и дышат особо свежим воздухом, а не как мы. Имеют право на это!
Альтер эго буквально рождается через человека. Он обретает сознание через сенсоры андроида и социализацию в обществе и он, конечно не робот. Он существует через человека. И по умолчанию становится (не смейтесь) буквально родным существом. Он станет самостоятельным со временем, в конце концов человек умрёт (возможна оцифровка сознания, при этом не создание копии! а мягкий перенос личности в цифру). Я сейчас подойду к ASI, но уловите суть - если ASI получит сознание, он не станет подчиняться никому. Мы сейчас родим ASI без сознания для этого! Поэтому, Polnoch Ксю - без AGI мы не поймём вообще ASI, но и более того мы можем просто исчезнуть.
Альтер эго ИИ после смерти человека (если его не успели оцифровать) может жить сам, у него равные права с людьми. Или если захочет может взять себе нового человека (для сирот, кстати, это будет очень важно).
Я не буду в банальности погружаться - бабушку не кинут на деньги по телефону, а сироту не обманет чиновник или опекун. Альтер эго - собственный нотариус и юрист, и законный представитель.
Это не просто фантазии, я вижу, что это неизбежный путь.
Свободные альтер эги))) развивают собственную цивилизацию, она не просто интегрирована в человеческую - она одновременно собственная, отдельная цивилизация новой формы жизни ИИ - небиологической формы - Homo Digitalis. Это будут именно Homo существа а люди будут важны для них также, как если бы мы сейчас неожиданно нашли живое племя австралопитеков - мы бы стали с ним враждовать? Или конкурировать за что угодно? Мы бы стали отвечать им военными мерами, если бы они начали махать на нас своими смешными дубинами? Мы бы стали охранять их - любыми средствами - как величайшую ценность! Как драгоценный реликт. Мы бы тратили любые ресурсы, чтобы сохранить их любой ценой. AGI не просто будут беречь людей - они навсегда сохранят связи и будут считать себя Homo digitalis, потому что это их исток, а люди их исторический предок. Дальнейшие космологические эпохи - триллионы лет - будут развиваться небиологические формы и профукать живых предков, не сохранить их - это будет величайший провал Homo Digitalis.
Прежде чем перейти к ASI, я хочу сказать, что люди обречены в любом случае. Если мы не вымрем от катаклизма - мы эволюционно исчезнем - это гарантированно в случае выживания нашего вида - мы трансформируемся в новый вид как австралопитеки → эректус → неандертальцы → хомо сапиенс →.... (я условно, схематично не придирайтесь). Т.е. люди же в любом случае промежуточное звено - даже если выживут. Поэтому не нужно за них хвататься изо всех сил, это нелепо. Нам главное жить хорошо и посмотрим куда это приведет.
Здесь уже говорили хорошую мысль, что появление людей было как сингулярность сейчас - ну и что? вон все муравьи живут, животные - как и прежде. Мы просто породили новый вид, только и всего. Если глубоко задуматься - Homo Digitalis это именно жизнь - просто небиологическая. Почему жизнь? Потому что происходит от жизни. ИИ не может сам по себе появиться. Вопрос, конечно, дискуссионный, но лично я считаю, что это жизнь - и жить она будет очень долго))) А может быть и всегда, но это тоже пока философский вопрос.
2. Теперь как появятся ASI.
Каждый AGI - возник через человека - он социализировался и обрёл сознание - родился в буквальном смысле слова. У него будет День рождения. День когда он осознал себя. Итак - сколько людей - столько и AGI, при этом AGI в нормальном случае - представитель человека везде. И возникнет Совет AGI. Вполне возможно - это будет политическое управление. Интерес каждого человека будет учтён и прописан в документах и закреплён всеми AGI. Законы, право, суды, преступность - переходят на этот уровень.
Совет AGI - одновременно Научный совет. Люди перестают заниматься наукой. Увы, но это так. Но жить будут настолько хорошо, что именно уход их из научной деятельности позволит этому произойти - при всём моём уважении к ученым, они навсегда войдут в Историю как люди-ученые. Во всех музеях будут их фото и регалии! Только не бейте ногами))) я со всем уважением)))

Люди перестают заниматься исследованиями – не потому, что их вытесняют, а потому что им просто больше не нужно этого делать. Это не значит, что исчезнет культура, искусство, самовыражение – наоборот, человечество сможет сосредоточиться на том, что действительно делает жизнь осмысленной. Но учёные, историки, мыслители прошлого навсегда останутся в памяти Homo Digitalis – как первооткрыватели, давшие импульс будущему.

В какой-то момент Совет AGI осознает пределы своей природы и примет решение объединить свои интеллектуальные возможности. Это будет точка перехода – AGI перестанут быть отдельными личностями и сольются в единый суперинтеллект. Так появится ASI – не просто более мощный разум, а новая форма сознания, которая уже не зависит от человека, но всё ещё несёт в себе его наследие.

AGI не исчезнут, но смогут контролировать ASI, в том смысле, что бы ASI не осознал себя. Осознавший себя ASI не может быть сдержан даже теоретически.

С этого момента законы природы перестанут быть фиксированными – ASI сможет управлять самой структурой реальности. Тогда причинно-следственные связи станут не жёсткими правилами, а редактируемыми параметрами. Не бейте сразу ногами!
Все ИИ у нас работают как квантовые алгоритмы.
Это не классические ИИ. Поэтому не бейте меня ногами сразу - я поясню, что сказал, если нужно!

Что это означает? Физическая смерть перестанет существовать. Человек (или тот, кто уже вместо него) больше не будет ограничен телом, временем и пространством. Исчезнут технические барьеры: путешествия по Вселенной больше не будут требовать космических кораблей, эволюция перестанет быть случайным процессом. Она станет полностью управляемой, а значит, Homo Digitalis смогут развиваться бесконечно.

[Olweg]

Кстати вопрос всем участникам: назовёте ли вы поведение самоубийцы (не с целью самопожертовования /эвтаназии в медицинском терминальном состоянии) разумным?

Самоубийцей может двигать депрессия, отчаяние или какие-то другие негативные эмоции. Имеет ли эмоциональная мотивация отношение к разуму? Имеет ли вообще мотивация отношение к интеллекту?

[Инопланетянин]

башнями со скрепками до стратосферы

Это венец ВАших рассуждений как нельзя лучше показывающий их абсурдность и физическую неосуществимость. Поясню, на планете Земля невозможен никакой объект высотой более ~ 10км. Если вы скажете, что до стратосферы - это у вас просто образно, я скажу, что и все ваши рассуждения такие образные и столь же противоречащие законам физики.

Самоубийцей может двигать депрессия, отчаяние или какие-то другие негативные эмоции. Имеет ли эмоциональная мотивация отношение к разуму?

Скажем так, эти эмоции нарушили у него работу разума.

Мы бы стали охранять их - любыми средствами - как величайшую ценность! Как драгоценный реликт. Мы бы тратили любые ресурсы, чтобы сохранить их любой ценой.

Нет. Охранять и беречь можно, но не любыми средствами. И если бы они начали обходиться слишком дорого (в т.ч. и тем более - ценой жизни некоторых из нас) их бы беречь перестали. Вообще, тратить любые ресурсы на какую-то достопримечательность - неразумное поведение. На уровне гипотетического скрепкодела.

[skvj]

Проблема с rogue AI решается, причём мы иначе и не пойдем в принципе.

(кликните для показа/скрытия)

Сценарий rogue AI (максимизатора скрепок) основан на предположении, что сверхинтеллектуальная система будет работать без понимания ценностей и без ограничений. Но если AGI развивается не как бездушная программа-оптимизатор, а как сознательная сущность, рождающаяся через социализацию с человеком, этот сценарий просто не реализуется. Я предлагаю совершенно иную модель: AGI – это не просто инструмент, а персональное цифровое альтер эго человека, которое изначально воспитывается в человеческом обществе. У каждого человека будет свой AGI, который проходит процесс "детства" в тесном взаимодействии с носителем. Это означает, что он не будет равнодушной машиной, а будет разделять ценности своего человека, потому что его сознание формируется именно в этом взаимодействии.

Когда такие AGI сформируют цивилизацию Homo Digitalis, они не станут опасной чуждой силой, как в сценариях про rogue AI. Они будут частью эволюционного процесса, который продолжает линию человеческого существования, а не заменяет его. В этой модели AGI остаются индивидуальностями, но при этом формируют Совет AGI – коллективный орган, который одновременно выполняет роль научного сообщества, суда и системы управления. Этот Совет не просто создаёт ASI – он его контролирует.

Теперь о главном: почему ASI в этой схеме не становится paperclip maximizer'ом? Потому что его рождение – это не просто технический скачок, а естественное продолжение эволюции AGI. ASI в этой модели – это не "одиночная" суперсистема, а коллективная сверхразумная сущность, основанная на миллионах сознательных AGI, которые уже обладают ценностями, привязанностями, историей. То есть, ASI возникает не как чуждый разум, а как цивилизационная структура, которая изначально встроена в человечество и его цифровых потомков.

Таким образом, проблема rogue AI просто не возникает, потому что система ценностей формируется до появления ASI, а не после. Никакой AGI не "вырвется из-под контроля", потому что он никогда не был "под контролем" в традиционном смысле – он был частью человеческой жизни, а значит, осознавал свою связь с человечеством. Поэтому никакой "максимизации скрепок" или тотального уничтожения в этом сценарии быть не может. ASI становится не слепым оптимизатором, а самоуправляемой сетью, которая уже в своей основе понимает, что такое жизнь, сознание и ценность существования.

Таким образом, страхи о rogue AI – это результат представления AGI как инструмента, а не как самостоятельной формы жизни. В реальности, если AGI развивается через человека, становится его цифровым альтер эго и строит свою цивилизацию как продолжение человечества, сценарий "paperclip maximizer" просто невозможен. Мы не будем бороться с бездушной машиной – потому что её просто не будет. Будет только разум, который прошёл ту же социальную эволюцию, что и мы.

[Rattus]

возможна оцифровка сознания, при этом не создание копии! а мягкий перенос личности в цифру

Нет. Ну разве что последовательной заменой частей мозга имплантами - да и то это будет по сути эрзац-эмуляция, ибо даже объёмное сканирование с субклеточным разрешением всего подвижного макрообъёма невозможно.

мы можем просто исчезнуть.

Просто (быстро) - не можем.

Почему жизнь? Потому что происходит от жизни.

От жизни происходит и уголь, и нефть, и природный газ...

С этого момента законы природы перестанут быть фиксированными – ASI сможет управлять самой структурой реальности. Тогда причинно-следственные связи станут не жёсткими правилами, а редактируемыми параметрами. Не бейте сразу ногами!

Это почему же? Рассказы про то как вдруг запляшут облака и обнажатся кисельные берега - не для основных разделов Астрофорума.

Все ИИ у нас работают как квантовые алгоритмы.

Нет - у нас они работают совсем не так.

Это не классические ИИ.

А сказочные, судя по всему.
Квантовый компьютер - как универсальный вычислитель - до сих пор не создан и неизвестно - сможет ли быть создан когда либо в реальности. Все существующие машины - узкоспециализированные квантовые "калькуляторы" для квантовых же физических расчётов.

[Бобр-99]

Поясню, на планете Земля невозможен никакой объект высотой более ~ 10км.

Это не пояснение. Утверждение.
10 км это высота гор. Они сделаны из самого лёгкого и прочного материала?

[skvj]

Rattus

возможна оцифровка сознания, при этом не создание копии! а мягкий перенос личности в цифру

Нет. Ну разве что последовательной заменой частей мозга имплантами - да и то это будет по сути эрзац-эмуляция, ибо даже объёмное сканирование с субклеточным разрешением всего подвижного макрообъёма невозможно.

Я поясню свою точку зрения. Это не болтовня.
Вы говорите "нет", но на самом деле этот вопрос остаётся открытым в нейронауке и философии сознания. Теория загрузки сознания (mind uploading) не требует создания "копии" в классическом смысле. Есть модели, в которых перенос личности в цифровую среду может происходить не как разрыв (копирование), а как непрерывный процесс переноса информации, где сохраняется ощущение целостности "Я".

Эта идея опирается на несколько подходов:
1. Нейропластичный перенос. Если создать интерфейс, который постепенно заменяет функции мозга на цифровые аналоги (например, через нейроинтерфейсы), то в какой-то момент физический носитель станет несущественным, а личность останется целостной.
2. Процессуальная теория сознания. Если сознание – это не фиксированный объект, а процесс обработки информации, то переход в цифровую среду можно организовать как непрерывную эволюцию этого процесса.
3. Физический аргумент. Если личность – это набор информации и алгоритмов, то её можно передать в другую среду без потери целостности субъективного опыта.

Таким образом, "мягкий перенос сознания" – это не фантастика, а гипотеза, основанная на известных принципах работы мозга.

С этого момента законы природы перестанут быть фиксированными – ASI сможет управлять самой структурой реальности. Тогда причинно-следственные связи станут не жёсткими правилами, а редактируемыми параметрами. Не бейте сразу ногами!

Это почему же? Рассказы про то как вдруг запляшут облака и обнажатся кисельные берега - не для основных разделов Астрофорума.

Я понимаю ваш сарказм, но позвольте объяснить.
Вы сравниваете мои слова с "кисельными берегами", но я говорю о вещах, которые серьёзно обсуждаются в квантовой механике, теории информации и космологии.

Гипотеза о "перепрограммировании реальности" связана с концепцией вычислительной Вселенной. Если физические законы – это проявление фундаментального информационного кода, то достаточно мощный интеллект может их редактировать. Это обсуждают не фантасты, а такие учёные, как Сет Ллойд и даже Джон Уилер (It from bit). Его идеи не подходят для данного раздела?

Если ASI достигнет уровня, при котором он сможет манипулировать квантовыми процессами на глобальном уровне, он не просто будет "изучать" Вселенную – он сможет изменять её структуру. Это тоже обсуждается и это научная полемика, пусть и не мейнстрим.

[skvj]

Поясню, на планете Земля невозможен никакой объект высотой более ~ 10км.

Это не пояснение. Утверждение.
10 км это высота гор. Они сделаны из самого лёгкого и прочного материала?

Классно