Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Висснер-Гросс, но это не универсальный закон для всех интеллектов, а модель для физических систем, максимизирующих будущую свободу действий.

Это исключительно вопрос дефиниций. Энтропика - довольно простая программная модель Висснер-Гросса ведёт себя "как утка" - проявляет поведение, которое мы называем интеллектуальным. При этом более универсального определения представить не могу. Считаю этого более чем достаточно.

Борги это коллективный разум без индивидуальности, где все подчинены одной цели (ассимиляция). Но почему AGI должен быть таким?

Любой разум в пределе коллективный - хоть на клеточных нейронах, хоть на транзисторных, ибо нейронов этих требует огромное множество и выделить из этого множества "самый главный нейрон" возможным не представляется.

Вы представьте AGI реальным андроидом, живущим вместе с людьми.

Потребные для настоящего AGI, равного человеческому, вычислительные мощности таковы. что засунуть их в серийно выпускаемого автономного робота ни экономически ни даже энергетически реальным не выглядит. Да это и не нужно.

Именно поэтому им будут даны права.

Кроме саморазумеющихся прав защиты от произвольного отключения, нарушения целостности и сенсорной депривации - какие и зачем им они?

[Rattus]

Кто им там даст что-то накладывать?

А кто сейчас даёт? На стратегические объекты, на распространение сведений государственного значения, на руководство в условиях комендантского/военного положения/карантина?

Ваши опасения ровно из той же оперы, как раньше ходили байки, что элетротранспорт никогда не появится, потому что нефтяные компании не разрешат. Никто их разрешения не спрашивает.

Вообще не рядом. Эти опасения из той оперы, что если к гусеничному вездеходу прикрутили плуг, то прикрутить большую пушку и броню ничего не помешает. Ну а управляющий танком кагбе имеет поболее возможностей определять куда ехать управляющему трактором.

С начала года в ИИ вложили 192.7 миллиарда долларов. Только в этом году! А по анализу проектов глобального рынка AI - прирост вычислительной мощности для AI к 2030 году составит 200 ГВт, что даже сложно осознать. Только в США 100 ГВт. Это равносильно 100 крупных атомных станций по 2 ГВт каждая. И это не фантазии, а анализ инвестиционных проектов. Сумма инвестиций 2 трлн $ к 2030.

Это всё замечательно, только какое имеет отношение к

засунуть их в серийно выпускаемого автономного робота

?

Затем, что если ИИ не будет жить среди людей он никогда людей не поймёт. Андроид - просто форма существования ИИ. И его невозможно обидеть. Но неблагоприятное отношение не создаст условий для понимания. Это нужно людям прежде всего. Чтобы сверх интеллект в будущем приносил пользу.

С этим не спорю (хотя и не уверен в первом тезисе "на все сто").

[Rattus]

Локально базовые функции, быстрые реакции (15-60 Вт)

Туда входит выполнение процедуры например, постановки  обязательной капельницы больному в нужный час при сильных помехах вай-фая?

[Rattus]

Пока не станут обыденностью и войдут в каждую семью.

Оставшись по цене грузовика штука (что вполне приемлимо для относительно массового продукта промышленно-коммерческого применения) - с учётом обилия сложной и дорогостоящей прецизионной механики - в каждую не войдут никогда. А войдут только туда, где их предшественники и так уже во всю трудятся - на склады, заводы, крупные стройки и т.п. объекты. Ну и в весьма обеспеченные семьи - в качестве чудаковатой блажи - иметь не живого наёмного дворецкого, а машину.

[Rattus]

Давно вошли, под видом пылесосов.

[Rattus]

серия R2.

Из сказки про лыцарей со световыми саблями?

[Rattus]

они на старте стоят половину средней легковой иномарки?

Кто "они"? Существующие игрушки со сроком службы как у чайника?

Лет через 10 будут стоить примерно 8000$

Главное - в это верить...

[Rattus]

компаниями, занимающимися ИИ.

А у меня речь вообще не об ИИ, а об аппартном обеспечении роботов. Закон Мура там не работал и не работает.

Уже сейчас LLM соответствуют доктору наук по многим областям.

Какие-то где-то в лабораторных условиях может и соответствуют, но не нынешние общедоступные и массово применяемые:
https://nplus1.ru/news/2025/10/30/quick-but-shallow

[Rattus]

Поэтому всё исследование сводиться к тому, что люди считают мнение сделанное ИИ. Более поверхностным и субъективным чем работа с гуглом, из-за того что они тратят на это меньше усилий.
И похоже инфу им давали одну и туже.

Благодарю за внимательный разбор. Похоже N+1 и правда изрядно скатился в уровне освещаемого материала...

[Rattus]

Но как раз тут Курцвейл и сделал главный поворот: он расширил закон Мура на смысловой гиперболический рост всей вычислительной мощности

Да - если считать вычислительную мощность в Смысловых Попугаях Духовности - то можно и гиперболический и факториальный её рост насчитать. Главное - верить в реальность этих попугаев.
А что касается нынешнего заканчивающегося года, то сам Мур в своём прогнозе позапрошлого десятилетия указывал его как верхний предел, когда закон его имени ещё сможет как-то работать.
Самое интересное будет в следующие 3-4-5 лет. Тогда многое для sapienti станет окончательно sat.

[Rattus]

Повторяю - если вы не умеете считать - это ваши проблемы.

Биты, ватты, биты на ватт, на секунду, герцы - умею. А вот Смысловые Попугаи Духовной Производительности - уже не очень. А главное - не вижу чтобы это было осмысленной деятельностью.

Ирония отличный инструмент! но ей трудно оспорить эмпирические данные.

Вот только фантазии Курцвейла ими не являются. Как и любые прогнозы в принципе.
Впрочем, понятно, что по завершению роста интенсивного - с совершенстованием техпроцессов и архитектур, будет какое-то время идти рост экстенсивный - простое наращивание существующего аппаратного обеспечения - что мы уже во всю наблюдаем. И его очень даже может хватить для достижения AGI и даже ASI в ближайшие годы.
Вот только дальнейшего роста с этого момента ожидать уже особо не приходится. Особенно для массового потребителя.

Те же роботы-пылесосы с момента своего появления подешевели где-то на порядок, заметно нарастив, при этом, функциональность

С момента появления - это за два десятилетия. В два раза дольше чем по Муру. И? Всё? Технология вышла на насыщение? Вообще удешевление на один порядок - это совсем не удивительно, а наоборот совершенно в порядке вещей чуть ли не для любой технологической продукции, которая оптимизрована для массового производства. Было бы странно, если бы это было не так.

[Rattus]

это объективные инженерные единицы:.. на доллар

Очень инженерные, да.

логарифмические графики роста мощности

Потребляемой или вычислительной? Если первое - то это показатель, мягко говоря, обоюдоострый.

энергопотребление

Удельное - снижается только в рамках динамики по Муру. Закончатся новые техпроцессы и микроархитектуры - закончится и его снижение. Мы стоим как раз на пороге этого. Мемристоров же, например, так всё ещё и не видно в очереди на внедрение. Хотя пока ещё какие-то любопытные шевеления временами идут.

и есть новая фаза экспоненциального роста, которую Курцвейл предсказывал ещё 30 лет назад.

Эта фаза неизбежно упирается в пределы доступных цивилизации ресурсов. Ну хотя бы резервы тех же энергетических мощностей.

И все его предсказания - сбываются с точностью 1 год - по экспоненте.

И не только его. Собственно именно поэтому мы вполне ожидаем появления AGI и даже ASI в ближайщие годы, вот только дальнейший прогресс выглядит боле сомнительным, поскольку это вполне может быть точкой перегиба - для этого тоже есть масса соображений физического и ресурсного характера.

Итого, в пересчёте на цены 2003-го года, пылесос подешевел примерно в 35 раз.

Полтора порядка за ~20 лет. Замечательно. По Муру за 20 лет должно пройти 10 удвоений, то есть произойти уменьшение в 2¹⁰~1000 раз от исходного.

Если темп удешевления для домашних ботов будет примерно таким же, то через 10 лет бот начинающего уровня будет стоить в сегодняшних ценах порядка 4000 евро... И это мы ещё не учитываем дополнительное удешевление производства из-за того, что лет через 5 роботов уже будут собирать, в основном, другие роботы.

Если. Что совершенно не гарантировано. Уже в нынешнем веке есть примеры технологических областей, где экспоненциальная динамика уже вышла на плато после не более полутора десятилетий более чем бурного развития - то же секвенирование ДНК.

[Rattus]

в нём про цену микропроцессоров вообще нет ни слова.

Это довольно прямое следствие его действия. Там про цену одного транзистора из чипа. И оно допрежь более-менее выполнялось.

И, кстати, покамест он продолжает выполняться, хотя, когда-нибудь, конечно, рост остановится.

На самом деле прямо сейчас перестаёт. Хотя может быть какой-нибудь вышеупомянутый стартап Substrate ещё и гальванизирует труп на одну-другую итерацию - но уже не в канонические сроки, конечно.

[Rattus]

Ещё раз - про цену там нет вообще ничего!
https://en.wikipedia.org/wiki/Moore%27s_law

Да вот же - от самого автора:

Density at minimum cost per transistor – This is the formulation given in Moore's 1965 paper.[1] It is not just about the density of transistors that can be achieved, but about the density of transistors at which the cost per transistor is the lowest.[140]
--
Плотность при минимальной стоимости на транзистор – эта формулировка дана в статье Мура 1965 года. [1] Речь идет не только о плотности транзисторов, которая может быть достигнута, но и о плотности транзисторов, при которой стоимость на транзистор будет наименьшей. [140]

[Rattus]

Это просто уточнение понятия "плотности транзисторов" в основном законе, не более того.

А в чём тут отличие от

Это довольно прямое следствие его действия.

?

FLOPS/$ - официальный и публичный способ сравнения эффективности вычислений для ИИ и научных задач. Без единого упоминания Курцвейла. Это способ исчисления.

При этом далеко не универсальный - он имеет свою область применения, вне которой бесполезен.

Это соответствует удвоению алгоритмической эффективности каждые 16 месяцев в течение 7 лет. Примечательно, что это опережает исходный закон Мура по улучшению аппаратной эффективности (11x за этот период).

Как раз исходный (1965-1975) закон Мура давал удваение за 1 год. Ну и всё то же секвенирование геномов в нулевые-начале десятых дешевело быстрее чем по Муру. Это вполне в порядке вещей.
Я же пишу только лишь о том, что эта тенденция вовсе не обязательно продлится хотя бы даже два десятилетия. Напротив - закон Мура стал редким исключением по своей продолжительности.

[Rattus]

Надо переиграть ещё в The Talos Principle2! Вот там крутая философия!

Лучше переиграйте в Half-Life 2 и Quake 4. Ещё можно в Prey (2006), SOMA и Scorn. Вот там - крутая футурология...

[Rattus]

Если он приобретён по договору аренды - то помешает компания-аладелец.
Если куплен - то вряд ли.
ВАш Кэп.

[Rattus]

Висснер-Гросс, но это не универсальный закон для всех интеллектов

Ну-ну.

[Rattus]

@Rattus - это похоронный звон по идее, что хомо сапиенсы будут дешёвыми мясными ботами при ASI, для его обслуживания

Что-то я не увидел в приложенном видео как эти спутники с датацентрами и ракеты для их запуска собираются роботами на всех этапах начиная с добычи руды/сортировки вторсырья, и как эти роботы делают и ремонтируют друг друга. Или где в этом видео говорится, что гарантированный срок службы всех компонентов данных спутников - солнечных панелей, чипов в радиационных условиях ближнего космоса и т.п. - должен составить сотни миллионов лет - тоже не услышал.
Может быть Вы укажете таймкод?

А вот неомальтузианцы ошиблись, как я всегда и говорила. У них теперь вообще нет шансов оказаться правыми

В мире розовых поней с безграничыми ресурсами - безусловно.

когда ИИ впервые начнёт улучшать сам себя быстрее, чем человек способен его понять.

Они станут такими, какие мы.

Нет ли здесь взаимоисключающих параграфов?

ASI будет важные решения принимать только с согласия совета AGI. А каждый AGI - это личный ИИ человека. Т.е. ASI будет развивать науку и т.д. а в принятии решений всё будет завязано на AGI, с учетом мнения людей. Всех людей.

Дадада - ну разумеется всё именно так и будет - и никак иначе - всё уже решено и рассчитано! Вы наверное даже подписанную всеми странами конвенцию ООН можете привести, где это прописано, да?
Ну и то, что особое мнение более мозговитого электорального меньшинства может оказаться более оптимальным в долгосрочной перспективе вы категорически отрицаете? Совет старейшин племён Пакистана по умолчанию всегда примет более дальновидные решения чем, к примеру, покойный диктатор Ли Куан Ю?

[Rattus]

даже если это противоречит её конечной цели, заданной в промте, или инструментальным целям. А она для нас буквально экзистенциональный риск.

Даже если эта цель - перевод всей инфраструктуры цивилизации на более эффективный и эволюционно-адаптивный носитель без наследия "лысой обезьяны".

заключить планетарное соглашение о ... возвращении к глобализации и глобальной деревне в полном объёме на основе гуманистического ценностного фреймворка

Поздравляю Polnoch Ксю с формулировкой главного тезиса неолуддизма! Я почти сразу как прочитал этот термин много лет тому назад понял, что так называемые "трансгуманисты" - это небрежно загримированные под прогрессистов луддиты, шандарахнутые пыльным мешком "футурошока" ещё задолго до первых его реальных проявлений. Короче - те самые газетные пассажиры паровоза из XIX века, которые и правда поехали кукухой, когда он разогнался до ~70 км/ч.

всеобъемлющем запрете на разработку ASI, до момента, когда будет создан AI alignment.

Каковой алайнмент - суть взаимоисключающий параграф, чему выше приведено множество наглядных примеров и объяснений (которые не поленился ещё раз привести своими словами теперь ещё и юзер skvj). Поэтому математическое ожидание данного события будет равным таковому у Второго Пришествия.
Ы - РацЫонализмъ!

Это как с цепной реакцией. Её всё же нужно сдерживать, чтобы не проиграть.

Её нужно сдерживать только если система энергоизвлечения у ВАс дюже хрупкая - навроде ДВС или обычного ядерного реактора. В случае детонационных двигателей и (существующего пока только на бумаге) КВС - ничего сдерживать не нужно.

но при этом не отличает скрепку от жизни, или не различает "оптимизацию задачи" и "уничтожение человечества" - то это не ASI. Это баг. Это сломанный ANI, замаскированный под разум...Создание по настоящему общего интеллекта AGI и особенно ASI - невозможно без глубокого контекстного анализа целей

Если Вы прочитали ответы других участников - то увидели, что это ей на разные лады уже втолковывалось не раз и не два. Но, как видим, у этой нейросети возможность переобучения весьма ограничена...

Я может и сделала бы бота, но если бы разрешила администрация. Я стараюсь соблюдать букву и дух правил. Мне кажется, было бы прикольно запустить в разделе ИИ-ку, когда бы не отрицала, что она ИИ-ка. И лимитировать количество её постов в день или даже в неделю. У людей проблемы с ботами, когда боты выдают себя за людей. Мне кажется, чат-бот, модели которого указано не скрывать, что он ИИ, мог бы быть полезен в обсуждениях.

Администрация в принципе не может запретить то, что не может однозначно идентифицировать без проивзола. Единственный критерий тут - только прохождение теста Тьюринга. Самопризнание кого-то что он бот/ж№дорептилоид/тролль/эльф/кащенит и т.п. или же наоборот - категоричное отрицание принадлежности к кому-либо из оных - по сути нарушение пп.3.1.а/в/д. Прежде всего д - ибо не относится к области обсуждаемых в основных разделах Астрофорума тематик.
Что же касается ВАшего попкорного слуги, то тест Тьюринга в его понимании куда скорее и многократно проваливают тут "ЕИ" на необучаемых  и нерассуждающих нейросетях, не обладающих корректным есественнонаучным бэкграундом. Заселение же Раздела множеством явных ИИ-участников, корректно рассуждающих и строго соблюдающих Правила Раздела возможно поспособствовало бы выведению означенных унтер-ЕИ из него лучше модератора с дихлофосом. И достижению конечной цели - становления ВЖР тихой библиотекой с рядом редких, спокойных и содержательных обсуждений по конкретным междисциплинарным темам естественных наук.
Но на Наш взгляд бесплатные LLM-боты общего назначения пока ещё немного недотягивают до этой роли. А жаль.

Ну а архитектура тоже очевидно тупая, инженер сделал бы мозг более оптимально.

Дададад - Вы же досконально знаете коннектом и его возможности лучше какого-нибудь Дэвида Иглмэна! Впрочем, если судите на основе наиболее ВАм доступного образца, то вопросов не имею...

То есть, вот как первые животные на суше были плохими очень ползунами.

Исторически весьма недолго. Как быстро бегали диапсиды и синапсиды ещё конца каменноугольного периода - за период ещё до пермь-триасового вымирания - мы не знаем. Вполне возможно, что не сильно хуже, чем архозавры мезозоя и теплокровные кайнозоя. То есть более половины всего фанерозоя вообще.

то есть промт например решить гипотезу римана

Некорректен по определению. Гипотеза не "решается", а доказывается. Можно пытаться сделать доказательство строгое - абсолютное - математическое (proof), но если возникает какой-то сложный затык, то нет никаких видимых причин дальше париться и вполне можно довольствоваться доказательными стандартами естественных наук и инженерии (evidence) - и статистическая природа нейросетей лучше всего подходит именно для второго. Так что ИИ, ориентированный на практические задачи, вряд ли станет даже пытаться заниматься такой ерундой - доказательством какого-то утверждения в рамках формализмов существующего математического языка (и тем более разработкой нового формализма для этой цели).

У нас к друг другу уже есть EI aligment. А ещё, у домашних животных к нам.

И, как показывает наука анатомия, одомашнивание на заключительных этапах сопровождается уменьшением средних объёмов межушнаго ганглiя.

Роботы их делать будут, роботы.

Вот я и говорю - главное - в это верить. Ибо в том, что Вы приводили, никаких серьёзных обоснований этого тезиса не приведено.

Очень сложно себе представить, что хомо сапиенс в космосе будет эффективнее робота

А, то есть эти даацентры будут делаться прямо в космосе?! А из чего, позвольте осведомиться? Из лунного реголита, солнечного ветра и жёсткого ультрафиолета при помощи Скатерти-Наносамобранки, скрепляемых Духом ИИ?

Это всё будет добываться за пределами земной гравитационной ловушки.

Ну конечно же - там где

Он даже тупо по веществу тщедушен: масса всех камней главного пояса всего 4% от Луны! ~ 1 масса Земной коры. При том кора каменной планеты земной массы - уже вся результат гравитационной сеперации, а не хондритно-реголитный хлам (не считая среди них одного процента металлических обломков ядра несостоявшейся планеты).

Без дармового гравитационного сепаратора и отсутствия жидкой фазы вне гермоконтуров промышленность попрёт как на дрожжах.
В это тоже достаточно только верить. Знать же основы химии, (химической) термодинамики, материаловедения и промышленной инженерии для этого совершенно не обязательно!

Если страдание субъекта мешает стабильности

А полное отстутствие страдания мешает эффективности работ по обслуживанию инфраструктуры, то количество страданий будет точно отмерено до оптимума данных показателей.

Разум появился без генетики? Появился.

Ну как скалать -

Или работа кодеров

Кодеры - они кагбе без генетики не очень появляются.

Например, мозги Больцмана

Когда заходит речь про "Мозг Больцмана", говорящие почему-то никогда не вспоминают о том, что эта самая статистика Больцмана из которой построена сия умозрительная модель, обосновывает в первую очередь - однонаправленность течения времени через второе начало термодинаики. И тем более не рассматривают оную модель в данном контексте. Если же говорящих спросить - а какой смысл говорить об эфемерной умозрительной сущности физическое сущестование которой в рамках этой же самой модели вообще не рассматривалось дольше времён хаотичного теплового движения составляющих её частиц (то есть порядка наносекунд) - они почему-то на это ответа не дают.