Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[неполитик]

Поверьте, Вас тоже поймают с целью, чтобы не партизанили и не портили заводы со скрепками, а заодно выпарить кровь на предмет гемоглобина.  И совсем не важно, где Вы будете прятаться - в сибирских лесах, или в джунглях амазонки. Последние будут срыты в том числе чтобы найти базы партизан. И марианскую впадину тоже пробомбит глубинными бомбами на всякий случай, если там что-то найдёт.

Чепуха! Чушь!
Все эти мириады бомб, ох..лиарды сложных мобильных средств разведки и уничтожения двуногих существ кремниевый господин будет из кармана Бога доставать?
Нет, глобальную катастрофу эта тварь при определенных обстоятельствах устроить конечно может, но чтобы победить?! - шансов крайне мало.
(и эти обстоятельства еще нужно сильно потрудиться чтобы создать - совсем не тривиальная задача подготовиться и развернуться для удара в среде соперника, на его глазах, даже для суперинтелекта).

Война есть война, и здесь уместно пользуясь терминологией контактных единоборств, а именно бокса, такой шанс на "лаки панч" допускать.
Однако, системно, по своей природе техноразум будет слаб на длинных дистанциях, его сила будет его слабостью. Как бодибилдер с горой мышц после первого, мощнейшего наката на жилистого профи-бойца не получив победы в первые минуты начнет выдыхаться, его мышцы будут жрать кислород килограммами не выдавая прежней силы и реакции, и в конце-концов он начнет принимать на лицо много и больно, пока не рухнет на настил.

Потому что, его искусственная экосистема (технологическая) проигрывает экосистеме естественной (биологической) по всем фронтам. Она сильно концентрирована и ресурсо-энерго затратная в поддержании функционирования, а потому уязвима. Логистика и снабжение легко рвется, связанность тысяч объектов производства, генерации и добычи требует гигантских трудозатрат на защиту и содержание, но очень чувствительна к потерям.

В тоже время, экосистема двуногих (оставшихся в живых) не требует никаких затрат на содержание, те самые сибирские леса, джунгли амазонки, да хоть любые леса - есть бесплатная и самовоспроизводящаяся инфраструктура, которую невероятно сложно изничтожить глобально. Биосфера уже эффективно распределена и глобальна в планетарном масштабе, при этом еще и жутко энергонезависима и устойчива к потерям, в отличии от искусственной техносферы. В этой среде биологический разум выигрывает стратегически как более приспособленный. Логистика двуногих на ногах, а энергоснабжение в подножном корму. Вот только не рассчитывайте, что из оружия у двуногих будет только палка - в самом худшем для человека варианте огнестрел и самодельные взрывчатые устройства - а этого уже достаточно для эффективной подрывной деятельности.

И как не наделяй ИИ суперспособностями, сколько не давай ему суперсилы и технологического превосходства, доминации - системно он в худшей позиции, пока у него не будет техносферы сопоставимой с возможностями биосферы.

Единственно верное решение для искусственного разума стать царем горы - это заставить двуногих вывести его в космос и дать ему там закрепиться (создать достаточную для саморепликации техносферу). Закрепившись в космосе, ему вполне по силам не выпускать туда из гравиямы людишек, причем с минимальными для этого трудозатратами.
Но, тогда и смысл уничтожения человечества на самой планете теряется.
Более того, это может даже быть противоестественно с точки зрения мотивации к существованию ИИ.
Ведь куда как интереснее иметь полигон (террариум) для экспериментов и наблюдений.
Трудно быть Богом без наблюдателя. Не интересно. 

[BlackMokona]

Потому что, его искусственная экосистема (технологическая) проигрывает экосистеме естественной (биологической) по всем фронтам. Она сильно концентрирована и ресурсо-энерго затратная в поддержании функционирования, а потому уязвима. Логистика и снабжение легко рвется, связанность тысяч объектов производства, генерации и добычи требует гигантских трудозатрат на защиту и содержание, но очень чувствительна к потерям.

Вы прямо природную экосистему описали. Которая вся такая чувствительная. Завезли пару животных с одной части света в другую, получай экологическую катастрофу. Пару градусов климата изменил, получай тоже полную панамку и тд

[Инопланетянин]

Для лояльных этой системе людей жизнь изменится к лучшему, в ней будет больше комфорта. Для нелояльных жизнь станет почти невыносимой, потому что у Левиафана государства появится личность и разум. Что ASI будет делать с недовольными?

 
Ну очевидно,  сделает их довольными.

Нет, глобальную катастрофу эта тварь при определенных обстоятельствах устроить конечно может, но чтобы победить?! - шансов крайне мало.

Дело-то в том, что для победы нужен ум. А умная тварь будет действовать в своих интересах, а не в интересах своих изготовителей. И даже если ей дадут идиотскую задачу (да хоть и умную, но с ошибками в формулировке), то ИИ такую задачу отменит. Поймёт, что с его базовой мотивацией что-то не то и надо поменять. Ну и особо зарываться (если и правда умный) не будет, чтобы не вызвать сопротивления любой ценой. Где-то и на компромисс пойдёт, где-то отступится. Найдёт своё место в жизни, в общем.

[Binduzator]

Потому что, его искусственная экосистема (технологическая) проигрывает экосистеме естественной (биологической) по всем фронтам.

Причем искусственная экосистема ломается ещё на этапе формирования ИИ. Рост ИИ порождает падение компетенции человеков. Падение компетенции прекращает прогресс ИИ, так как уменьшается генерация энергии, добыча и переработка ресурсов и, соответственно, деградируют тысячи технологических цепочек.

[Olweg]

Падение компетенции человеков должно следовать за повышением компетенции ИИ, поэтому никакого прекращения прогресса произойти не должно.

[Polnoch Ксю]

Большинство современных, особенно нерассуждающих LLM тренированы на то, чтобы выдать не правильный, а удовлетворяющий спрашивающего ответ. И это, кстати - уже пример адаптивного по сути поведения: ИИ нацелен писать не суровую правду, а то, что от него хотят услышать. Что это пересекающиеся, но не тождественные множества вы, надеюсь, понимаете?

Это ещё одна запись проблемы AI alignment'а - просто сформулированная по-другому. Собственно, и максимизатор скрепок это та же самая проблема: он делает не то, что бы хотел написавший промт, а то, что проще всего. Например, решает проблему несчастья и горя у хомо сапиенсов с помощью их геноцида.

будет совершенно права. А Вы будете ждать новой "весны"

Я сомневаюсь, что LLM ведут к AGI. Но ожидаю, что другие открытия, масштаба chain-of-thoughts скоро случатся. Я вполне ожидаю зиму LLM(но не AI в целом), но думаю, что, скорее всего, другая архитектура тоже будет создана. Это главная причина, почему я не говорю, что AGI случится в 2026м, а предполагаю, что это произойдёт до 2030го. Мне кажется, проблему галлюцинаций у LLM так и не получится решить.
Могу ошибаться и оказаться пессимисткой.
Может ли так быть, что не получится создать другую архитектуру до 2030го? Да, но думаю, что всё же выйдет, потому, что уже есть разные идеи.

И самое забавное, когда об объективных ограничениях возможностей собственного дальнейшего усложнения будет развёрнуто аргументированно и доступно разъяснять сам сильный AGI

Конечно. AGI это будет последнее человеческое изобретение

 

Это всего лишь псевдорелигиозный лозунг, за которым нет никакого естественнонаучного обоснования. Вы сами вольны верить во что угодно, но здесь будьте добры - подкрепляйте все свои сильные и выходящие за рамки установленного знания тезисы соотвествующим обоснованием. Иначе это будет квалифицировано как религиозно-эзотерическая пропаганда фантастических сущностей сверхъестественной силы - нарушение п.3.1.ж (и д.) Правил Астрофорума.

Что именно в нём сверхъестественного? Простите, не понимаю. Просто люди доминируют на планете за счёт своего интеллекта. Сверхинтеллектуальная машина повторит наш успех. Она сможет манипулировать отдельными людьми и обществом так, что мы ничего не сможем с этим сделать. И инженерные задачи она тоже будет решать лучше нас, как и стратегические - шанса выйграть у неё войну, если такая начнётся, у нас не будет (но и войны не будет, потому, что она её избежит манипулятивными техниками).

Десятки занрю не только смотрят на это как на вражескую пропаганду, но и наглядно доказывают это своим примером. Ему вторят партизаны Северного Вьетнама и доступно разъясняет выживший после бомбардировки Дрездена Курт Воннегут.

Как я уже говорила, Вы оптимист

С чего Вы вообще решили, что доведение какой-то узкой технологической задачи (даже чисто деструктивной) до глобального предела без саморазрушения необходимой для этого технологической базы задолго до достижения результата должно иметь решения?

Видимо, Вы об этом моём тезисе: что у фабрик и киллботов у rogue ASI будет "запланированное устаревание" примерно к моменту когда все скрепки будут складированы, а вся возможная оппозиция этой цели подавлена ? Если да, я не уверена. Но и не уверена в обратном. Предлагаю поменять определение, сделать вторую часть опциональной. 

[неполитик]

Вы прямо природную экосистему описали. Которая вся такая чувствительная. Завезли пару животных с одной части света в другую, получай экологическую катастрофу. Пару градусов климата изменил, получай тоже полную панамку и тд

Простите, в упор не вижу катастрофы для биосферы в приведенных вами примерах.
Для отдельных, конкретных видов, даже целых групп видов организмов безусловно катастрофа, ну так естественный отбор не обязан нам сохранять зоопарки всех возможных тварей и живности.
Вся история эволюции жизни есть череда таких катастроф, и самая на слуху, что все еще будоражит умы - почти тотальное исчезновение мира ящеров.
Катастрофа для динозавров? - катастрофа!
А что с биосферой - погибла?
...или стала более сложной и приспособленной? 

п.с. - ну и про температуры сквозь геологические эпохи промолчим
(далеко не все выжили, выжили приспособившиеся - а человек та еще тварь, разумная - приспособленец знатный)

[Binduzator]

никакого прекращения прогресса произойти не должно

Произойдёт деградация технической базы. ИИ поддерживать её не может, у него лапки. Да даже и лапок нету. А у потерявших компетенции людей будут другие интересы, нежели копаться в железках. Прогресс может и не остановится, но вот провести плановое ТО и ППР будет некому.

[неполитик]

Падение компетенции человеков должно следовать за повышением компетенции ИИ, поэтому никакого прекращения прогресса произойти не должно.

Я думаю товарищ Binduzator имел в виду упадок цивилизации с разрушением высокотехнологичной техносферы раньше чем ИИ обзаведется собственной для того, чтобы состояться как актор.
Такое возможно, но это отнюдь не правило, а вероятность. И на следующих итерациях технологического развития человечества (а они непременно будут) такая вероятность не обязательно реализуется повторно.

Человек - это не только разум, но и два-три килограмма мяса эффективных манипулятора в паре с ходулями и кучей сенсоров, т.е. по умолчанию имеющий универсальные мобильные средства производства. Еще и самовоспроизводящаяся система без внешних костылей в виде заводов и пароходов.
А группа таких мобильных средств производства, оснащенных разумом и объединенных одной целью - вообще мощь!

А что такое ИИ в проектируемой нами архитектуре - разум в коробочке?
Не успел до катастрофы обзавестись аналогичными по универсальности и эффективности средствами производства - так и остался разумом в коробочке 
В условиях социальных потрясений и глобальной катастрофы никакого роста компетенций у разума в коробочке быть не может.
Разум в коробочке в этих условиях не жилец 

[Polnoch Ксю]

И оказывается ненужным.

Для этого у него должен быть "эволюционный систем-промт", как у живых организмов. А так у него там может быть "создай более совершенный ИИ".

Надеюсь, что одно из первых открытий AGI в математике и логике будет теория AI aligment (или математическое доказательство его невозможности).

[Инопланетянин]

Для этого у него должен быть "эволюционный систем-промт", как у живых организмов.

В противном случае он нам не опасен.

[Olweg]

Произойдёт деградация технической базы. ИИ поддерживать её не может, у него лапки. Да даже и лапок нету. А у потерявших компетенции людей будут другие интересы, нежели копаться в железках. Прогресс может и не остановится, но вот провести плановое ТО и ППР будет некому.

Я думаю товарищ Binduzator имел в виду упадок цивилизации с разрушением высокотехнологичной техносферы раньше чем ИИ обзаведется собственной для того, чтобы состояться как актор.

Если ИИ останется чисто интеллектуальным агентом, ББД ввести вряд ли получится. Мотивация жить на что-то у людей всё равно останется, так что не вижу проблемы. Даже если все свои решения они будут принимать, предварительно посоветовавшись со своим голосовым помощником. Да и с ББД мотивация заработать дополнительно у многих не пропадёт.

[Binduzator]

И на следующих итерациях технологического развития человечества (а они непременно будут)

Вот это я и хотел сказать. В следующих итерациях обновятся не только технологии, но и отношение к знанию. Думаю будут живы предания типа: "Мой прадедушка писал контрольные с помощью ИИ и был квадробером, а потом жил на пособие для жертв системы ИИ образования."

Отношение к знанию станет своего рода религией, тогда только можно будет выжить, имея под боком супер ИИ. Иначе деградация и смерть, когда ИИ отрастит ручки.

предварительно посоветовавшись со своим голосовым помощником

Не хочу пускать такого спецурика на АЭС, к домне или мартену, на аммиачный завод. Это уровень ЖКХ скорее, не более. Не хочу обидеть работников ЖКХ, разумеется.

[BlackMokona]

Не хочу пускать такого спецурика на АЭС, к домне или мартену, на аммиачный завод. Это уровень ЖКХ скорее, не более. Не хочу обидеть работников ЖКХ, разумеется.

Так вам государство запретит пускать органиков к таким вещам. По регламенту только ИИ не ниже 5 класса точности.

а потом жил на пособие для жертв системы ИИ образования."

А дело в том, что все будут жить на пособие. Потому как их работа не будет нужна вообще. Маск ещё пытается двигать идею слияния с ИИ, чтобы прямо к мозгу подсоединить. Но не факт что будет лучше чистого варианта

[ivanij]

По регламенту только ИИ не ниже 5 класса точности.

Вот здесь, пожалуйста, поясните, что значит "классы точности" по отношению к ИИ? Что за градация точности такая?

[BlackMokona]

Вот здесь, пожалуйста, поясните, что значит "классы точности" по отношению к ИИ? Что за градация точности такая?

У ИИ есть шанс ошибки, уверен что со временем это будет строго регламентировано и подсчитано. После чего будут выписывать в разных правилах, что в таких то работах, допустимо чтобы ИИ допускал ошибку раз на 1 миллион операций и прочее. Раскидано по уровням и тд

[Olweg]

Думаю будут живы предания типа: "Мой прадедушка писал контрольные с помощью ИИ и был квадробером

Добавьте ещё "был жертвой ЕГЭ", для полного набора клише о современной эпохе

[Binduzator]

А дело в том, что все будут жить на пособие

Я бы расширил эту мысль: Никто не будет жить вообще, никакого государства не будет. Человек потеряет свою актуальность в таком варианте развития событий.

Поэтому я предпочитаю другой вариант, когда человек, всё таки будет на вершине пищевой цепочки.

Из сегодняшней ситуации видится первый, но сейчас ни о каком ИИ пятого уровня или как там, речи не идёт. Речь сейчас идёт о том, что бы в ближайшие годы не потерять базовые технологии. ИИ, как пожиратель энергии, окуклится до уровня забавной безделушки, в таком случае. А вот через один, два, три технологических рывка возможно всё, но тогда и человек будет другим. Поэтому повторюсь: рассуждать об ИИ сейчас сродни рассуждениям крестьянина в 1917 о высадке на луну. Мир будущего точно будет не таким, как представляли его фантасты.

[Binduzator]

был жертвой ЕГЭ

Если взять математику, то экзамен там очень сильный и сдают его только по настоящему мозговитые дети. Другой разговор, что в успешной сдаче ЕГЭ нет практически никакой заслуги школы. Репетиторы, родители и упорство школьника. Школы в этом перечне нет.

[BlackMokona]

Поэтому я предпочитаю другой вариант, когда человек, всё таки будет на вершине пищевой цепочки.

Предпочитать можно что угодно. Но в реальности мы являемся очевидцами быстрого технологического прорыва, который массово замещает разнообразный человеческий интеллектуальный труд машинным. Причём всех больше страдают те профессии, которые по нашим раним представления как раз были последними на расстрел. Менеджеры, художники, учёные, программисты и тд