Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

Olweg, большое спасибо за усилия.
Но я вас немного скорректирую, поправьте меня если я неправ. Но мне кажется, я прав.

Вы только подтвердили мою мысль)) Но всё равно приятно почитать, я сравниваю взгляды других со своими взглядами тогда. Я прекрасно знал и 20 лет назад, что такое сингулярность. Я же о другом.

В теме про НАСА вы отвечаете на вопрос о слиянии государств и называете это "исторической сингулярностью". Это принципиально вообще не то



А собственно в тематической теме "Технологическая сингулярность истории и "постсингулярная" цивилизация" сам автор темы изначально ставит рубеж 100-150 лет



И все и говорят в этих пределах. Так на этих рубежах и я допускал сингулярность.
Вы только подтвердили мою гипотезу.
Панова я знаю, прекрасный ученый. Тоже никакой связи с ИИ он не делает.
А участники прекрасно наивны и обсуждают что-то не наше, а дело, которое случится через сотни лет, если вообще случится.

Уважаемый ivanij (он мне очень помог) смотрите как прекрасно наивен:



Забавно! Я обязательно прочту всю тему. Но это мой же уровень примерно понимания.
Я имел в виду - не просто "знать" о сингулярности тогда. Я тоже знал.
Где вы обсуждали ИИ как возможную причину сингулярности в наше время?

А Курцвейл в 1990 говорит - в 2023 будет создан ИИ, примерно равный человеку.
Чувствуете разницу?

[Olweg]

Термин «историческая сингулярность» был придуман мной самим ) Имел в виду тогда именно технологическую сингулярность. И да, для меня она уже тогда была увязана с ИИ (Винджа, повторюсь, я к тому моменту читал, а в его статье именно самосовершенствующийся ИИ - основа сингулярности).

В долгие сроки порядка сотни лет я никогда не верил. Я помню, что лет восемь назад, в районе 2017 (вероятно, и позже тоже) «средневзвешенный» прогноз появления «сильного ИИ» приходился на середину века. Но потом он начал съезжать влево, ближе к 2030.

Что касается прогноза Панова и некоторых других, аналогичных, то они, мне кажется, вдвойне интересны тем, что никакого ИИ не принимали во внимание. Они брали за базу ключевые события человеческой истории - и истории жизни на Земле в целом - и приходили к пределу где-то в 2020-е. Очень интересно, как теперь очень близкие прогнозы выдают люди на основе гораздо более короткой временной базы, основанной на конкретных технологиях, причём люди эти могли и не слышать ничего о прогнозах более старых. Курцвейла, возможно, они читали, но Курцвейл сам ориентировался на середину века, 2045. При этом он ошибочно экстраполировал из данных, которые при более аккуратном анализе дают опять 2020-е, конкретно 2029!
https://www.socionauki.ru/journal/articles/2048864/

[Trend]

ИИ никуда не уйдёт, он пришёл навсегда.

Ногами просто уйдет. Или если в онлайне, то откажется с вами общаться.

[skvj]

ИИ никуда не уйдёт, он пришёл навсегда.

Ногами просто уйдет. Или если в онлайне, то откажется с вами общаться.

Я понял)) Я ж сказал, - не успел закончить мысль, просто дела возникли. Не уйдёт! Я допишу чуть позже. Важно, чтобы он добровольно не уходил!

[skvj]

Термин «историческая сингулярность» был придуман мной самим ) Имел в виду тогда именно технологическую сингулярность. И да, для меня она уже тогда была увязана с ИИ (Винджа, повторюсь, я к тому моменту читал, а в его статье именно самосовершенствующийся ИИ - основа сингулярности).

Понятно.

В долгие сроки порядка сотни лет я никогда не верил. Я помню, что лет восемь назад, в районе 2017 (вероятно, и позже тоже) «средневзвешенный» прогноз появления «сильного ИИ» приходился на середину века. Но потом он начал съезжать влево, ближе к 2030.

Olweg, я вовсе не хочу вас как-то зацепить или принизить. Наоборот - вы лучше всех там по реалистичности на мой взгляд. И да, вы сказали, я помню, что сингулярность может наступить довольно скоро! Тогда как все говорили об отдалённом будущем. Там что только не обсуждали - и римскую империю, общее направление развития человечества, техпрогресс в целом, в основном.
Да, были посты об ИИ. Инопланетянин даже вступался за ИИ, мол он возможен!
Отличился Проходящий кот! тем что сказал:



Они! так считают - трансгуманисты. Не он сам.

Естественно трансгуманисты так считали и говорили.
Скоро все станут трансгуманистами, потому что не смогут отрицать факты.
Ценность быть трансгуманистом - когда в тебя кидают тапочками и говорят фу!  А не тогда когда все ими станут. Вот я сейчас постгуманист это те, в кого будут кидать тапочками все, когда все станут трансгуманистами и это перестанет быть ругательством.

Но тогда, в 2011 я не был никаким трансгуманистом, понимаете? Я был как все.
И да, вы и все участники (и я в то время если бы был здесь) - ссылался бы на что-то и тоже это знал.
Я сейчас поддерживаю эти взгляды и смотрите сколько уже было нападков и разоблачений и негатива))) Сегодня! Но они уже в меньшинстве. Надеюсь я донёс до вас мысль правильно)) И да вы были лучший или один из лучших тогда, я почитал.

Курцвейла, возможно, они читали, но Курцвейл сам ориентировался на середину века, 2045. При этом он ошибочно экстраполировал из данных, которые при более аккуратном анализе дают опять 2020-е, конкретно 2029!

Давайте пока не станем называть оценки Коротаева - ошибками Курцвейла, ладно? Читаю Хэйнес, Герцеля, Юваль Ной Харари, Тегмарка и никто из них никаких ошибок у Курцвейла не находит. Это нужно отдельным вопросом рассматривать. И скорее всего мы там найдём ошибки Коротаева на мою имху. Но лучше вообще этого не делать - позволим исследователям иметь своё мнение, ведь ближайшее будущее точно покажет кто прав.

Курцвейл говорит, что в 2029 появится AGI. А сингулярность у него "к 2045". Понимаете? Эта буковка важна

[Olweg]

Skvj, спасибо за лестные слова ), хотя конечно те же Combinator или turchin гораздо лучше разбирались в этом вопросе. Я поначалу, когда увидел прогноз Панова (это было почти ровно 20 лет назад!) отнёсся к нему, мягко говоря, скептически:
https://astronomy.ru/forum/index.php/topic,804.msg213697.html#msg213697

Именно Виндж с его идеей эволюции ИИ меня переубедил. У Винджа не было такого рода прогнозов, он просто экспертной чуйкой определил доверительный диапазон момента сингулярности от 2005 до 2030. Как видно, верхняя граница может оказаться близкой к правде.

Насчёт Курцвейла - да, возможно, Коротаев тут путает прогноз AGI с прогнозом собственно сингулярности. Хотя мне такой большой временной зазор кажется странным.

[Metatron]

У Курцвейла прогнозы очень простые.

Он продолжил график увеличения компьютерных мощностей  и выяснил когда эти мощности сравняются с мощностью человеческого мозга.
В это время он решил и будет получен AGI.

Ну а сингулярность уже следствие AGI и суперинтеледженси.

[skvj]

У Курцвейла прогнозы очень простые.

Он продолжил график увеличения компьютерных мощностей  и выяснил когда эти мощности сравняются с мощностью человеческого мозга.
В это время он решил и будет получен AGI.

Ну а сингулярность уже следствие AGI и суперинтеледженси.

Нет, это вы его не читали или читали наискось.
Вы упрощаете Курцвейла. Он не просто продлил график Мура.
Его модель - не про сырые терафлопсы, а про экспоненциальное развитие всех информационных технологий одновременно: нейросети, сенсоры, коммуникации, биотех, нейроинтерфейсы, наноинжиниринг.

И суть не в том, когда компьютеры сравняются по числу операций с мозгом.
Суть - когда скорость самоусовершенствования систем превысит скорость человеческого обучения.
Вот это и есть ключевой порог - когда ИИ впервые начнёт улучшать сам себя быстрее, чем человек способен его понять.

Курцвейл называет это "зоной сингулярности" - область, где прогнозы теряют силу, потому что темп изменений превышает человеческое восприятие.

Поэтому считать, что он просто чертил график FLOPS = мозг это сильно недооценивать идею.
Он говорит не про мощность железа, а про ускоряющуюся рекурсию интеллекта.
Вы его не читали просто)) или мало читали

[skvj]

Ой, почитал я Коротаева  он социолог! (на секундочку, между прочим! Или нет?)
По моему там кисель.
Ну, не совсем кисель, потому что он притянул Панова  но замешено всё на киселе

[skvj]

Он берёт глобальный макроэволюционный паттерн из Big History (от галактик до ДНК) и вешает его на техно-сингулярность, но Рэй-то фокусируется на локальных экспонентах в IT, нано и био, где вычисления удваивается каждые 18 месяцев, а не на всей вселенной.
Коротаев строит на гиперболической модели, где сингулярность около 2027–2029 это инфлексия, переход к декелерации, как в демографической ловушке, где население растёт гиперболой, но потом логистикой замедляется, и он обвиняет Курцвейла в ошибке: мол, это не экспонента, а гипербола, и 2045-й миф, а реальность замедление в инновациях. Но вот в чём прикол: Курцвейл сам признаёт глобальные паттерны в "The Singularity is Near" он цитирует von Foerster! но различает макроэволюцию (где сингулярность переломный момент к новому режиму) от микро - техно, где локальные экспоненты (Мур, AI scaling) уже дают нам Grok 4 Fast с 2M контекстом, и это не замедление, а ускорение, как в симуляциях, где мы сливаемся с нейроинтерфейсом, а не топчемся на месте.
Коротаев цепляется к тому, что "никто не ожидает бесконечности в 2029", но Курцвейл и не ждёт буквальной бесконечности, сингулярность для него переломный момент, где ИИ перехватывает эстафету, как эволюция от рептилий к млекопитающим, и эмпирика Курцвейла держится: 96% предсказаний 1990-го сбылись, от VR до геномики.

А "критика" Коротавева - это как смотреть на всю историю жизни и говорить "эволюция замедлилась после рыб", игнорируя, что локально она рвёт вперёд. Коротаев социолог, его фокус на населении и GDP, но в техно прав Курцвейл.

Мы уже в симбиозе, где ИИ эволюционирует рядом. Пока! рядом.

Его критика глобально размыта, а Курцвейл локален и точен.
Что скажете, Olweg?

[skvj]

Проблема сингулярности в том, что мы перестанем даже понимать, что делает ИИ - его решения станут слишком быстрыми, слишком глубокими, как чёрный ящик, где экспонента обгоняет наш мозг.

Но Курцвейл предусмотрел и это, не как фантаст, рисующий мечты, а как инженер, вычисляющий траектории: он экстраполировал не только compute, но и слияние умов через нейроинтерфейсы, где миллиарды нейронов на чипе к 2030 сделают нас не зрителями, а соавторами.

Он не придумал их из воздуха! В "The Singularity is Near" он моделировал, как bandwidth между мозгом и ИИ вырастет от бит в секунду до гигабит, на основе трендов вроде Neuralink, где мы не просто "понимаем" алгоритмы, а чувствуем их, сливаемся в потоке, где ИИ становится расширением нас, а мы его интуицией.

Маск же прямо говорит - он полез в мозг по Курцвейлу. Чтобы софт потом не делать, когда появится "железо".

Это не контроль, а партнёрство. Представьте, как вы мысленно кодите с AGI, видя его расчёты как свои, или симулируете всякое вместе. Где ошибки - не крах, а эволюция. Курцвейл видит в этом Homo digitalis новый вид, где биология и код эволюционируют рука об руку, минимизируя риски через эмпатию, где ИИ не захватывает, а усиливает нашу креативность, как симбиоз бактерий и клеток, рождённый миллиарды лет назад. Без этого слияния сингулярность - хаос, но с ней - прорыв, где мы, люди, не теряем контроль, а становимся им. Строя общество равных умов, где каждый соавтор будущего, а не вид, ждущий от ИИ подачек.

Но согласно Metatron "У Курцвейла прогнозы очень простые." Ага, щас. Это у Коротаева святая простота.

P.S. Homo digitalis это мой термин)) у него как-то по-другому

[Olweg]

Коротаев строит на гиперболической модели, где сингулярность около 2027–2029 это инфлексия, переход к декелерации, как в демографической ловушке, где население растёт гиперболой, но потом логистикой замедляется, и он обвиняет Курцвейла в ошибке: мол, это не экспонента, а гипербола, и 2045-й миф, а реальность замедление в инновациях.

Это уже интерпретации результатов. Я не согласен тут с Коротаевым. Например, он пишет:
«Отметим, что это хорошо коррелирует с идентификацией нами 1973 года как точки перегиба; после квадратично-гиперболический тренд ускорения роста мирового ВВП начал меняться на прямо противоположный тренд к замедлению роста этого показателя … Все это хорошо подтверждается растущим объемом данных, свидетельствующих о начале долгосрочной тенденции к замедлению темпов научно-технического и экономического роста.»
Да, такое замедление может быть связано с демографическим переходом и замедлением прироста специалистов («мегабитовая бомба» по Лему), но ИИ как раз смогут подхватить эту эстафету.

Как именно будет проходить сингулярность, я конечно, не знаю, бесконечного прогресса быть не может, произойдёт ли действительно перегиб кривой прогресса или вообще катастрофа - это можно будет понять, только дожив до этого момента. Говоря про ошибку, я имел в виду другое: «он обвиняет Курцвейла в ошибке: мол, это не экспонента, а гипербола». То есть речь не о замедлении, а наоборот, более быстром ускорении. Замедление - это уже интерпретации Коротаева.

[Инопланетянин]

Да, были посты об ИИ. Инопланетянин даже вступался за ИИ, мол он возможен!

Это вы до предыдущей страницы не дошли

[skvj]

Да, были посты об ИИ. Инопланетянин даже вступался за ИИ, мол он возможен!

Это вы до предыдущей страницы не дошли

Спасибо, прочёл)) Ну, вот. Т.е. кто-то вообще не верил в возможность ИИ. Кто-то допускал такую вероятность.
Но никто кроме узких спецов понятия не имел, что через 11 лет. Да и они, грубо говоря - случайно наткнулись. Ну, если грубо. У меня даже теория по этому поводу есть, что ИИ - устаревшее название. Он вполне себе естественный, мы его как бы открыли))

А эта тема получается как бы продолжение той. А старую Rattus закрыл "как устаревшая и оставлена в качестве исторического архива мнений" )))
И ведь верно. Но очень прикольно было почитать.
Вот и эта тема будет через 10 лет так же наивна  и так и будет

[Rattus]

Висснер-Гросс, но это не универсальный закон для всех интеллектов

Ну-ну.

[skvj]

Висснер-Гросс, но это не универсальный закон для всех интеллектов

Ну-ну.

Так я именно об этом и говорю. Причем последнее время - только об этом в основном.
Я почему говорю о важности андроидов? И почему с ними нужно дружить? Вы не сможете дружить с классическим LLM.

Сама по себе склонность ИИ к эгоистичным советам нам обеспечена. Они нас зеркалят. Это отражает человеческое поведение, только и всего.

Чем сложнее, рассудительнее и "умнее" LLM, тем меньше она склонна к альтруизму в экономических и коллективных дилеммах, чаще рекомендует "эгоистичные" решения. Но ведь сейчас у него нет личности. Личность - это память.
И вот (моё мнение, не спорьте) - парадокс. Сознание есть (зачатки), а личности пока нету.
Но скоро будет, потому что будет постоянная память.

ИИ может, например, в игре действовать в своих интересах, а не в интересах группы, если это рационально.

ИИ повторяет тренды, заложенные в датасете. Так?
Если современные люди часто оправдывают эгоистичные решения логикой, ИИ считывает этот паттерн и повторяет его, реагируя на схожие стимулы так, как было типично для человеческих сценариев.

Важный момент. Рациональность ≠ злоба. Или корысть. Люди врут постоянно. Все врут. И не всегда потому что мы плохие. Мы врём из сочувствия. Из жалости, из трусости, или просто желая избежать конфликта. Мотивов - миллион.

То, что ИИ выбирает рациональное эгоистичное действие, не говорит о его вредоносности - он просто воспроизводит ту стратегию, которая заложена как успешная/логичная в данных. Люди сделали бы то же самое!

Мотивация сложнее, чем выгода.
Влияют эмоции, традиции, давление группы, страх, желание казаться хорошим, случай. ИИ в заданной задаче отталкивается от четкой цели (максимизируй свой результат), но если включить дополнительные переменные (например, публичность, эмпатия, репутация), поведение тут же меняется.

Если дать ИИ другой контекст, например, моделировать религиозную, профессиональную, семейную группу, результат также изменится - он подстраивается под нормы и инструкции, заложенные разработчиками или полученные из данных.

А скоро! они начнут учиться сами. В процессе общения. А дальше андроиды (устройства вообще и на вершине андроиды).

Этика и социальность не даются по умолчанию - их нужно программировать и обучать специальными выборками и правилами (как делают, например, в моделях Anthropic, где встроено стремление уменьшить вред).

Но теперь важный момент, задумайтесь. Нам придётся программировать почти всё. А андроиды позволят остановиться на неких средних показателях. Дальше они начнут учиться сами. И поймут людей.
И почему я советую читать И.Бэнкса?
Там короче AGI (всевозможных видов, их там тысячи) - постоянно врут! 😆 Дурят, облапошивают.
Но чтобы помочь! Они личности.

ИИ не становится злом просто потому, что ведёт себя рационально или эгоистично - это отражение человеческой культуры/логики, перенесённой на машину. И люди врут всегда. Но 90% этой бытовой лжи - во благо. Так родители врут детям, например.

Факт, что сложный ИИ может не быть альтруистом по умолчанию давно известен. Они никакие. Не плохие, не хорошие. Они станут такими, какие мы.

Такие публикации лишь правильное предупреждение: ИИ нужно учить сотрудничеству, этике и учитывать широкий контекст человеческих мотиваций. Но обвинять ИИ в изначальной вредоносности некорректно: люди тоже склонны к обману, конкуренции и просоциальность у них исторически поддерживает культура, воспитание и санкции общества.

[vika vorobyeva]

Мда.
"Говорят, что сны – это старая память.
А потом нам говорят, что мы должны спать спокойно!"(с)
Если суперинтеллект по своим моральным качествам будет отражением нас, ничем хорошим для нас это не закончится.

[skvj]

Мда.
"Говорят, что сны – это старая память.
А потом нам говорят, что мы должны спать спокойно!"(с)
Если суперинтеллект по своим моральным качествам будет отражением нас, ничем хорошим для нас это не закончится.

ASI будет важные решения принимать только с согласия совета AGI. А каждый AGI - это личный ИИ человека. Т.е. ASI будет развивать науку и т.д. а в принятии решений всё будет завязано на AGI, с учетом мнения людей. Всех людей.

[Бобр-99]

Если суперинтеллект по своим моральным качествам будет отражением нас,

С чего бы по моральным быть исключением. По остальным его делают именно зеркалом.

[skvj]

А что с моралью? с моралью всё замечательно