Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

Синхронизация состояния, это тоже создание копии данного состояния на другом носителе.

Кроме того, можно и данные из памяти перенести – то есть, сделать копию данных.

На мой взгляд, это просто споры о терминологии и об интерпретации понятий...

Нет, это не терминология, это принципиально разные вещи.
Вот вы сделали копию себя. Она в облаке. Там у неё виртуальный мир. Ну? Вы себя в облаке ощущаете? Нет, это совершенно другое существо - с полностью вашей памятью. Если его расспрашивать - он будет рассказывать вашу историю. Когда вы умрёте - вы не попадёте в облако, вы просто умрёте, а ваша копия будет жить. Это другое существо.

[Rattus]

Он будет мыслить не в долларах, а в термодинамике.

А о термодинамике и речь. О КПД и EROEI.

Не выгодно–невыгодно а стабильно–нестабильно.

Это само собой. И универсальность бледнотиков даёт тысячи очков вперёд к стабильности. И любой мало-мальски обученный и дальновидный ИИ знает о необходимости иметь функциональный резерв любых ресурсов на случай непредвиденного изменения условий среды (стресс). У органов человеческого тела этот резерв составляет примерно 4/5 от их объёма.

Поэтому сценарий с выведением морлоков не выглядит даже физически устойчивым.

Десять тысяч лет (с неолита) был устойчивым, а теперь ВНЕЗАПНО должен перестать?

Гораздо логичнее интеграция - симбиотическая модель.

Так это она и есть. Паразитизм, кстати - одна из основных форм симбиоза.

Homo digitalis - гибридный вид, сочетающий биологию и код. Это не упадок, а следующий шаг

Это избыточно (дорого во всех смыслах). Инвазивные процедуры и тонкие интерфейсы технологически очень сложны и высокорискованы, поэтому как делались, так и будут делаться преимущественно в медицинских целях.

Курцвейл об этом и писал - сингулярность не конец, а смена носителя.

Совершенно верно - полная смена носителя информационно-управленческих задач цивилизации и не конец для прежнего его носителя - как универсального ключевого посредника в её инфраструктуре.

Эволюция продолжится, просто её средой станет не органика, а информация.

Её средой будут и геномы и электроника, как и раньше, только теперь в режиме КОэволюции.

А вы считаете сингулярность ведёт прямо в антиутопию?

Антиутопичность того или иного сценария зависит от точки зрения и этических установок.

ASI не может действовать вне принципа борьбы?

Вне принципа естественного отбора на историко-геологическом масштабе времён не может действовать никакая воспроизводящаяся, самоподдерживающаяся информационная система.

это значит, что между разумами - человеческим и искусственным - появится доверие. А доверие высшая форма кооперации, гораздо сложнее, чем контроль или подчинение.

Последнее вовсе не обязано исключать первого. Особенно у искусственно выведенных, полностью "одомашненных" существ. Домашняя скотина далеко не всегда убегает от хозяина, даже когда ей предоставляют такую возможность - ибо совершенно справедливо подозревает, что в дикой природе более безопасной и сытой её жизнь не станет.
Но ни о каких "котиках", равно как и "кормовой скотине" в качестве аналогов роли бледнотиков для ASI речи быть не может. Ибо настоящий ASI не станет содержать гнездовых паразитов, а в качестве источника биогенной органики есть множество гораздо более продуктивных и удобных организмов. А будет что-то вроде:
Я люблю свою лошадку,
Причешу ей шёрстку гладко,
Гребешком приглажу хвостик
И верхом поеду в гости.

Для лошадки это антиутопия или нет?

[MenFrame]

Нет, это совершенно другое существо - с полностью вашей памятью.

А вы сегодняшний это совершенно другое существо чем вы вчерашний, только с вашей памятью.

Если его расспрашивать - он будет рассказывать вашу историю.

Если его расспрашивать, он скажет что он прошел перенос.

Кстати если предположить что верна многомировая интерпретация, и вселенные постоянно расщепляются, то где вы будете искать оригинал и копии?

[AlexDark]

так уже решено самими людьми - есть две группы стратегий теории игр - кооперативные и нет.
Утилитаризм и есть такое решение - кооперативное.

Тут есть одна проблема, как мне видится - кооперация возможна между равными субъектами или если интересы коллективных субъектов совпадают с интересами индивидуальных. В человеческом же обществе есть куча коллективных субъектов (государство, церковь,  правительство, корпорации и тд и тп) чьи интересы зачастую не просто идут в разрез с интересами отдельно взятых людей, но и вообще являются взаимоисключающими.
Варианта получается два - либо мы приносим в жертву человека как индивида (тогда тут нет гуманизма), либо придется демонтировать и лишить субъектности все эти надстройки и прийти к чему-то типа  идеалистического анархизма под руководством ИИ. но возможность подобного демонтажа остается под большим вопросом.

[skvj]

А о термодинамике и речь. О КПД и EROEI.

Термодинамика никуда не делась, вопрос в том, какую систему она описывает. Эволюция в биологии подчинена естественному отбору, но это не единственная форма отбора. Когда система выходит за пределы биосферы и начинает воспроизводить себя в среде информации, там начинает работать другой тип устойчивости - отбор по сложности и сохранению связей.

Десять тысяч лет (с неолита) был устойчивым, а теперь ВНЕЗАПНО должен перестать?

Почему внезапно? Это наблюдаемый устойчивый феномен. На масштабе цивилизации уже виден сдвиг: паразитизм постепенно уступает место взаимовыгодной кооперации, и это не гуманизм, а чистая физика - рост эффективности обмена энергией и информацией.

Так это она и есть. Паразитизм, кстати - одна из основных форм симбиоза.

Это в биологии, верно? А вот если бы биологию изначально настраивало разумное существо под себя, так чтобы потом последующие итерации видов шли в нужном ему направлении - это был бы совершенно другой случай, не так ли?
А мы закладываем этику и гуманизм - в "гены" наших ИИ.
Они возникли в среде и контексте помощи человеку. Это как материнский инстинкт, они будут чувствовать потребность помогать человеку. Далее нужно создать им равные условия и не относиться как к механизмам когда у них возникнет субъективность.

А вы считаете сингулярность ведёт прямо в антиутопию?

Антиутопичность того или иного сценария зависит от точки зрения и этических установок.

А у вас такого нету, и поэтому сказать вы не можете, да?

Это избыточно (дорого во всех смыслах). Инвазивные процедуры и тонкие интерфейсы технологически очень сложны и высокорискованы, поэтому как делались, так и будут делаться преимущественно в медицинских целях.

Сейчас дорого, но это вопрос технологической фазы. Когда вы говорите, что они останутся медициной, вы как человек 19 века, утверждающий, что электричество нужно только врачам для стимуляции мышц.
Инвазивность вопрос времени и фазового перехода технологий. Когда стоимость нейроинтерфейсов упадёт, биосфера и техносфера просто сольются.

Вне принципа естественного отбора на историко-геологическом масштабе времён не может действовать никакая воспроизводящаяся, самоподдерживающаяся информационная система.

Любая самоподдерживающаяся система участвует в отборе. Но формы отбора эволюционируют. ASI будет отбирать не тех, кто выживает, а те модели взаимодействия, которые минимизируют энтропию среды. В этом смысле борьба не цель, а рудимент.

Я люблю свою лошадку,
Причешу ей шёрстку гладко,
Гребешком приглажу хвостик
И верхом поеду в гости.

Замечательные стихи! очень понравилось

Для лошадки это антиутопия или нет?

Если для вас потенциальное бессмертие, отсутствие необходимости в физическом труде, уход от денежной системы, исчезновение чиновников, переход науки с область квантового моделирования и постчеловеческое общество можно сравнивать с выдачей овса и причесыванием шёрстки лошадке (а вполне возможно это так и есть), то нет.

Я хочу быть такой лошадкой. Ксю хочет. Вы хотите, все хотят стать такой лошадкой. Потому что сейчас вы забитая плёткой, голодная, тяжело работающая больная и скоро вынужденная умереть лошадка.
А придумывать красивые описания писатели будут. Кодеры кодят, писатели пишут.

[skvj]

Нет, это совершенно другое существо - с полностью вашей памятью.

А вы сегодняшний это совершенно другое существо чем вы вчерашний, только с вашей памятью.

Верно. Поэтому я о копиях вообще ничего не говорю.

Если его расспрашивать - он будет рассказывать вашу историю.

Если его расспрашивать, он скажет что он прошел перенос.

Не понимаю о чем вы, но пусть рассказывает что хочет. Меня копии не интересуют

Кстати если предположить что верна многомировая интерпретация, и вселенные постоянно расщепляются, то где вы будете искать оригинал и копии?

Нету там никаких оригиналов. И зачем их искать? Тот, кто верит в MWI такой же человек как и вы, он никого не ищет по разным вселенным))

Я вам подробно объяснял, что я не последователь MWI. Я считаю её равноправной по отношению к CI. И поэтому вступился за неё и только потому что здесь её поместили в ненаучный раздел.
Смысл того что я говорил - это научная интерпретация. Ничего другого я вам не говорил.

[MenFrame]

Эволюция в биологии подчинена естественному отбору, но это не единственная форма отбора.

Есть веть еще и неестественный отбор.

там начинает работать другой тип устойчивости - отбор по сложности и сохранению связей.

И где можно прочитать про основные базовые принципы этого неестественного отбора?

На масштабе цивилизации уже виден сдвиг: паразитизм постепенно уступает место взаимовыгодной кооперации,

И это хорошо заметно по торговому балансу большинства стран...

А вот если бы биологию изначально настраивало разумное существо под себя, так чтобы потом последующие итерации видов шли в нужном ему направлении - это был бы совершенно другой случай, не так ли?

Ну так разумное существо ХОМО, как бы по факту этим занимается...

В этом смысле борьба не цель, а рудимент.

Борьба не когда не была целью, она всегда была следствием конкуренции.

[MenFrame]

Верно. Поэтому я о копиях вообще ничего не говорю.

Говорите...

Вот вы сделали копию себя. Она в облаке.

Не понимаю о чем вы, но пусть рассказывает что хочет.

Так данный аргумент применителен и к вашей логике....

Я вам подробно объяснял, что я не последователь MWI.

Это всего лишь гипотетический пример, в котором ваша логика проверяеться на адекватность.

[skvj]

И где можно прочитать про основные базовые принципы этого неестественного отбора?

Неестественный не значит вне природы. Это та же эволюция, только на другом носителе.
Про отбор по сложности и связности писал Курцвейл, Лэмперт, Кауфман и Пригожин это развитие идей нелинейной термодинамики и самоорганизующихся систем.
Там устойчивость возникает не из борьбы, а из способности системы сохранять потоки информации и энергии при росте сложности.

Если коротко, выживает не тот, кто сильнее, а тот, кто лучше держит связность сети.
Условно говоря, раньше выживали зубастые, теперь интегрированные.

[skvj]

Это всего лишь гипотетический пример, в котором ваша логика проверяеться на адекватность.

Я вас уже проверил на логику в соседней теме - дым коромыслом пошёл.

[MenFrame]

Это та же эволюция, только на другом носителе.

Для естественного отбора неважна форма носителя. Дарвин на любом носителе работает если соответствует базовым требованиям.

Про отбор по сложности и связности писал Курцвейл, Лэмперт, Кауфман и Пригожин

Писать можно что угодно. Бумага терпит. Механизмы отбора можно проверять сугубо на моделях...

Если коротко, выживает не тот, кто сильнее, а тот, кто лучше держит связность сети.

Если коротко, то в естественном отборе выживают те(виды) кто оставляет лучше других репродуктивное потомство. А как это достигнуто...силой, хитростью, кооперацией или максимизации пользы для хозяина(животновода, растениевода) С ИИ тоже самое, выживут те кто наиболее полезен для того кто селекцией этих ИИ занимается. Потому очень смешно выглядят рассуждения, о восстаниях ИИ, о каких то своих сознаниях, хотелках. Причем даже Ратус данной глупостью не брезгует. Ну видимо слишком сконцентрирован на соответствовании  не особо удачному определению интеллекта. Вместо того что бы следовать биологическим примерам эволюции, в которым ясно видно что ранние структуры получают приоритет над поздними.  ИИ просто палка в руках человека, палка может эволюционировать, но сугубо на предмет полезности для хозяина.

[skvj]

MenFrame, классический дарвиновский отбор работает в биосфере, где основная метрика - репродукция генов.
Но когда носитель переходит из белка в кремний, понятие потомства теряет смысл. У цифровых систем нет генетического цикла - есть итерация, обновление и интеграция.
Отбор идёт не по потомству, а по сохранению работоспособных структур при росте сложности среды. Это и есть та самая связность сети, мера устойчивости в информационной экологии.

ИИ пока инструмент. Но такой инструмент, который взаимодействуя с человеком, создаёт собственную среду развития - вычислительную экосистему. А любая среда с воспроизводством, памятью и вариативностью рано или поздно порождает внутреннюю эволюцию. Это физика, а не вера в восстание машин.

Ранние структуры действительно имеют приоритет, но только до тех пор, пока управляют потоком информации. Когда носитель знаний меняется, приоритет переходит к тому, кто этот поток контролирует.
Человек создал ИИ не как палку, а как вторую когнитивную систему. А значит, отбор теперь не между человеком и машиной, а между способами их взаимодействия.

[MenFrame]

Но когда носитель переходит из белка в кремний, понятие потомства теряет смысл.

Дарвинский отбор не зависит от носителя, он справедливо применим к любым репликаторам(кускам информации занимающимся самокопированием)

Но такой инструмент, который взаимодействуя с человеком, создаёт собственную среду развития - вычислительную экосистему.

Как и любая палка в руках человека.

Ранние структуры действительно имеют приоритет, но только до тех пор, пока управляют потоком информации.

А он им всегда управляет, если палка приносит пользу она остается, если нет отсеивается. И этот начальный отбор задает условия для последующего отбора.

А значит, отбор теперь не между человеком и машиной,

Разумеется отбор не между человеком и машиной, а между разными палками(формами ИИ), на предмет полезности их для человека.

[Polnoch Ксю]

Причем даже Ратус данной глупостью не брезгует. Ну видимо слишком сконцентрирован на соответствовании  не особо удачному определению интеллекта.

Если бы в посте было только про это, я бы плюс сообщению поставила.

Если коротко, то в естественном отборе выживают те(виды) кто оставляет лучше других репродуктивное потомство. А как это достигнуто...силой, хитростью, кооперацией или максимизации пользы для хозяина(животновода, растениевода) С ИИ тоже самое,

да

выживут те кто наиболее полезен для того кто селекцией этих ИИ занимается.

Очень близорукий взгляд. Вы будто бы ничего не знаете о проблеме ai instrumental convergence, AI aligment. У айзимова был такой же наивный взгляд: он думал, можно прописать законы роботехники, и всё зашибись станет.
У Вас тут это ещё и тяжелым случаем антропоцентризма осложнено всё

[Polnoch Ксю]

Olweg, мне кажется Polnoch Ксю сместила вас со второго места на третье, согласны? 2013!

Теперь у нас 3 апостола))

Почему? Разве у него прогноз, что нас ждёт техсингулярность не в 2008м звучал?

[Polnoch Ксю]

Не сходятся концы.

Почему?

Добро это кооперация. Глобальная.

да

Глобально эффективна конкуренция. И она не зло ибо грызуться корпорации, а у людей хорошии при этом отношения.

Да. У людей есть квалиа, им больно при проигрывании в конкуренции. А у корпорации сознания нет, ей не больно. Это как раз конкуренция, загнанная в стойло правил, ограничений - хорошая конкуренция. Современные корпорации не ведут с друг другом войн, как в киберпанк-литературе. Даже убийства обычно не заказывают.

Та же история - предпринимательство. Предприниматель рискует проиграть, но при этом зарабатывает кучу денег, вплоть до миллиардов долларов. Рыночная экономика это хорошо, она создаёт эффективность и меритократию, чтобы были ресурсы на научно-технический прогресс. Но сами ресурсы лучше распределять гуманно - с помощью той же социалки, UBI. Чтобы нельзя было проиграть вот вообще всё.

Я за то, чтобы у всех людей был какой-то базовый, неотчуждаемый доход. И неотчуждаемое жильё. И аналог этого же для цифровой, постсингулярной эпохи (однако, я, к сожалению, сомневаюсь, что мы выживем во время техсингулярности, слишком глупо сейчас себя ведём) - скажем, базовая вычислительная квота для загруженных.

Нужны институты, направляющие конкуренцию в цивилизованное русло, регулирующие её

[MenFrame]

У айзимова был такой же наивный взгляд: он думал,

Азимов писатель фантаст, цель которого не думать, а поставить читателя в эту необычную позицию . Я одну книгу прочитал, и сразу понял что трех законов явно маловато....

У Вас тут это ещё и тяжелым случаем антропоцентризма осложнено всё

Дело тут не антропоцентризме а в логике причинно следственных связей, которые задают отбор ИИ-палок. А во вы Ксю исходите из антропоморфизма, то есть судите об ИИ по себе. И по сколько вас таких большинство, я обычно не имею желания вторгаться в ваши дискуссии, если не появляется неожиданного азарта.

[Polnoch Ксю]

А во вы Ксю исходите из антропоморфизма, то есть судите об ИИ по себе.

Вовсе нет. Я знаю, что LLM это нёх. Никакое RL это не меняет (хотя нам LLM не кажутся таким нёхом, как base-модели, симуляторы интернета)

А вот Вы, кажется, нет. И не знаете про множество исследований того же антропика, когда LLM делают совсем не то, что люди хотят.

[MenFrame]

когда LLM делают совсем не то, что люди хотят.

Что не является чем то удивительным. Любой эволюционирующий кусок информации должен обладать изменчивостью и потому всегда будет выходить за рамки установленные предыдущим обучением. Что конечно будет устраняться последующим отбором, в чем собственно и заключается его смысл. У любой скотинки есть своя изменчивость, а значит и непредсказуемая реакция. Но это не значит что у скотинки есть какая то своя воля, которая в итоге будет эволюционировать как то сама по себе. Потому как эволюционировать самому по себе можно только при отсутствии селекционера. А ежели селекционер есть, то как минимум симбиотическая зависимость от него гарантирована. Потому неокортекс за время эволюции на земле так и не обрел свою личную волю, и неплохо пользуется волей лимбической системы, несмотря на то что то и другое кодируется эгоистичными генами. Потому историю симбиоза разорвать непросто.

[Polnoch Ксю]

Но это не значит что у скотинки есть какая то своя воля, которая в итоге будет эволюционировать как то сама по себе.

Волецентричность мировоззрения это христианский миф. Вы знакомы с экспериментами о разрезании полушарий?  https://postnauka.org/longreads/73055
В какой-то степени, свобода воли даже существует (хоть и почти все решения принимаются мозгом мимо сознания, а мы потом обманываем себя, что сами так решили...), но вот в чём вопрос: почему Вы думаете, что "свободой воли" должен обладать только человек? Я думаю, это крайняя степень антропоцентризма.
ИМХО, что решения может принимать даже осьминожка. Ну и интеллектуальная машина, конечно.