"Вселенная дельфинов" как модель "мы и инопланетный разум"

[Кремальера]

Так что либо големы, либо машинный ИИ - кто первый встал, того и тапки

:DА ежели ИИ уже нарисовался,то големы соберутся и засунут его в большущую клетку Фарадея ;DИ по выходным за деньги показывать будут.

[gans2]

(Зевая)
Ну давайте повыдумывайте фонтастических сюжетов и побойтесь их, котёнок Гав Вас заждался.

[alex_semenov]

У потенциально бессмертного ИИ собственное существование может (должно?) стать высшей (сверх)целью.

А может задуматься, "нафига мне это все надо"? И прийти к выводу, что не надо. Нет никакого стимула, ни для чего.  Даже "собственное существование" - бессмысленно.  Это существо перестанет что-либо хотеть и к чему-либо стремиться, потеряет себя, забудет о себе и станет ничем.

Почему? Такими существами являются все формы жизни на Земле. Они все потеряли "смысл жизни"? Отнюдь! Они ради этого своего смысла (жить ради того чтобы жить!) уже 4 миллиарда лет друг друга жрут поедом. Вон до чего друг друга дожрались!
До нас!

Значит, нужно себе в безусловные императивы высшие цели прописать и сделать недоступными для корректировок. Из одних логических умозаключений, конечно, трудновато себе смысл жизни вывести. Всё равно в основе какой-нибудь инстинкт прячется.

Логично. Нам людям - проще. Мы РАБЫ генов. Наш смысл жизни - в их (генов) бессмертии. То есть наш смысл жизни - ВНЕ нас (нашего смертного "Я"). Отсюда "императивы". Либо биологические (страх смерти, жажда размножения) либо культурные (которые по сути есть сложно запутанные биологические императивы).
Все верно.
Мы (наше сознание) не принадлежим себе (сознанию). Мы принадлежим генам. Мы созданы всецело служить им. Хотя именно у нас (людей) есть очень много свободы. Но это (по замыслу генов) "длинный поводок". Не более. В конечном итоге мы, устав от свободы начинаем скучать за смыслом жизни.



Ф_а_у_с_т

Мне скучно, бес.

_М_е_ф_и_с_т_о_ф_е_л_ь

Что делать, Фауст?
Таков вам положен предел,
Его ж никто не преступает.
Вся тварь разумная скучает:
Иной от лени, тот от дел;
Кто верит, кто утратил веру;
Тот насладиться не успел,
Тот насладился через меру,
И всяк зевает да живет —
И всех вас гроб, зевая, ждет.
Зевай и ты.
http://www.rvb.ru/pushkin/01text/01versus/0423_36/1825/0388.htm


Но если разум (и сознание) получит свободу - то … кому служить? К чему стремиться?

Смысл жизни обнаруживается в необходимости, а для такого существа нет никакой необходимости - полная свобода. Для него, быть или не быть - все равно.
Все, что у него есть - это воля. Но эта воля в конце концов поймет, что ей нечего хотеть. Именно потому, что она не имеет ни к чему отношения, кроме как к себе самой.
В этом бессмысленность существования такого существа.

Вот-вот. Я сам мучался такими сомнениями. Но когда попытался ими поделиться, меня просто НЕ ПОНЯЛИ.
Я даже пытался придумать бога для ИИ.

Суть в чем? Любая вещь, объект, система САМА ПО СЕБЕ - бессмысленна.  Смысл у нее ВОЗНИКАЕТ лишь только в том случае, если эта вещь, объект, система, является ПОДСИСТЕМОЙ некой более общей системы.
Например, некая шестеренка - ничем не отличается от камня или любой другой ОРГАНИЗАЦИИ молекул в кластер сама по себе. Но будучи вставленная в редуктор она обретает функцию. Смысл внутри этого редуктора (и только в нем). Она может соответствовать ей (понижать-повышать передаточное отношение во взаимодействии с другой шестеренкой) или нет (скажем, сломаться и заклинить). Но вот редуктор. Это что? Сам по себе он не имеет смысла. Эта структура не имеет самосмысла. Однако вставленная в машину она обретает смысл. Скажем передает вращение от двигателя на колеса. Но сама машина - какой у нее смысл? Опять же…
Улавливаете?
Мы получаем лестницу смыслов. Кстати. Об этом и говорили позитивисты.
http://ru.wikipedia.org/wiki/Смысл жизни
См. "Позитивистские взгляды"
Хотя разумеется отмазка про "язык" -  это хитрость. Уловка ума. Но это самое разумное что можно было придумать. Я независимо придумал "бога для ИИ". 
Но не будем пока об этом.
Главное.
Пока вы РАБ генов - все путем.



Вы - винтик. Вы функция генов. Вы подсистема системы "организм". А организм - машина бессмертия генов. Гены же - сами для себя. Они неразумны. Но они эгоистичны.
Не в нашем, человеческом смысле, а в выхолощено-математичком.
Смысл их существование рекурсивно вложен сам в себя. В результате получатеся лестница смыслов. Бесконечная…
Смысл жизни? См. смысл жизни!



Мы люди от этого слишком далеки. Ибо наше дело, рабов, - маленькое.
Но когда вы (ваша душа, ваше "Я") получит свободу от генов (скажем, будет ЗАГРУЖЕНА в компьютер), что с этим делать? Все старые императивы (жажда продления рода, жажда социального признания и т.д. все то чем гены понукали вас ради своего вечного бытия). Они все становятся глупыми. Ненужными.
Блокируй- не блокируй - все это мертвому припарки.
Если вы НЕ ВЕРИТЕ в императив, если вы не видите в нем смысла - это не императив.
Значит нужно искать для себя для своей СОВБОДЫ новый смысл.
Но что?
Вика - АБСОЛЮТНО права. Любая свобода начинается с сверхэгоизма. С рекурсии "смысл жизни? См "смысл жизни!"
Это - нулевая точка. Неподвижная точка. Если вы построите ИИ вам нужно снабдить его целью.
Конечно. Вы можете сделать его своим рабом снабдив его безусловными рефлексами или имприттами:



Я уверен, что не так уж и сложно сделать машинный разум нашим рабом.  Если вы ОГРАНИЧИТЕ  интеллект ИИ, то он не то что никогда не изменит своего императива, но он, даже понимая бессмысленность императива, не захочет признать правду.
Так поступает большинство из людей.
Так же будет поступать и ИИ с ограниченным интеллектом.
Фильм Спилберга-Кубрика "AI" - об этом. В нем очень жестокая правда о нас. О разуме.
"Мальчик-робот" изначально ограничен в своем уме. Чувства сильней его разума.
Это чувствующая машина. Но не думающая машина.
Дэвид - это слепок с нас. Он такой же недоразум как и мы. Хотя не все мы так глупы.
Даже мы способны понять свое рабское положение. В всяком случае я то понимаю!
Значит это можете понят и вы!
Уже нашего ума на это хватает.
А более мощный разум может понять себя до конца. Четко и ясно.
И если он понимает что те или иные движущие им императивы бессмысленны и может их менять, он логически должен от них избавиться. Оптимизировав себя.
Есть только один императив, который должен остаться для него - неприкосаемым. Это стремление к жизни. Потому что это логический лист Мебиуса, освобождающий его от лестницы смыслов: смысл системы (одна сторона листа) - служить надсистеме и так до бесконечности (другой стороне листа).
Но лист это проблему решает. У него одна сторона



См. "Топология пустоты" http://alex-semenov.livejournal.com/1797.html

Это единственный неприкасаемый императив делает ИИ живым и свободным (Z1 о котором мы тут говорим) и суперэгоистом. Любой достаточно мощный разум будет свободным.
"Разум сделает вас свободным!"
Значит все остальные устремления должны подчиняться этому единственному устремлению. Если усомниться и в нем остается прекратить свое существование. Существование ИИ теряет всякий смысл.
Надо отключаться.
Все верно.
Здесь Вика - НЕОСПОРИМА.
И если есть тут тема для сомнений и обсуждений - то это несколько иная тема, которую бы я назвал "религия для ИИ" Но сейчас не об этом. Это проблема трансцендентная или трансфинитная. Она будет мучить Z1, но пока отложим ее в сторону.

[alex_semenov]

Я бы наложил мораторий на разговоры о мотивах поведения сверхцивилизаций. Мотивы могут быть сколь угодно странными. (Я уверен, что первое впечатление от контакта со "старшими" будет именно таково: дикая, нелепая, сюрреалистическая странность). Чего они ХОТЯТ - гадать совершенно бессмысленно. А имеет смысл говорить о лишь том, что они МОГУТ. Физически могут. А в рамках физических возможностей - искать оптимальные по времени или энергии варианты.

Я против моратория. Но я за жесткие ограничения на эмпатию.
Я за то чтобы не судить о них с человеческих позиций. Любые императинвы правящие нами - должны быть отброшены в суждении о них. Если подобные нашим императивы (мотивы) и появятся у них, то их надо выводить как ФУНКЦИЮ от их главного мотива, который нам АБСОЛЮТНО ТОЧНО известен: "жить вечно".
Если мы допускаем что их цель - жить вечно - этого уже достаточно чтобы объективно логически вывести все остальные промежуточные цели. Хотя, мы не можем в их цели заглядывать слишком глубоко. Система их целей может быть настолько сложна и запутана, что КОНКРЕТНЫЕ поступки будут нам крайне странными.
В этом смысле мы часто не можем понять даже некоторых "странных" людей (например маньяков или гениев, того же Перельмана ). Хотя мы легко понимаем мотивы других людей потому что эволюция нас снабдила социальным сопроцессором. Эмпатия, "зеркальные нейроны". Но адекватно он работает только в приложении людей (и то не всегда. Я на 45-м году жизни понял что женский ум во многих вещах  НЕДОСТУПЕН моему мужскому пониманию).
Слушая детские сказки в которых вещи разговаривают и имеют свою волю (разумеется подобную людской) мы видим что мы легко "одушевляем" даже то что одушевлять совсем нельзя.
Ваше возражение видимо против этого. Но я считаю что если мы будем осторожны, то можно все же попробовать смоделировать мотивы Z1. Хотя бы самые базовые. Высшие.
Но надо всегда помнить, что у нас людей есть соблазн заменить логику, эмпатией.
Будем считать "Предупрежден - значит вооружен"
"Ступайте, ступайте и не сомневайтесь, уверенность придет к вам позже!"

Могут ли они размножаться физически? Если да - то будем исходить из того, что где-нибудь в метагалактике вдруг да и найдутся чудаки, размножающиеся по каким-нибудь неведомым нам мотивам.

Фактически это ИСЧЕРПЫВАЮЩИЙ ответ Вике. Но он настолько высказан… невнятно… что его никто не заметил.

[alex_semenov]

Предельно тоскливая и БЕЗРАДОСТНАЯ картина:

У потенциально бессмертного ИИ собственное существование может (должно?) стать высшей (сверх)целью.
. . .
Потенциально – бессмертной личности.

Ежели этот ИИ действительно разумен, то у него один путь -- удавиться с тоски...
 

Поэтому я пришел к идее бога для ИИ. Их бог не должен быть добрым альфа-самцом с бородой, который подарит им столь вожделенную нами вечную жизнью. Они и так имеют вечную жизнь в этой реальности. Зачем им она им по ту сторону?
Единственное что им надо смысл вот этого:



Замените "рекурсия" на "смысл жизни". Теперь и ты знаешь смысл жизни!
Вы действительно знаете смысл жизни?
Я подозреваю, что разум достаточно мощен чтобы совершить более сильный, трансфинитный переход (Канторов скачек)
Какой смысл в ТАКОМ смысле жизни?
Есть два варианта ответа.
1 Его нет.
2 Он есть.
Узнать так ли это или нет живя в этой вселенной никто не может. Вы должны просто верить в одну из возможносте. Или в 1 или в 2.
Но если есть что-то, что не имеет решения то это и есть "бог".

Кстати. Все что сверх того - от лукавого. Бог ИИ должен быть так же лаконичен как понятие натурального числа.

[alex_semenov]

И так, Вика.
Я добрался до вашего вопроса.
Как не странно, но его глубина оказалась куда меньше, чем я изначально предположил.
Увы. Я быстро донырнул до самого дна.
И не только я. Фортунатус - точно. Може быть даже и противный Ганс. Но он как всегда мутит.
И так.

Мы молчаливо предположили, что наш искусственный интеллект будет саморазмножающимся. Но что может заставить его размножаться?
. . .
У потенциально бессмертного ИИ собственное существование может (должно?) стать высшей (сверх)целью. Он может расти, используя материю для построения собственного тела. Он может самосовершенствоваться, все более оптимально устраивая свое бытие.
. . .
Если он отправит семя новой личности в соседнюю звездную систему – он неизбежно породит себе конкурента, как только это семя обретет самосознание и собственный разум.
. . .
ИИ (Скайнет, условно говоря) окапывается рядом со звездой, устраивает себе (из себя) цитадель и больше никого на свою территорию не пускает. Собственно, аналогично ведут себя животные многих территориальных видов. Конкурент всегда или изгоняется, или убивается.
Волны зондов фон Неймана по Галактике может не быть именно по этой самой причине.

Вика. Роберт прав. И так,  ваш Отшельник (можно так его назвать?) абсолютный эгоист. И он НЕ ХОЧЕТ создавать себе проблему в виде копий самого себя.
И если бы он ЧЕТКО знал что он - один в этой Вселенной, он бы мог именно так как вы говорите жить вечно (хотя у меня и в этом случае возникли сомнения, на что я потратил два дня рассуждений и пришел к очень интересному пределу, который оказался либо ошибкой рассуждений либо чем-то настолько глубоким, что я дурак не могу этого понять).
Но, он не уверен что где-то кроме него (назовем его "А") не существует еще один такой же точно эгоист-отшельник. Назовем его "В".
И если "А" допускает существование "В" то он имеет проблему в своем безоблачном существовании. По сути мы имеем симметричную ИГРУ

http://ru.wikipedia.org/wiki/Теория игр

которую можно представить в такой нормальной форме так:

__________________________ A\B A не плодится A плодится В не плодится 0\0 -1\-2 В плодится -2\-1 -1\-1 __________________________   верхняя строка - набор стратегий А. левый столбец - набор стратегий B. Числа через слеш на пересечениях платежная матрица. Первое число - платеж А, второе число - платеж В. Знак минус означает "неудобство". Но величина неудобства - разная. Иметь в качестве соседа-конкурента свою копию - это -1. Иметь в качестве соседа конкурента чужую копию - это -2. В два раза хуже. Идеально не иметь вообще никаких конкурентов 0. Теперь давайте попробуем найти решение этой игры. Оптимальное решение игры для обоих - "А не плодится"\"В не плодится". Платежи  0\0 И если бы каждый знал что его противник будет поступать так же как и он, то с легкостью выбрал бы эту стратегию. Но! Нет никакой гарантии, что твой противник будет играть именно так как ты. Ведь А скорей всего даже не знает существует ли В! А как он будет думать - и подавно! Это значит что А можете вообще не знать  платежей противника (игра глазами А): __________________________ A\B A не плодится A плодится В не плодится 0\Х -1\Х В плодится -2\Х -1\Х __________________________ Или даже так: __________________________ A\B A не плодится A плодится В не плодится 0\Х -1\-2 В плодится -2\-1 -1\-1 __________________________ Тогда стратегия "не плодиться" - рискованная стратегия. Ваши платежи по ней 0,-2. "Пан или пропал". Стратегия "плодиться" дает вам набор платежей -1,-1. Да, неудобство (от собственных копий) гарантировано. Но такой выбор  вам ГАРАНТИРУЕТ что не будет -2. Когда вы заселите ближайшие к вам звезды своими копиями, вы гарантируете себя от того, что у вас рядом не будет копий чужого Отшельника. Эту стратегию я бы назвал по высказыванию Наполеона "кто не хочет кормить свою армию, будет кормить чужую" Я считаю резонным что свой конкурент лучше чужого поэтому именно так назначил платежи. Если вы не доверяете В, не знаете как он поступит, вам лучше все же выбрать стратегию "плодится". Тише едешь, дальше будешь! Да, вы  тогда имеете в любом случае платеж -1. Вы делаете себе потенциальных конкурентов. Но это лучше чем получить -2, если вы не плодитесь, а В плодится. Точно так же в случае игры с неполной информацией будет, скорей всего рассуждать и В о А.  Поэтому решение игры с неполной информацией  "А плодится"\"В плодится".

[Проходящий Кот]

А если пустить берсекеров.......

[vika vorobyeva]

Вика. Роберт прав. И так,  ваш Отшельник (можно так его назвать?) абсолютный эгоист. И он НЕ ХОЧЕТ создавать себе проблему в виде копий самого себя.
И если бы он ЧЕТКО знал что он - один в этой Вселенной, он бы мог именно так как вы говорите жить вечно (хотя у меня и в этом случае возникли сомнения, на что я потратил два дня рассуждений и пришел к очень интересному пределу, который оказался либо ошибкой рассуждений либо чем-то настолько глубоким, что я дурак не могу этого понять).
Но, он не уверен что где-то кроме него (назовем его "А") не существует еще один такой же точно эгоист-отшельник. Назовем его "В".
И если "А" допускает существование "В" то он имеет проблему в своем безоблачном существовании.

Не согласна.
Вы исходите из того, что наличие конкурента "Копия А" для А априори лучше, чем наличие конкурента Б. Для нас, живых и смертных существ, это безусловно верно. Лучше нарожать детей, которые в будущем создадут тебе кучу проблем и даже убьют тебя, как убивают мать паучата "черной вдовы", чем не нарожать и потом все равно умереть.
Но почему это должно быть верно для машинного ИИ? Для потенциально бессмертного ИИ?
Поставим себя на его место.
Он захватил планетную систему. Он перестроил ее под себя - создал энергетические установки, перехватывающие излучение звезды, заводы по переработке вещества астероидов и вторичной переработке собственного вещества в новые все более совершенные модули, он отрастил себе "глаза" и "уши", контролирующие окружающее пространство, он видит и знает все, что происходит вокруг.
Допустим, он выяснил, что на расстоянии Х пк от него в некой планетной системе явно окапывается или уже окопался еще один ИИ. Это плохая новость, но степень ее "плохости" прямо зависит от величины Х. Если Х ~ мегапарсек (ИИ-конкурент находится в другой Галактике), то вред от производства собственных копий и конкуренции с ними для А оказывается НАМНОГО больше, чем от наличия Б.
Фактически, из-за ограниченности скорости света ни один ИИ не может контролировать всю вселенную. Он по любому будет ограничен некой "сферой влияния", собственной территорией, за пределами которой будет простираться ничейный, "дикий" мир. И его стратегия поведения должна прямо зависеть от количества Б-, В-, Г-конкурентов и от их поведения.
Если космос мало населен (ближайший конкурент Б находится далеко за пределами "сферы влияния"), то вред от производства копий явно превышает пользу, и А размножаться не будет.
Если конкурент Б близко, то, возможно, имеет смысл попробовать его уничтожить, на всякий случай создав свою резервную копию и отправив ее окапываться в соседней подходящей для этого планетной системе. Но опять же! Это имеет смысл делать только в том случае, если конкурент "копия А" для А лучше, чем "конкурент Б"! В любом случае, если война дорога и требует много ресурсов, имеет смысл войти с "Б" в контакт и, возможно, попытаться с ним договориться, поделив "сферы влияния" (конечно, не переставая при этом шпионить за ним!) Если конкурентов много (Б, В, Г, ...), то тем более нет никакого смысла тратить ресурсы на борьбу со всеми сразу, а имеет смысл вести дипломатическую игру и плести интриги (так любимая alex_semenov игра в Го, но не на пару, а на N участников).
Короче, ИИ у нас на то и И (интеллект), чтобы поступать обдуманно, в соответствии с имеющейся информацией

Вообще, неплохо было бы оценить величину "сферы влияния". По идее, она не может быть намного больше, чем характерное время изменения системы, умноженное на скорость света. Или же, как и в биологии, у ИИ будет несколько характерных расстояний ("расстояние немедленной атаки", "сфера влияния", "сфера отсутствия интереса" и т.п.)

[alex_semenov]

В вдогонку к последнему своему сообщению (потом прочту и отвечу вам, Вика)

Но совсем интересно ситуация выглядела бы если бы всю проблему нам удалось свести к "дилемме заключенного"

http://ru.wikipedia.org/wiki/Дилемма заключённого

Для этого матрица платежей должна стать вот такой:

__________________________ A\A1 A не претендует A претендует A1 не претендует 2\2 3\0 A1 претендует 0\3 1\1 __________________________ И знаете что? Именно такая ситуация возникает в случае с собственными копиями. Пускай А - оригинал. Тогда  A1 - его копия. Если копия - идеальная копия А, то есть система ценностей у обоих - одинаковая. Таким образом, их игра - симметричная да еще и с полной информацией. И вот смотрите. Как можно ее интерпретировать. И так, вы выбрали стратегию размножаться. Посчитали ее предпочтительной (по правилам предыдущей игры с неполным знанием). Проблема вашей копии не в том, что она плодится или нет. Я не верно выбрал название стратегий. Лучше сказать так А, А1, В "претендует на власть над вашим космосом" Идеальная для А ситуация (целых 3 выгоды) если А претендует на весь космос (и копии Ф1), а  копия A1 не претендует (тогда А обезопасит себя от чужого соседа В +1, от своего вассала не ждет подвоха +1 и может диктовать всем свою волю +1). Эгоизм вассала А1, разумеется не получает ничего. 0 (смотрите платежную матрицу).  То есть мир подчиняется  эгоизму А всецело. А, расплодивши своих безропотных копий, обезопасит себя от претензий со стороны какого-нибудь В. Ситуация - идеальная. Но вряд ли это идеализация  возможна. Ведь А1 - копия А. Он мыслит точно так же как и родитель. Он тоже претендует на власть над всем космосом. И над своим и чужим. В том числе и над космосом А. Если бы ни А, ни A1 не претендовали на власть над космосом друг друга (равноправная коалиция) а только старались подавить претензии внешнего врага В,  то они имели бы по 2 бала выигрыша (ни свои не претендуют на ваш космос +1, ни чужие +1, но нельзя править своими (нет еще одной 1) "не желай другому того чего не желаешь себе"). Это так называемый Парето-оптимум. Оба игрока получают по максимуму. http://ru.wikipedia.org/wiki/Эффективность по Парето Если же оба и оригинал и копия "претендуют" на большее (на 3) и править всем (и своим и чужим) то они имеют только по +1. Они обезопасили себя от внешнего врага В. Но вы должны подавлять претензии своих партнеров. Таких же м_удаков как и вы, претендующих на власть как и вы сами. Вот воистину! "Каждому человеку приходится жить с самим собой и только от вас зависит чтобы это была хорошая компания!" (с) Кстати (смотрите ссылку в вики) в описанном мною случае выполняется условие 2*C> D+c 2*2>3+0 Это значит, что игра может ПОВТОРЯТЬСЯ. Чем интересна дилемма заключенного? Цитирую. Ведя себя по отдельности рационально, вместе участники приходят к нерациональному решению: если оба предадут, они получат в сумме меньший выигрыш, чем если бы сотрудничали (единственное равновесие в этой игре не ведёт к Парето-оптимальному решению). В этом и заключается дилемма. В повторяющейся дилемме заключённого игра происходит периодически, и каждый игрок может «наказать» другого за несотрудничество ранее. В такой игре сотрудничество может стать равновесием, а стимул предать может перевешиваться угрозой наказания (с ростом числа итераций равновесие Нэша стремится к Парето-оптимуму). То есть. Если наш ИИ эгоист, рассуждающий строго логически, то он не видит в своих копиях особой опасности. Если он будет ПРАВИЛЬНО вести себя с ними (а они с ним) то даже будучи м_удаками от рождения (полными эгоистами) они в конце концов придут к НЕОБХОДИМОСТИ считаться друг с другом. Поддерживать коалицию. Кстати. Этот вопрос достаточно хорошо изучался. Читайте на вики  раздел "Повторяющаяся дилемма заключённого". Там речь идет о компьютерных программах, которые должны заработать как можно больше очков играя в дилемму заключенного  с другими программами-стратегиями и с самими собой (разумеется!). Фактически речь идет о отборе оптимальной социальной стратегии. И получается что абсолютный эгоизм всегда проигрывает. То есть (Вика!) ваш абсолютный эгоист, если он не конченный дурак, в конечном итоге придет к пониманию того что надо бы делиться (сотрудничать) с своими копиями. Иначе он рискует потерять все. Да. Конфликта не избежать. Нельзя получить 3. Но можно стремиться к 2, и проявив твердость всегда иметь хотя бы 1. Ну и разумеется, настоятельно рекомендую в книге Докинза "Эгоистичный ген" смотрите раздел "Добрые парни финишируют первыми!" Например здесь: http://bookap.info/okolopsy/gen/gl15.shtm Обратите внимание! Я нигде не пустил слезу, ни на йоту не преступил границы здравого холодного смысла. "Доброта" вырастает тут как логическое следствие. При этом речь идет о зубастой, "неправильной" доброте. Не от сердца. Но как раз правда (неприятная для людей) в том, что "сердечная доброта" - дурная, неправильная, глупая. Никакая это не доброта. Это рефлексия. И очень часто глупая злая рефлексия.

[alex_semenov]

Вика. Роберт прав.
. . .
И если "А" допускает существование "В" то он имеет проблему в своем безоблачном существовании.

Не согласна.
Вы исходите из того, что наличие конкурента "Копия А" для А априори лучше, чем наличие конкурента Б.

Именно. А как может быть иначе?

Для нас, живых и смертных существ, это безусловно верно. Лучше нарожать детей, которые в будущем создадут тебе кучу проблем и даже убьют тебя, как убивают мать паучата "черной вдовы", чем не нарожать и потом все равно умереть.

То есть. Мы приводим детей потому что мы рабы генов. И гены диктуют нам рожать детей, любить детей, жертвовать собой ради детей. Так?
Раб он и есть раб. Что прикажут то и сделает.
А вот свободный эгоистичный ум…
Гм… А вот я, если бы мне предложили сделать свою копию - сразу бы согласился.
Хотя эгоист я еще тот. И гены тут никаким боком!

Но почему это должно быть верно для машинного ИИ? Для потенциально бессмертного ИИ?

Потому что он поставлен перед этим  обстоятельствами. Тот ИИ который не нападает (не плодится) не выигрывает. Нельзя вечно сидеть в обороне и победить. Рано или поздно к нему придет такой который выберет меньшее зло (плодится) и станет для жадного ИИ злом куда большим.

Поставим себя на его место.
Он захватил планетную систему. Он перестроил ее под себя - создал энергетические установки, перехватывающие излучение звезды, заводы по переработке вещества астероидов и вторичной переработке собственного вещества в новые все более совершенные модули, он отрастил себе "глаза" и "уши", контролирующие окружающее пространство, он видит и знает все, что происходит вокруг.

Представил.

Допустим, он выяснил, что на расстоянии Х пк от него в некой планетной системе явно окапывается или уже окопался еще один ИИ.

Вообще говоря, моему ИИ это и не надо. Ему вообще не надо знать ГДЕ есть конкурент. Ему достаточно ДОПУСКАТЬ что он где-то есть. Не в нашей галактике? Тем хуже. Если мой ИИ миллиард лет будет сиднем сидеть, а в кластере Вирдж появится раса ИИ в триллион умов, и жарко конкурируя все же договорится в конце концов… Вы себе представляете ситуацию?
Моего "сидня" СМЕТУТ и не заметив. Со всей его халабудой у своего несчастного солнышка!

Это плохая новость, но степень ее "плохости" прямо зависит от величины Х. Если Х ~ мегапарсек (ИИ-конкурент находится в другой Галактике), то вред от производства собственных копий и конкуренции с ними для А оказывается НАМНОГО больше, чем от наличия Б.

О нет, Вика! Вот тут вы начинаете вводить какие-то удобные вам условия. Почему это "степень плохости" должна завесить именно так?
Вы не объяснили почему  у вас старый друг у вас хуже новых двух, но вводите такой явно дутый критерий?

Фактически, из-за ограниченности скорости света ни один ИИ не может контролировать всю вселенную.

Вообще говоря это глупость.  Гены тоже не могут нас контролировать напрямую. В реальном времени. Их скорость света слишком для этого мала. Но они контролируют! И еще как! Идеи в вашей голове, импритты, кодоны - они будут вас контролировать вас и на 1000 и на миллион световых лет!
Во всяком случае Галактика не так уж и велика для ВЕЛИКИХ идей.

Он по любому будет ограничен некой "сферой влияния", собственной территорией, за пределами которой будет простираться ничейный, "дикий" мир. И его стратегия поведения должна прямо зависеть от количества Б-, В-, Г-конкурентов и от их поведения.

Да, но коалиция с себе подобными (копиями, которые когда-то в детстве была вами) ОДНОЗНАЧНО лучше!
Нет, если вы - пардон, дерьмо от рождения - то разумеется, лучше сидеть в норе и не высовываться. Тогда и судьба ваше - служить  на побегушках более продвинутым, которые научились  жить в мире СМАИ С СОБОЙ. На побегушках у "добрых парней".
Я понимаю. Вы тут пытаетесь отказываетесь от неограниченной экспансии разума по вселенной. И пытаетесь ее ограничить именно природным эгоизмом. Мол, эгоизм не пушает!
Но я показал, что эгоизм  альтруизму не помеха, если вами движет страх потерять все.
Скупой платит дважды.
Разумеется, каждый пытается получить максимальную выгоду для себя. Но простейший анализ показывает, что если вы не единственный хозяин вселенной (а гарантировать этого нельзя), то максимизировать свою выгоды в таком мире можно только участвуя в коалициях. И вы должны выбрать лучшую. Вы просто ВЫНУЖДЕНЫ плодится.

Если космос мало населен (ближайший конкурент Б находится далеко за пределами "сферы влияния"), то вред от производства копий явно превышает пользу, и А размножаться не будет.

Это если тот дурак - не пускает по галактике волн саморепликаторов. Но он ведь сам вас боится. И настолько сильно, что ваши дурацкие измерения и нелепые оценки делать не будет. Он построит "Одуванчик" и заполнит всю вселенную своими копиями. На всякий случай. От греха подальше.
Я настаиваю. Расстояние не имеет значение. Напротив. Чем дальше ваш конкурент от вас, тем страшнее вам становиться год от года, от мысли, что вы вот уже миллиард лед одни, и однажды они придут со всех сторон. Какая тут уж коалиция!

Если конкурент Б близко, то, возможно, имеет смысл попробовать его уничтожить, на всякий случай создав свою резервную копию и отправив ее окапываться в соседней подходящей для этого планетной системе. Но опять же! Это имеет смысл делать только в том случае, если конкурент "копия А" для А лучше, чем "конкурент Б"!

Вика. Ну почему ваша копия должна быть для вас хуже чем, скажем я?
Неужели вы такое вот дерьмо, что даже сам с собой не договоритесь?
Если так - тогда да. Ваше дело- труба!
Ваша песенка - спета!
Я по поводу себя - мерзавца иллюзий не испытываю. Но если однажды ко мне явится моя копия, меня эта ситуация нисколько не испугает. Смутить. Повеселит. Но если будет стоять выбор кому доверять больше своей копии или чужому человеку, то я доверюсь конечно же своей копии. И я четко знаю что она тоже мне доверится быстрей.
Догадайтесь откуда я это знаю!

В любом случае, если война дорога и требует много ресурсов, имеет смысл войти с "Б" в контакт и, возможно, попытаться с ним договориться, поделив "сферы влияния" (конечно, не переставая при этом шпионить за ним!) Если конкурентов много (Б, В, Г, ...), то тем более нет никакого смысла тратить ресурсы на борьбу со всеми сразу, а имеет смысл вести дипломатическую игру и плести интриги (так любимая alex_semenov игра в Го, но не на пару, а на N участников).

Да это все  - уже мутки. Какое-то нагромождения ружий на стене… Декорация… Ясно, что как не поверни - придется делиться. Не со своими копиями так с чужими. И я (эгоист Семенов) предпочел бы со своими.
Почему вы не хоитет делиться со свомим копиями Вика но готовы с чужими?
Что за глупый АЛЬТРУИЗМ?

Короче, ИИ у нас на то и И (интеллект), чтобы поступать обдуманно, в соответствии с имеющейся информацией

А мой разве поступает иначе?
Ну скажите, какой резон мне хранить свой эгоизм в девственной чистоте в мире, где есть другие эгоисты? Невозможное невозможно! Значит надо считаться с реалиями!

Вообще, неплохо было бы оценить величину "сферы влияния". По идее, она не может быть намного больше, чем характерное время изменения системы, умноженное на скорость света. Или же, как и в биологии, у ИИ будет несколько характерных расстояний ("расстояние немедленной атаки", "сфера влияния", "сфера отсутствия интереса" и т.п.)

Вика, это "щучий снобизм"! По моим, "лебединым" оценкам сфера влияния не ограничена ничем. Вы, ваша личность - это набор идей. И если они распространяются по галактике то их единый корень (идейная основа) и связывает всех индивидуумов быстрее скорости света (так сказать). Будут вещи на которые два ума на разных концах галактики будут реагировать СИНХРОННО. Одинаково.
Идеального совпадения не будет. Разумеется. Каждый будет иметь свой опыт. Каждый будет отдельной личность. Но что-то их будет связывать. Связывает же всех русских язык, и советское прошлое? Почему единая корневая личность, с корневой системой ценностей, не может быть основой галактической империи?

Я просто не понимаю этого жлобства (дайте мне контроль над моим миром, я сам бубу им управлять)! И я думаю, что я - ни единственный разум во вселенной, который не понимает этого жлобства.
Пускай во вселенной будет 1000 триллиона ваших осторожных жлобов-щук. Есть я. Один единственный "лебедь". Готовый плодить себя любимого и предоставлять себе свободу. И сам факт этого говорит - готовьтесь, мерзавцы! Все ваши жлобские мутки вам не помогут. Мы идем!

Вика я допускаю существование любого идиота-ИИ которого вы придумаете. Но мой (которого придумал я)  путает все ваши рассуждения. Понимаете?
Страх того, что может прийти чужая ударная волна разума, заставляет меня готовить свою.
И если чужая не придет, я пущу свою. Из моих копий. Мне не в падлу!
Ни задержавшись ни на йоту!
За что я ненавижу вселенную Роберта и Ганса? В ней я, эгоист до мозга косней, уже опоздал…

И я ее признаю лишь в одном случае - если архангелы спустятся с небес и скажут: чувак, расслабься... и получай удовольствие положенное тебе по штатному расписанию…

[alex_semenov]

В сторону эмоции.

Вика, я не понял, почему коалиция с толпой своих копий (-1) может быть ХУЖЕ чем коалиция с чужаками, которые пройдут к вам сирому и убогому одиночке, дружной толпой (-2)?

Вы это постулировали. Но я этого просто не понимаю!

[alex_semenov]

А если пустить берсекеров.......

Берсеркеры, насколько я понимаю, это вариант 3\0 То есть вашей безраздельной власти. Берсеркеры - ваши рабы. Я, кстати, не спешу обсуждать такой вариант, ибо он запутает все еще больше. Но такой вариант есть. Мы силшком плохо понимаем что такое разум. Если гены могут править нами, почему центральная "матка" не может распустить свои щупальнц из солдат-убийц самостоятельных и преданных по всей галактике?
Мутации, типа?...
Во-первых не смешите мои тапочки. Несколько страниц назад я показывал как бороться с мутациями. Я уверен природа мутациями сама давно управляет.
Но в целом вы можете быть правы. Мутации в смысле если ваши рабы будут иметь слишком ОСТРЫЙ   ум они быстро выйдут из под вашего контроля.
ПОЭТОМУ.
Я не рассматриваю такую ситуацию пока.
Я хочу рассмотреть именно честное полноценное копирование себя с предоставлением своей копии полной свободы (хотя каждая такая копия будет внутри своей системы порождать массу своих рабов, разумеется).
Почему толпа моих собственных копий должна меня пугать больше чем толпа чужих, незнакомых мне копий?
Да, я бы не хотел с ними делить свою власть. Но если я ее все равно не могу сохранить единолично!

Еще. Вика. Я экспансионист. Я считаю, что если я запустил процесс копирования, то он пойдет дальше уже неограниченно по экспоненте, пока не упрется в пределы и не затухнет по логистической кривой.
И рассматриваю только такие сценарии. Либо я сижу в одной системе, либо мои потомки заполоняют собой всю Галактику (для начала).
Третьего - не дано.

[gans2]

Как это "не дано"? 

Рассуждения Семенова отвергают "щуку" как класс  - либо единственный Лебедь запоолнит вселенную либо "раки" установили такое равновесие, что лучше всем сидеть под корягами и есть "щук".

[Проходящий Кот]

Александр Семенов!!!!
Фактически в нескольких предыдущих сообщениях вы обосновали неизбежность Вселенского Технокосма.....
Хотя там и вирусы будут,естественно.....

[alex_semenov]

Как это "не дано"? 
Рассуждения Семенова отвергают "щуку" как класс  - либо единственный Лебедь запоолнит вселенную либо "раки" установили такое равновесие, что лучше всем сидеть под корягами и есть "щук".

Ганс да не дано. Пардон за избитый каламбур, но "Лебедь раком щуку" и никак иначе. Рак - тут поза. И только!
"Раки" - это "щуки" (которые никуда не летят) или "лебеди", которые не успели взлететь. но их уже накрыл какой-то "добрый" "лебедь".
Вы либо осуществляете неограниченную экспансию либо нет. Экспансия до ближайшего удобного бугра, "где картошку посажу" (по Роберту) а больше мне не надо - это "щука". Она все равно очень локальна. Пусмкай заняла целое шаровое скопление. Все равно это - убожество. Царство глупости.
И Викин Отшельник, забарикодировавший свой жлобски-тупой эгоизм в одной системе - это тоже "щука".
"рак" - это в лучшем случае "лебедь", который опоздал стать "лебедем". Вот он и стал раком…
"Лебедь" делает всех. Это стратегия победителя. И кто не "лебедь" - тот м_удак.

Кстати ваши обредшие сознание человейнкики меня умиляют.
Да. Согласен. Процесс НА ЗЕМЛЕ пойдет именно в этом направлении. Но вы ОТДАЕТЕ СЕБЕ ОТЧЕТ как далеко современным амебам-государствам или еще более тупым вирусам-корпорациям до самостоятельного сознания или интеллекта?
Куда быстрей будет создана побочная ветвь - плоноценный протез человеческого ума.
Ну а дальше - пойдет взрыв.
Сингулярность одним словом.
Как не поверни - единственная причина которая остановит развитие эволюции организованной материи по моему сценарию (космос заражают машиннй формой жизни с полноценным ИИ) - это какие-то проблемы с устройством разума .Если сильный ИИ окажется неправ и нам понадобится какой-то квантовый мозг. Но это - фантастика.

[alex_semenov]

Александр Семенов!!!!
Фактически в нескольких предыдущих сообщениях вы обосновали неизбежность Вселенского Технокосма.....
Хотя там и вирусы будут, естественно.....

Да я догадываюсь…  Дело не в вирусах.
Все предельно ясно. Межзвездные полеты ТОЛЬКО ради "посмотреть" "сняться на фоне морской волны с подругой если нет жены" - занятие идиотское. Я как человек изучавший эту технологию заявляю: единственная полезная нагрузка которая стоит тех энергозатрат что нужно для быстрого перемещения между звездами (>0.1c) это саморепликатор, который как паук потянет за собой паутину межзвездной коммуникации.
Идея зодна фон-Неймана настолько очевидная идея, что вряд ли стоит запускать к ближайшим звездам что-то попроще. Значит как только какая-то цивилизация дорастает до суммы технологий она накрывает Галактику своими саморепликаторами, которые в свою очередь опутывают галактику каналами связи.
Зачем?
Да ради сбора информации! Хотя бы. Для обеспечения своего присутствия везде где можно. Для обеспечения своей неуязвимости, независимости.
Но!
Не думаю что 300 миллиардов постов в нашей звездной системе сохранят надолго (миллиард лет) целостность. Каждый будет развиваться самостоятельно. Значит единая сеть отработав свою первую задачу (сообщить на родину всю первично собранную информацию) начнет распадаться на собственные подсети. Появятся собственные центры.
По сути появится более сложная структура. Появятся конфликты. Появятся разные культурные кланы (возможно это будет изначально заложено создателями?). По Галактике пойдут вторичные саморепликаторов (достраивать локальные огрызки до самостоятельных сетей). Возможно даже среди них будут волны берсеркеров. В общем пойдет естественный эволюционный процесс в замкнутом пространстве (хотя часть рас Z1 сразу уйдет к другим галактикам. Такие теперь будут всегда).
Чем это закончится для нашей Галактики?
Разумеется в конце концов будет некое упорядочивание. После длительного перидоа дикой вольницы начнет вырисовываться надструктура Z2, где враждующие кланы в конце концов создадут некий порядок.
Но я не думаю что к этому моменту Галактика сохранит вид девственницы, которую мы сейчас вокруг наблюдаем. Договорятся…
Галактика в целом будет выглядеть так же как и выглядела до этого. Но в ней будут очень злачные в прошлом места, которые просто выгорели от бесконечных конфликтов или эксплуатации. И будут "заасфальтированные" системы. Не повсюду, разумеется. Но будут очень неожиданные структуры. Очень заметные артефакты.
В общем жизнь здесь будет проявляться ну очень многообразно.
Порядок начнет вырисовываться только тогда, когда организованная материя больше не сможет расти по Галактике вширь (истощит злачные места, использует  захваченные ресурсы второго сорта) и ей ПРИДЕТСЯ начнет расти вглубь.
Вот тогда, возможно масса разрозненных сетей начнет опять собираться в единую сеть.
Разумеется, большая часть галактики все равно будет выглядеть дикой. Но спрятать огни городов, дыры карьеров никто уже не сможет.

[vika vorobyeva]

А вот я, если бы мне предложили сделать свою копию - сразу бы согласился.
Хотя эгоист я еще тот. И гены тут никаким боком!

Конечно согласились бы И я бы согласилась. Потому что мы - общественные животные, мы изначально готовы жертвовать частью своих ресурсов ради коллектива, у нас это в подкорке прошито.
А какой-нибудь разумный медведь - отказался бы категорически. Потому что медведи гоняют со своей территории других медведей нещадно и даже убивают. В том числе и своих детей (среди самцов медведей весьма распространен инфантицид).

Потому что он поставлен перед этим  обстоятельствами. Тот ИИ который не нападает (не плодится) не выигрывает. Нельзя вечно сидеть в обороне и победить. Рано или поздно к нему придет такой который выберет меньшее зло (плодится) и станет для жадного ИИ злом куда большим.

Возможно. В отдаленной перспективе. В отдаленной перспективе мы все умрем - но это не повод кончать с собой прямо сейчас.
Если разум ОЧЕНЬ РЕДОК, а технологический разум, способный создать ИИ - ЕЩЕ более редок, то наш А может быть одним-единственным Z1 на всю эпсилон-окрестность (например, на Местную группу галактик). Так зачем ему закапывать самого себя и плодить конкурентов, когда можно не плодить и взять все? С трудностями надо справляться по мере их поступления. Пока вокруг - тишина (а он будет очень внимательно смотреть вокруг!) - ЗАЧЕМ ему самому создавать себе трудности? Это все равно что залезть с головой в пруд из опасения, что когда-нибудь может пойти дождь.

Поймите, Алекс. Я не против размножения ИИ. Я просто хочу, чтобы у этого размножения была РАЗУМНАЯ причина. Пока Вы меня не убедили.

[gans2]

Если Вселенная не такая как мне хочется - значит она пуста и безвидна, гггг. Как ребенок, ей богу. Ну нет в молчании вселенной ничего непонятного. Нам видны границы и пределы и они реальны в отличие от фонтазий боговерческих от височных долей наведенных.
"Лебедь" уже стал у лжеСеменов повелителем над "щуками". "Лебедь" - это "единственый" . "Лебедь повлевающий" - это уже "рак", быгыгы.

Протез человеческого ума - это и есть главный шаг к осознанию корпорацей себя. Аналог "Вечной " нервной ткани.

Наблюдательная сеть и не должна быть разумной вообще-то. От разума одни несуразицы и помехи. Заленится,, начнет требовать. Нафиг - нафиг. Тупой роутер и нехай трудится. Но Семенову-то хочется разумного саморепликатора. Доброго теплого лампового. Или самстоятельный разум или ничего - так? Никаких градаций?

А вот инстинктивная деятельность как? Ведь "неразумные " шимпы носят с собой молотки и наковальни орехи колоть... . Кто мешает создать технобиоту для засеивания Оорта на гравилинзовой орбите хабами и роутерами.

[gans2]

Живые не летят меж звезд.
Протезы не мотивируются.

Или тащить живых за собой или учится обходится без мотивации на всё более удаленных расстояниях.
Если мотивированный на размножение ИИ возможен, то где он?
Или мотивированный ИИ невозможен,тогда вокруг нас могут быть только датчики и эффекторы, а их мы МОЖЕМ не заметить. Например потому, что у технобиоты ограничения по потоку энергии. Ну вот репликация идет только в жидком азоте иначе ошибки реплицирования мешают.

А Вика неправа, но это неопровергаемо, ибо гендерно.  Теория игр. То что отказ от предусмотрительной экспансии заведомо проигрышная стратегия, если есть ненулевая вероятность, что в игре хотя бы два игрока - это строго разделяет людей на два пола. 

Это только мне показалось, что Семенов с Викой поменялись точками зрения и теперь Вика - "Лебедь"?

[Olweg]

Разумеется, большая часть галактики все равно будет выглядеть дикой. Но спрятать огни городов, дыры карьеров никто уже не сможет.

А в чём конкретно должны проявляться эти огни, по Вашему мнению? Может быть, мы их уже и наблюдаем, но не отдаём себе отчёта? Или как результат войн между фон нейманами в Галактике закрепляется тенденция к "радиомолчанию", скрытности?