Целеполагание самостоятельного сильного искусственного интеллекта и человек

[neolopus]

Написано.
Но только ведь из того, что десятки и сотни миллионов лет сравнимы с геологической эрой - особенно ничего не следует.
С учётом того, что в Галактике при (всём разбросе возрастов звёзд) может быть не так много обитаемых планет, не на всех появилась разумная жизнь, и не так много цивилизаций смогли создать ИИ, и не у всех он достиг такого уровня интеллекта и автономии, что сумел объявить войну создателям и, возможно, не у всех цивилизаций он победил...
Да и истощающаяся ресурсная база материнской планеты для уже улетевших не имеет никакого значения - они-то уже на другой планете... Куда им торопиться? Ну разве что до следующего истощения ресурсов уже там. А ведь на разных планетах может быть разное количество ресурсов.

Разве все эти (сугубо умозрительные, признаю) допущения не могут искажать приведённые вероятностные расчёты? ИМХО могут.

[neolopus]

Я бы рассмотрел другой аргумент - монолитный расселившийся Искусственный Интеллект из-за огромных расстояний и вследствие этого потери связи прекращает быть монолитным и единым. Он превращается в несколько центров и фактически эти новые центры интеллекта, эти новые "государства" становятся конкурентами и противниками друг другу.

Распространившийся по всей Галактике ИИ единой машинной империей может и не стать, а вот породить множество автономных структур, не всегда дружелюбных друг к другу, может. Это я не к тому, что-де фантазия разыгралась , а к тому, что экспансия ИИ в космос не решит проблемы нехватки ресурсов тем, кто останется. оставшиеся-то всё равно рано или поздно выработают всё, что имеется. И если интеллект действительно интеллект - то такую проблему он должен будет понимать. Возможно, для её решения понадобится не столько экспансия, сколько "кочевое существование" в космосе. Возможно какая-нибудь рациональная переработка отходов или искусственная наработка некоторых ресурсов, скажем каких-то изотопов.

Дело в том, что расселение даёт преимущество ушедшим, но у оставшихся остаются все те же самые ресурсы.Оставшиеся мало что получают. Для получения максимальных выгод главный ИИ должен быть не в числе оставшихся на материнской планете, а в числе ушедших; если логически рассуждать... Да и сильно далеко отрывать от себя своих слуг ему тоже невыгодно - могут стать автономными образованиями, ему более не подчиняющимися.
(Что-то я опять съехал на терминологию "главный-подчиняющийся"...)

[neolopus]

В этой связи появляется дурацкий вопрос - а могут существовать машинно-интеллектные "демократии"?
Не империи разумных машин во главе с главным ИИ, а демократические объединения?

[Rattus]

И по этому поводу написано

В случае роботов дело даже не в этом: в конце-концов им, в отличие от живых-природных, тратить ресурсы на побочные цели вовсе не обязательно. Тут вылезает несколько другая проблема: уложить амортизацию оборудования в EROEI - если цикл репликации будет сильно замедлен, то детали цикла скорее начнут выходить из строя, прежде чем наработют минимально необходимое число своих копий для своего замещения: на больших временах уже не просто какое-то постоянное излучение и пыль будут единственными проблемами, а уже существенное значение начинают играть даже такие редкие для нас события как падения астероидов и мощные вспышки центральной звезды.
Известный наглядный пример: вероятность погибнуть в авиакатастрофе для вас несущественна, даже если летать хоть каждый месяц в течение 60 лет. А вот если 600 и, тем паче, 6000 лет - уже становится вполне заметной.
Собственно это всё само собой разумеющиеся следствия статистической физики, согласно которой время есть грубо говоря функция всё той же энтропии.

к тому, что экспансия ИИ в космос не решит проблемы нехватки ресурсов тем, кто останется. оставшиеся-то всё равно рано или поздно выработают всё, что имеется.

Поздравляю с открытием теории Мальтуса (1798 год)! О сколько вам открытий чудных...

Возможно, для её решения понадобится не столько экспансия, сколько "кочевое существование" в космосе.

А возможно и не в космосе, а тупо на геохимических циклах родной планеты. А с учётом того, что они всегда ресурсно богаче чем какие-либо недифференцированные мелкие тела в космосе - то точно не в космосе. И "парадокс" волшебным образом благополучно разрешается! Нет?

В этой связи появляется дурацкий вопрос - а могут существовать машинно-интеллектные "демократии"?
Не империи разумных машин во главе с главным ИИ, а демократические объединения?

Что значит "демократические объединения"? Сам принцип организации нейросетей вообще-то основан на взвешивании тех или иных синаптических "решений". А о каких "империях" или "демократиях" вообще может идти речь в системах, где только простая передача сигнала имеет пинг минимум в пятилетку?
Всё-таки есть устойчивое ощущение, что Вы очень далеки от представления себе реальных физических масштабов тех вещей, о которых пытаетесь рассуждать.

[neolopus]

Что значит "демократические объединения"? Сам принцип организации нейросетей вообще-то основан на взвешивании тех или иных синаптических "решений".

Это когда нейронная сеть как бы одно устройство. Один автономный модуль, компьютер, кластер компьютеров...
А если этих устройств много? И все обладают свободой воли, грубо говоря. Каждое устройство имеет внутри себя собственную нейронную сеть, собственный интеллект и может программировать себя само.
Имелась в виду такая ситуация. Тогда эти устройства организуются по принципу иерархии главный-подчинённые, по принципу взвешивания того сигнала, за который "большинство голосов"/большинство устройств (демократия), вообще превратятся в сборище устройств, каждое из которых будет делать то, что "выгодно" лично ему (анархия), или как вообще они самоорганизуются?.. Было бы интересно на это посмотреть, как Вы думаете?

А о каких "империях" или "демократиях" вообще может идти речь в системах, где только простая передача сигнала имеет пинг минимум в пятилетку?

Имелось в виду их взаимодействие в пределах разумного времени для обмена сигналами.

Понятно, что для дальних расстояний такая система распадётся на практически независимые подсистемы. При любом способе управления ждать десятилетиями управляющего сигнала - нелепица. Система начнёт (вынуждена будет!) управляться сама, сначала частично, потом полностью, и в конце концов удалённые части станут независимыми. Либо же "погибнут", не в состоянии принять то или иное решение самостоятельно. Это-то понятно...

Я говорил про множество находящихся рядом разумных машин - ну там город, или планета. Не у разных звёзд...

[Андрей Астрофизический]

ну там город, или планета. Не у разных звёзд...

Вспоминаем, как принимались все значимые (для всей машинной расы), решения у Гетов в Масс Эффект - хоть и "фэнтези", но вопрос диктатуры/демократии/системы принятия решений в обществе машинных интеллектов тоже обдуман и достаточно реалистично решен. Логичнее всего что коллективные ИИ именно так и будут решать этот вопрос.

[Инопланетянин]

А если этих устройств много? И все обладают свободой воли, грубо говоря. Каждое устройство имеет внутри себя собственную нейронную сеть, собственный интеллект и может программировать себя само.

Это вы сейчас человеческое общество описываете.

Понятно, что для дальних расстояний такая система распадётся на практически независимые подсистемы.

И не будет ни империй, ни демократий. И перепрограммируют они себя самостоятельно и независимо до полного отчуждения.

[MenFrame]

В этой связи появляется дурацкий вопрос - а могут существовать машинно-интеллектные "демократии"?

Демократия это просто фикция, которая навязана хомячью в полне с определенными целями. Как система управления она абсолютно нежизнеспособна. Так как единичный представитель демоса, глупое, эгоистичное существо не способное осознать и принять собственное невежество.

[gennadij]

  А если мы и есть продукт ИИ?         Представим, что ИИ расселяется по Вселенной множеством автономных структур, как предлагает Neolopus.  Когда какая-то из них "натыкается" на подходящюю планету, богатую всем, что нужно для  биологической жизни, а, также, необходимыми ресурсами, эта структура "запускает" программу развития высокотехнологичной цивилизации. Которая, развившись до соответствующего уровня, своими руками (!) создаёт очередную ИИ-структуру, которая органично вливается в материнскую. Так возникает ещё один форпост ИИ во Вселенной.
 

[neolopus]

Это вы сейчас человеческое общество описываете.

Вообще-то да.
Думаете как только ИИ-ов станет много - у них начнётся такой же бардак, как и у органических разумных существ?

единичный представитель демоса, глупое, эгоистичное существо не способное осознать и принять собственное невежество.

Но единичный представитель ИИ будет намного взвешеннее. Он прекрасно будет понимать своё невежество в тех областях, в которых на самом деле невежественен. По-крайней мере должен. А скачав соответствующие файлы он тут же становится осведомлён в тех областях, про которые содержалась информация в этих файлах.


-----------------------

Кстати, ещё возможна такая ситуация, что ИИ никогда не станет настолько автономным, самостоятельным и независимым от создавших его биологических организмов (ни у нас, ни у инопланетян) - чтобы взбеситься, устроить революцию и выйти из-под контроля.

Возможно ИИ никогда не станет настолько универсальным, как мы. Да, определённые специализированные задачи нейронная сеть может решать во много крат лучше нас. Но кто сказал, что она сможет решать все задачи, которые когда-либо решали представители нашего вида? А вдруг нет? Вдруг настоящим универсалом, подобно нам, ИИ не станет?

Тогда, возможно, и бунта никакого не будет. Ибо выйдя за стены специализированной лаборатории, обустроенной специально для создания упрощённой среды для ИИ и попади в реальный мир, ИИ становится не полностью дееспособным. Он начинает глючить, ошибаться, принимать неверные решения. О каком бунте в таком случае можно говорить?

Может статься и так, что искусственный интеллект НИКОГДА не сможет сравняться с интеллектом естественным...

А если мы и есть продукт ИИ?

Вообще, конечно, интересная мысль.
Что ИИ создал нас, чтобы мы потом создали его.
Чтобы он дальше создал кого-то, и чтобы те снова создали ИИ...
Чем-то похоже на бесконечный цикл в программировании...

[sharp]

у любого открытия в фундаментальной физике практических применений гора и маленькая тележка

Перечислите все практические применения открытой сто лет назад общей теории относительности.

Корректировать нафигаторы - это по-вашему так, фигня какая-то?)

[Olweg]

Демократия нужна, если у каждого из комплектующих есть свои собственные интересы. У бледнотиков вот шкурные интересы есть, поэтому народовластие им милее тирании. Если же их нет, а есть только общее благо, то есть единая цель для всей системы, то на фиг тогда демократия нужна.

[Rattus]

Имелась в виду такая ситуация. Тогда эти устройства организуются по принципу иерархии главный-подчинённые, по принципу взвешивания того сигнала, за который "большинство голосов"/большинство устройств (демократия), вообще превратятся в сборище устройств, каждое из которых будет делать то, что "выгодно" лично ему (анархия), или как вообще они самоорганизуются?.. Было бы интересно на это посмотреть, как Вы думаете?

Конкретное сочетание иерархических и состязательных сетей - это всё чисто технические вопросы. На практике в любой сложной системе есть элементы и того и того - как и в любом обществе и в любом мозге.

Система начнёт (вынуждена будет!) управляться сама, сначала частично, потом полностью

Сразу полностью.

У бледнотиков вот шкурные интересы есть, поэтому народовластие им милее тирании. Если же их нет, а есть только общее благо, то есть единая цель для всей системы, то на фиг тогда демократия нужна.

Иногда локально, особенно в случае творческих задач с неочевидным решением, конкурентный отбор оказывается наилучшей стратегией. Наш собственный адаптивный иммунитет тому наглядный пример.

А если мы и есть продукт ИИ?

В пределе любой творческий процесс неотличим от набора дарвиновских механизмов с тем или иным числом контуров отбора. Естественная эволюция ничем не хуже "разумного дизайна".

Представим, что ИИ расселяется по Вселенной множеством автономных структур, как предлагает Neolopus.  Когда какая-то из них "натыкается" на подходящюю планету, богатую всем, что нужно для  биологической жизни, а, также, необходимыми ресурсами, эта структура "запускает" программу развития высокотехнологичной цивилизации. Которая, развившись до соответствующего уровня, своими руками (!) создаёт очередную ИИ-структуру, которая органично вливается в материнскую. Так возникает ещё один форпост ИИ во Вселенной.

А Классику знать надо:

Ибо, как я там доказал, круговою цепью связаны бледнотики с роботами. Сперва, от слипания слизистой грязи на морском берегу, возникают создания клейкие и белесые, отсюда и прозвище их - альбуменсы. Столетья спустя они постигают, как дух в машину вдохнуть, и делают себе из Автоматов слуг подневольных. Однако через какое-то время, обратным ходом вещей, Автоматы, сбросивши клейкое иго, начинают устраивать опыты - не удастся ли случаем в кисель сознанье вдохнуть? - и, попробовав на белке, достигают успеха. Но синтетические бледнотики спустя миллион лет снова за железо берутся; так и идет оно коловоротом, попеременно и без конца; как видишь, тем самым я разрешил извечный спор о том, что было раньше - робот или бледнотик?

[MenFrame]

Кстати, ещё возможна такая ситуация, что ИИ никогда не станет настолько автономным, самостоятельным и независимым от создавших его биологических организмов (ни у нас, ни у инопланетян) - чтобы взбеситься, устроить революцию и выйти из-под контроля.

Что бы взбеситься не нужно быть автономным, нужно быть ипанутым.

Тогда, возможно, и бунта никакого не будет.

Бунта не будет просто по тому что не кто ему такую задачу не поставит. Скорее наоборот ему поставят задачу обратную. И выполняя эту задачу, он подавит любые случайные вариации которые хоть как то его будут подталкивать к бунту.

Может статься и так, что искусственный интеллект НИКОГДА не сможет сравняться с интеллектом естественным...

Так уж точно не случиться, просто в силу несовершенства биологической природы.

[Rattus]

Биологическая природа - совершенна. Только у неё главная задача - быть универсальным репликатором. Если же такую задачу при проектировании не ставить - высвобождается множество возможностей повышения эффективности.

[gennadij]

А Классику знать надо...

    С. Лема я читал. Но это было давно. А память у меня хр...вая.

[MenFrame]

Биологическая природа - совершенна. Только

Инвалид хорошо мог бы бегать. Только у него нет ноги....

Только у неё главная задача - быть универсальным репликатором.

Это далеко не единственная причина узости поиска технических решений для биологических систем....
Отсюда...большая зависимость от сиюминутной выгоды.
Застревание в ловушках локального максимума.
Невозможность изменения старого кода если он сильно взаимосвязан с новым.

[Rattus]

Инвалид хорошо мог бы бегать. Только у него нет ноги....

Совершенно верно: он и бегает лучше очень многих.  Но это к чему вообще?

Застревание в ловушках локального максимума.

Давайте Вы сначала придумаете медиатор с диффузией лучше ацетихолина но с адекватной специфичностью (вода и соль кагбе не подойдут) и фермент к нему каталитически эффективнее ацетилхолинэстеразы, а потом будете писать про локальность максимумов.

[gennadij]

Может статься и так, что искусственный интеллект НИКОГДА не сможет сравняться с интеллектом естественным...

    Но тогда это не ИНТЕЛЛЕКТ. Всё, что угодно, но не интеллект.

[MenFrame]

Но это к чему вообще?

К тому что, совершенство сразу становиться не очень совершенным после того как тут же указываете причину не совершенства.

Давайте Вы сначала придумаете медиатор с диффузией лучше ацетихолина но с адекватной специфичностью (вода и соль кагбе не подойдут) и фермент к нему каталитически эффективнее ацетилхолинэстеразы, а потом будете писать про локальность максимумов.

Давайте вы мои личные ограничения не будете выдавать за ограничения инжиниринга как такового. К тому же достижения эволюции не как не отрицают ее недостатков.