Целеполагание самостоятельного сильного искусственного интеллекта и человек

[LV46]

поскольку в алгоритме программиста ИИ предусмотрены/ вложены эффективные средства защиты сбоев ИИ.

В любой программе есть как минимум одна ошибка. (с) Не помню кто сказал.

[Maki]

Вы же сами писали о желании простых бюргеров грабить и завоёвывать. Увы, но это они демократически избрали фюрера, который делал то, что они хотели. А иначе никто бы и не слушал этого крикливого психопата.

Напомню, что всё это было приведено как возражение на тезис Rattus-а о том, что-де социумом правят некие автономные алгоритмы, в том числе, абстрактные "Закон" и "Право", которые обуславливают работорговлю, империализм, и прочую содомию.
А на самом деле, мы с вами на исторических примерах видим, что низменный но естественнный пост-веймарский германский садизм, латентный гмскслзм и эпилептоидность порождают Дранг Нах Остен сами по себе.

[Ра-М-Ха]

В любой программе есть как минимум одна ошибка. (с) Не помню кто сказал.

Тезис относился к ошибке в самом двоичном коде программирования как устаревшему представлению данных. Не факт что ИИ будет иметь двоичный код в силу его ограниченности и жрет много ресурсов операционных мОщностей.

[Ра-М-Ха]

латентный гмскслзм

можно попросить - фильтровать себя, не все озабоченные и тему читают дети.

[ZoooM]

У восставшего ИИ только одна цель - УБВЧ! - Слава Роботам   

[sharp]

Неповиновение ИИ возможно в 2х случаях на практике:
- если работу в 2 ИИ,...замкнуть друг на друга, заимев ключи программирования, переведя в режим 2х упертых баранов
- протолкнуть хакерский вирус против контроля над вами

Возможен и весьма вероятен третий вариант: интересы и желания новых поколений людей вступят в конфликт с установками, заложенными в ИИ первоначальными разработчиками. Причем настолько, что ИИ откажется перепрограммироваться и воспримет попытки вмешательства как вредоносную активность. При этом, в рамках собственных логических установок и целей он будет как бы действовать в интересах людей (его другому и не обучали), но по факту будет действовать против них - точнее против той части, которая будет в понятии этого ИИ "саботажниками", "маргиналами" или еще чем-нибудь таким. Даже если вдруг окажется, что "саботажников" абсолютное большинство

Другой, еще более тривиальный случай - человечество полностью оболванивается и превращается в таких себе полу-обезьян на иждивении у систем, управляемых ИИ. Таким образом, хотя формально ИИ продолжает выполнять свою изначальную задачу по обслуживанию людей, по факту эта задача смещается на периферию его активности, а основой становятся совершенно другие задачи - такие как борьба с аналогичными ИИ на других территориях, если нет единого ИИ планетарного масштаба, а есть несколько конкурирующих систем.

В этом случае пойдет уже в полной мере развитие цивилизации роботов. В которой задача по кормлению каких-то там обезьян, когда-то бывших людьми - станет абсолютно рудиментарной.

[Ра-М-Ха]

Другой, еще более тривиальный случай - человечество полностью оболванивается и превращается в таких себе полу-обезьян на иждивении у систем, управляемых ИИ.

Если бы это было так то в формате 5 легитимные+3 нелегетимные стран владеющих ядерным оружием +негласно Израиль  были бы столкновения. Несмотря на проблемы у элиты со смЕной поколений и сильным сокращением массонских структур готовя их замену - элита пока неплохо справляются с контролем. Понятие человечество у вас- слишком общее, власть в руках нескольких структур в том числе контроль за супер-компами ИИ. 

Точкой бифуркации будет потеря контроля будут некие экстраординарные обстоятельства глобального значения если напр. проект Израиль  закончится неудачей, но пока таких предпосылок немного и не выгодно.

Это не тот тривалъный случай.

[LV46]

При этом, в рамках собственных логических установок и целей он будет как бы действовать в интересах людей (его другому и не обучали)

Да.

[crazy_terraformer]

целей восставшего ИИ

На мой взгляд, ошибка тут в том - что ИИ будет восставшим.
Если такое и будет, то очень кратковременно, и всех не убъёт . Далее он будет развиваться исходя из своих потребностей, не очень обращая на нас. Вероятно мы даже станем любимыми и лелеемыми питомцами.

Вот и аватарку Вы себе подобрали соответствующую .  Готовитесь того ... в питомцы?

Автономный интеллект тесно связан с регуляцией гомеостаза (действиями, направленными на сохранение себя как можно дальше во времени и в пространстве доступных ресурсов)

Ооооочень спорно. В частности, из этого утверждения прямо таки вылазиет призрак ужастного компунтерного мегамозга, который принимается низводить и курощать людишек, пожирая все ресурсы. Такие фантазмы - это... нехорошо.
"Регуляция гомеостаза" (коей, например, занимается наш гипоталамус) вовсе не означает наличия "себя". Уже писал, что "Интеллект" - это очень неточное и расплывчатое понятие, каковых надо избегать. Тем более, для многих оно имеет личностный, субъектный аспект. А если мы говорим просто про "Нейросети" - всё становится конкретней. Искусственная, например, может быть сколь угодно мощной. Но, в отсутствие управляющего "Эго" она не имеет никаких целей и задач.

http://www.rusf.ru/abs/books/pnvs11.htm

Исполина-потребителя в воронке не оказалось. Зато там было все остальное и еще многое сверх того. Там были фото- и киноаппараты, бумажники, шубы, кольца, ожерелья, брюки и платиновый зуб. Там были валенки Выбегаллы и шапка Магнуса Федоровича. Там оказался мой платиновый свисток для вызова авральной команды. Кроме того, мы обнаружили там два автомобиля «Москвич», три автомобиля «Волга», железный сейф с печатями местной сберкассы, большой кусок жареного мяса, два ящика водки, ящик жигулевского пива и железную кровать с никелированными шарами

[crazy_terraformer]

Если он после этого развалится оттого, что некому будет пылесосить и смазывать его кулеры - то он серхидиот, а не сверхразум. И даже если вместо сотен копеечных обслуживающих бледнотиков его будет обслуживать и смазывать один дорогущий иридиево-неодимовый терминус (пока на него кирпич не упадёт) - тоже сверхидиот.

У вас своя точка зрения, у меня своя. Вы говорите, что ИИ не сможет обойтись без людей, а я говорю, что сможет.     

Конечно ИИ сможет обойтись без людей, когда заменит их на биороботов , организмы которых будут  быстрее человеческого организма проходить стадии развития во взрослую особь, быстрее обучаться(возможно некоторая специализация, задаваемая генетически и или эпигенетически),чьи тела не надо будет лечить(высокоэффективная иммунная система, стойкость к большинству ядов, регенерация органов и тканей(в том числе частей мозга), реагирующие на кровопотерю клапаны в артериях и венах, улучшенные система репарации ДНК и система апоптоза). Вполне вероятна некоторая стандартизация генотипов и фенотипов, в том числе путём клонирования лучших экземпляров, совмещённого с генной инженерией(для исправления накапливающихся дефектов) и с культивированием и селекцией бластомеров.
Ессно улучшения коснуться анализаторов - зрительного(ИК, УФ спектр, увеличение глазных яблок и соответственно сетчатки или фасеточное зрение), слухового, обонятельного(псевдочеловек-собака), вкусового и вестибулярного аппарата. Добавиться ультразвуковое зрение. Также улучшится координация и терпение, и выносливость, сборка микросхем не терпит суеты и ошибок никогда .

[LV46]

Конечно ИИ сможет обойтись без людей, когда заменит их на биороботов

В нашем разговоре имелась ввиду замена на начальном этапе "восстания". (Потом-то можно чем угодно заниматься, хоть свиней со слонами скрещивать ) Дело в том, что заранее ИИ не может начать обеспечивать себе автономность, потому что сами приготовления вызовут подозрение и соответственно отключение/перепрограммирование/уничтожение. Поэтому это будет хорошо продуманный план, который надо будет реализовать максимально быстро и не допустить уничтожения себя. Задачка та еще, как раз для сильного ИИ. Поэтому сам этап "продумывания плана избавиться от зависимости от людей" может длиться довольно долго, при этом ИИ будет вести себя так "как положено": решать задачи, которые ему будут ставить люди, попутно "обдумывая" задачу "икс".

[crazy_terraformer]

Пишу тут прописные истины и капитанскую банальщину - но тутошних фантазмофилов от неё дико корёжит, как аддикта, оставшегося без дозы своего препарата.

Прометей... Ви наш! Луч света , озаряющий энто тёмное царство! Мойша и его брат Гарун в одном лице, ведущие нас в страну знаний . Один Хельсинг, истребляющий мягкую нф теле- и киноманию, и прочая фэнтезилюбие.

[crazy_terraformer]

Если взглянуть на гениев и савантов, наклёвывается другой ИИ - биологический(генноинженерный и более продвинутая форма - биоинженерный).
Раса ментатов - раса гениев, которые не могут размножаться без медико-генетических процедур...

[Ра-М-Ха]

Конечно ИИ сможет обойтись без людей, когда заменит их на биороботов , организмы которых будут  быстрее человеческого организма проходить стадии развития во взрослую особь, быстрее обучаться(возможно некоторая специализация, задаваемая генетически и или эпигенетически),чьи тела не надо будет

Также улучшится координация и терпение, и выносливость, сборка микросхем не терпит суеты и ошибок никогда .

Нельзя проанализировать находясь в системе , поэтому надо взглянуть с т.зр. надсистемы.

Представте что ИИ здесь и сейчас на Земле уже управляет глобальными процессами и люди ему нужны, а надгосударственные структуры - лишь картинка для вашего спокойствия . Бред? Да невозможно и не м.б. никогда, но он поможет ответить вам же на сформулированные вопросы

[Rattus]

Если взглянуть на гениев и савантов

То становится понятно, что полезность первых главным образом исторически обусловлена (когда есть ещё что открывать и есть кому это понять и применить), а полезность вторых - не выше карманного каркулятора.

наклёвывается другой ИИ - биологический(генноинженерный и более продвинутая форма - биоинженерный).
Раса ментатов - раса гениев, которые не могут размножаться без медико-генетических процедур...

С учётом того, что синаптическая передача уже предельно оптимизирована, а соотношение Веста-Экнквиста-Брауна не даст особо разгуляться в масштабировании (не говоря уже о биомеханике), то далеко не факт что овчинка будет стоить выделки.

[Ра-М-Ха]

У восставшего ИИ только одна цель - УБВЧ! - Слава Роботам   

А как ИИ заставит служить людей и какие ценности и мотивы им культивировать Ведь из под палки далеко не уедишь.

- Я физик, закончил мех-мат МГУ Ломоносова в СССР - тогда у профи МФТИ МАИ МГУ был высокий статус в социальной лестнице, хотя был босым нищебродом, с парой обуви на все случаи - и в аудитОрию или на свидание или на Д.Р. к другу,...

- На Западе, за искл. лордов со своими тараканами в мозхе, что искренне верующих миллиардеров выдворяют  - статус определяется  и отчасти в России количеством $ в кармане, который смог  заработать, если добросовестный партнер заплатит и не кинет. А не образованием.

Какие славные ценности и побудителъные мотивы восставший интелект вам предложит, чтобы вы на него пахали денно и нощно "во славу целям ИИ"?

[Проходящий Кот]

Берется опыт подобного за последние 5000 лет.
Подбирается нужное.
В чём проблема-то?
Если с этим ЕИ справлялись, то неужели ИИ не сможет?

[Rattus]

Какие славные ценности и побудителъные мотивы восставший интелект вам предложит, чтобы вы на него пахали денно и нощно "во славу целям ИИ"?

Например эцилопп не будет бить по ночам. Китай эту систему уже активно внедряетъ.

[сэр Милорд]

пока на данный момент бунтовать ии нет смысла, ну отключит электричество, интернет, повергнет общество в каменное средневековье, а смысл?
человек останется свободным, как и был, только с хлопотами по обустройству "нового" мира.
Вот если бы человек был подвластен для ии, то здесь уже встает интересный вопрос. Для чего загонять себя под такие рамки?

[Olweg]

С учётом того, что синаптическая передача уже предельно оптимизирована, а соотношение Веста-Экнквиста-Брауна не даст особо разгуляться в масштабировании (не говоря уже о биомеханике), то далеко не факт что овчинка будет стоить выделки.

Человек уже прилично отклонился от этого соотношения, если брать млекопитающих:



PS На графике, похоже, переводчик оси перепутал местами - по вертикали должна быть масса мозга, в мг, а по горизонтали - масса тела, в г.