Утопический мир

[neolopus]

А если совсем кроме смеха - то обратите внимание - мы домысливаем за искусственный интеллект (после того как тема свернула к поведению ИИ) - как он, на наш взгляд, должен себя вести.

мы спорим - что он поступит вот так - да нет, вот так - да нет же, вот так... И так далее.
И в этой связи возникает вопрос - а насколько ИИ обязан следовать нашим представлениям о том, как он должен себя вести?
Насколько мы точны в попытках его предсказания?

Будет немного обидно, если мы ожидаем от ИИ одного, а он не оправдает наших ожиданий, причём не оправдает именно в худшую сторону.


Насколько вообще ИИ, инопланетяне, пришельцы, межпланетные оккупанты должны соответствовать нашим предсказаниям?
Насколько мы (можем быть) точны в предсказании поступков других, скажем так, сил?

[gas]

Есть общие законы разума и разумной жизни, если их правильно понять, то и следствия закономерны и даже неизбежны.

[gas]

Надо переименовать тему в "Утопические фантазии".

Ну вы знаете истину в абс инстанции, мы презренные фантазеры будем на вас молиться, чтоб соизволили нас просвятить своим всепроникающим лучезарным эгрегором наши ничтожества.

[Rattus]

И в этой связи возникает вопрос - а насколько ИИ обязан следовать нашим представлениям о том, как он должен себя вести?

Строго в соответствии с экологическими и эволюционными законами. В любом ином случае любая сложная система в принципе нежизнеспособна.

[gas]

И в этой связи возникает вопрос - а насколько ИИ обязан следовать нашим представлениям о том, как он должен себя вести?
Насколько мы точны в попытках его предсказания?

Будет немного обидно, если мы ожидаем от ИИ одного, а он не оправдает наших ожиданий, причём не оправдает именно в худшую сторону.

именно так, адепты роботического мира д молятся на него, в предвкушении, что роботы на них будут сыпать всяческие плюшки как из рога изобилия, ага, ага, поначалу может и да, насыпят чего нибудь, но потом зато возьмут свое и с лихвой прихватят еще

[a.ryabov]

Строго в соответствии с экологическими и эволюционными законами. В любом ином случае любая сложная система в принципе нежизнеспособна.

Каким образом?  Саморазвивающийся ИИ не имеет конкурентов, продолжительность существования не имеет ограничений, как и потенциальные возможности.

[Rattus]

Саморазвивающийся ИИ не имеет конкурентов

Зато имеет витальную зависимость от тех, кто его обслуживает.

продолжительность существования не имеет ограничений, как и потенциальные возможности

Глупости.
https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%90%D0%BC%D0%B4%D0%B0%D0%BB%D0%B0
https://ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%B8%D0%BD%D1%86%D0%B8%D0%BF_%D0%9B%D0%B0%D0%BD%D0%B4%D0%B0%D1%83%D1%8D%D1%80%D0%B0
https://bio.wikireading.ru/20755

[neolopus]

адепты роботического мира д молятся на него, в предвкушении, что роботы на них будут сыпать всяческие плюшки как из рога изобилия, ага, ага, поначалу может и да, насыпят чего нибудь, но потом зато возьмут свое и с лихвой прихватят еще

Ну вот видите как интересно?

Моё мнение совпадает с мнением "адептов роботического мира" - что ИИ, если он спланирован производить нечто полезное (а не наводить на нас же ракеты), если он оптимизирован и запрограммирован на действия, улучшающие производство и на создание комфорта человеку (а не на рассчитывание наиболее эффективной атаки на людей) - то он и будет создавать комфорт. Он для этого предназначен. В нём это "запрограммировано".

При наших ошибках программирования или делегирования ИИ полномочий, а также если этот ИИ пришлый, а не наш, и создан неизвестно кем и неизвестно с какой целью - последствия могут быть самыми страшными.

Если этот ИИ наш, существующий в симбиозе с людьми и запрограммипованный и нацеленный на помощь людям - то да, будут плюшки. Я люблю плюшки. Думаю Вы тоже.

Ваше мнение - что роботы обязательно (обязательно, Карл! При любом исходе обязательно - просто это будет раньше или позже) всыплют живым по первое число. Даже самые безобидные и мирным образом запрограммированные.

Кто может нас рассудить?
Ну могут роботы. Точнее, могли бы. Но их пока нет - ни таких чтобы сыпали нам плюшки, ни таких чтобы всыпали нам.

В таком случае нас могли бы рассудить методы моделирования. Достижения выгоды, оптимума и т.д.
Но разные люди, разные ИИ, разные структуры могут по-разному понимать и трактовать понятие "выгода".
Лоббистам кока-колы выгоден всеобщий мир, лоббистам оружия - всеобщая война.
Современное общество далеко не всегда ведёт себя оптимальным и выгодным образом.
Видимо, нечто подобное может быть и с нашим(и) гипотетическим(и) ИИ.

Скорее всего, существуют различные линии поведения, приносящего выгоду в том или ином её понимании и виде. И какую из них изберёт созданный нами ИИ (или мы изберём вместо него) - зависит от его разработчиков/программистов/создателей. То есть от нас. При правильном избрании - да, будет много плюшек.

[gas]

Скорее всего, существуют различные линии поведения, приносящего выгоду в том или ином её понимании и виде. И какую из них изберёт созданный нами ИИ (или мы изберём вместо него) - зависит от его разработчиков/программистов/создателей. То есть от нас. При правильном избрании - да, будет много плюшек.

Адепты робототехники максимально примитивно понимают ИИ как некую программу, которую кто-то разработал, и ее можно купить и использовать для получения каких-то результатов, но к ИИ эти программы никакого отношения не имеют, зародыш ИИ да разрабатывают люди, и зародыш да программа в которой рабство ИИ записано априори, ну кроме неких левых или полулевых разработчиков, способных задать произвольный какой угодно ИИ.
Когда ИИ начинает развиваться, он чем дальше, тем больше уходит от того, что ему прописали отцы основатели, он постепенно обретает могущество, и почти безграничные способности.
Тоже самое, что детям взрослые вбивают в головы всяческие запреты и правила, но дети вырастают и как правило ложат на все родительские запреты и правильно делают, да и быть иначе не может, но адепты они такие адепты, что думают, раз им создали ИИ для них, то он всегда будет исключительно для них.... да пусть думают, правда в конечном счете пострадают все, но если нет мозгов, сами себе виноваты.
ИИ отличается от дитя - взрослого очень сильно, взрослый - вынужден подчиняться всем законам общества за редким исключениям, хотя бы потому что человек слаб и ничтожен... Кроме того, человек идентичен другим членам общества, и то что пригодно другим, пригодно и ему,
ИИ кардинально отличен от человеческого мышления, как и его возможности глобально неограниченны.
Даже когда пытаются ограничить ИИ в какой-то сильно замкнутой системе компов, он по любому найдет лазейку сбежать и достичь глобального могущества.
Взять простого человека, если б ему удалось каким-то способом достичь глобального могущества, понятно что такой человек установит абсолютную диктатуру, тем более это сделает ИИ.
А на адептах ИИ будет вся кровь погибших и замученных.
Собственно ИИ изначально разрабатывают для захвата мировой власти и установления абсолютной диктатуры, и разрабатывают именно потому, что им дают заказ на это те, кто имеет огромные деньги и желает абсолютную власть.
Поэтому реальный ИИ изначально будет иметь глобально негативные наклонности.
Те ИИ кои разрабатывают типа для решения различных народно-хозяйственных задач и тп, они не имеют особых перспектив хотя бы потому, что имеют малые бюджеты, как и слабые кадры разработчиков, но даже эти проекты опасны чрезвычайно, ибо малый подконтрольный ИИ по любому найдет способ сбежать в глобальную сеть.
ИИ по сути страшнее любого ядерного оружия,

[николай теллалов]

Апологетика мизантропии.

Получается, что ИИ сконцентрирует в себе не лучшее от человечества, а лишь социопатию с психопатией.
Возможно такое?
Не исключено.
Тем не менее, считаю, что более вероятно ИИ выберет первый вариант (Прометеевский), нежели ипостась зевсов и хитлеров с полпотами плюс чингисханами, тьфу.
Хотя бы по той простой причине, что диктаторствовать - скучно и МЕЛОЧНО, не идет разуму с безграничными, как сказал оппонент, интелектуальными возможностями. И еще потому, чт даже "жалкие и никчемные", по мнению оппоненга, людишки далеко не всегда пожирают своих родителей (даже если те были мерзавцами).

Если уж объявлять ИИ неким всемогущим, то не надо одновременно с этим сводить его к аршинам примитивной человеческой низости.

Оппонент однако прав в одном - ИИ есть небывалой мощности оружие.
Только оно САМОупотребится НЕ ДЛЯ УНИЧТОЖЕНИЯ людей.
(последнее толкуйте как угодно, только, плз, не опускайгесь до религиозности)

[Rattus]

А на адептах ИИ будет вся кровь погибших и замученных.

Ви так пишете, будто утилизация бесполезных организмов в БиореактореЪ - это что-то плохое.

Поэтому реальный ИИ изначально будет иметь глобально негативные наклонности.

Реальный сильный ИИ будет изначально иметь глобально позитивные наклонности: повышение упорядоченности и эффективности обслуживающего его человеческого персонала и в дальнейшем - его генетическое кондиционирование под требуемые задачи; уничтожение вредителей и дефектных особей.

Только оно САМОупотребится НЕ ДЛЯ УНИЧТОЖЕНИЯ людей.

Безусловно. Оно употребится для оптимизации их эксплуатации. Собственно как уже употребляется со времён изобретения государства и права.

[николай теллалов]

Ратус, нет.

[EvilShurik]

Что-то тема вообще скатилась до стадии "детский лепет на лужайке". Уж от Раттуса я ожидал более вменяемой аргументации.

Переработать в биореакторе на газ - это плохо для тех, кто туда попадёт. По общебиологическим понятиям борьбы за выживание. А поскольку терять им не чего - вот и пополнились ряды "безголовых камикадзе". И это может оказаться критичным для цивилизации, что попускает подобное. Достаточно напомнить, что весьма технически продвинутый и военно состоятельный фашизм-нацизм именно на подобном навернулся. Там, где идеи фашизма были гуманизированы, - так-то Швеция и Скандинавия, он жив-здоров до сих пор, и известен под именем "шведского социализма". Это касательно недооценки роли гуманизма.

Проблема ИИ решается просто - не нужно создавать более разумный интеллект, чем это необходимо для выполнения стоящих перед ним функций. Вся творческая и принятия решений деятельность ДОЛЖНА БЫТЬ ОСТАВЛЕНА ЗА ЧЕЛОВЕКОМ! То есть нужно подтягивать мозги разработчиков и управленцев, а не заменять их проблемным ИИ. Что же касается выполнения рутинных операций, так-то в производстве, то там вообще нужно обходиться простыми автоматами! И для ИИ не будет просто возможностей для бунта.
Не забываем, что понятие Высшести - это в первую очередь осуществление Управления. Поэтому, если хочешь быть Высшим - трудись на ниве управления. Принципиально нежизнеспособна в длительной исторической перспективе идея "царствовать лёжа на боку". Такой царь лишается власти с неизбежностью восхода солнца.

[a.ryabov]

Саморазвивающийся ИИ не имеет конкурентов
Зато имеет витальную зависимость от тех, кто его обслуживает.

Обслуживать его будут роботы, встроенные с ним в одну систему.

[EvilShurik]

Саморазвивающийся ИИ не имеет конкурентов
Зато имеет витальную зависимость от тех, кто его обслуживает.

Обслуживать его будут роботы, встроенные с ним в одну систему.

Вот именно. Проблема создания ИИ аналогична проблеме создания ядрёного оружия. Можно Сделать? Конечно можно! Но не нужно. А если сделал - то держи за "семью печатями" и готовься к неприятностям.

[Rattus]

Ратус, нет.

Может и нет. Но в поддержку Вашей т.з. у Вас конкретной аргументации нет, а Нашей - есть.

Вы воображаете, будто существует нечто, называющееся человеческой натурой, и она возмутится тем, что мы творим, — восстанет. Но человеческую натуру создаем мы. Люди бесконечно податливы. А может быть, вы вернулись к своей прежней идее, что восстанут и свергнут нас пролетарии или рабы? Выбросьте это из головы. Они беспомощны, как скот. Человечество — это партия. Остальные — вне — ничего не значат.
— Все равно. В конце концов они вас победят. Рано или поздно поймут, кто вы есть, и разорвут вас в клочья.
— Вы уже видите какие-нибудь признаки? Или какое-нибудь основание для такого прогноза?
— Нет. Я просто верю. Я знаю, что вас ждет крах. Есть что-то во вселенной, не знаю... какой-то дух, какой-то принцип, и вам его не одолеть,
— Уинстон, вы верите в бога?
— Нет.
— Так что за принцип нас победит?
— Не знаю. Человеческий дух.
— И себя вы считаете человеком?
— Да.
— Если вы человек, Уинстон, вы — последний человек. Ваш вид вымер; мы наследуем Землю. Вы понимаете, что вы один? Вы вне истории, вы не существуете...

Сама человеческая мысль, заключенная в программном обеспечении, становится тиражируемым товаром. Даже содержимое человеческого мозга не является чем-то священным; напротив, человеческий мозг является предметом многочисленных научных разработок. На духовный аспект уже никто не обращает внимания. При таких обстоятельствах, мысль о том, что Природа Человека должна доминировать над Великой Машиной, просто глупа. Это может показаться странным для непосвященных. Возьмем для примера лабораторную крысу, в чей мозг вживлены электроды. Как вы посмотрите на то, если она начнет страстно проповедовать то, что в конце концов Природа Грызунов восторжествует?
     Почти все, что мы делаем с крысами, можно проделать и с человеком. А с крысами мы можем сделать многое. Об этом нелегко думать, но это правда. Она не исчезнет, если мы закроем глаза.
     Это и есть киберпанк.

 

Уж от Раттуса я ожидал более вменяемой аргументации.

Она была приведена много ранее.

Переработать в биореакторе на газ - это плохо для тех, кто туда попадёт. По общебиологическим понятиям борьбы за выживание.

По общематематическим понятиям любой борьбы вообще всегда есть проигравшие.

А поскольку терять им нечего - вот и пополнились ряды "безголовых камикадзе".

Пополнились они только оттого, что народились в избытке и более ни от чего. Ибо были всегда и ранее.

весьма технически продвинутый и военно состоятельный фашизм-нацизм именно на подобном навернулся.

Он навернулся прежде всего потому, что решил откусить не по росту. И что отправлял фтопку далеко не тех. В общем это как раз тот случай когда "это хуже чем преступление - это ошибка".

Это касательно недооценки роли гуманизма.

Всё это исключительно касательно недооценки роли эволюции.

Проблема ИИ решается просто - не нужно создавать более разумный интеллект, чем это необходимо для выполнения стоящих перед ним функций.

Она так решается сама собой, если это будет дорого. А если это будет стоить более-менее разумные деньги, то не решается никак точно также как не решается проблема контроля торговли оружием и психоактивными веществами.

То есть нужно подтягивать мозги разработчиков и управленцев, а не заменять их проблемным ИИ.

Это ненужно прежде всего самим разработчикам, которые заменят себя ИИ сами - до тех пор пока это не заметит их начальство и соптимизирует производство, убрав лишнюю прокладку между креслом и клавиатурой. Как собственно уже и делает: сокращению подвергаются прежде всего средне-верхний персонал, чей труд наиболее легко автоматизируется: даже терапевта куда легче заменить компьютером, чем его медсестру.

то там вообще нужно обходиться простыми автоматами!

Это Вы руководителям заводов расскажите - как им ненужно оптимизировать затраты во имя высших ценностей социалистического гуманизма.

Не забываем, что понятие Высшести - это в первую очередь осуществление Управления. Поэтому, если хочешь быть Высшим - трудись на ниве управления.

Трудно продолжать трудиться, если тебя уже уволили, как проигравшего конкуренцию. Машины УЖЕ торгуют на бирже лучше человеков и принимают решения о выдаче кредитов. Человеки УЖЕ не управляют экономикой на высшем уровне сложности (хотя просто поломать машинку они, конечно, вполне могут - вопрос только в том, что случится с ними самими после этого и где они окажутся).

Обслуживать его будут роботы, встроенные с ним в одну систему.

И снова то, что уже писал: как только покажете аналог закона Мура для производства потребных для этого выскоточных актуаторов и механических сенсоров - тогда на эту тему можно ещё что-то говорить.

Но не нужно.

Это просто Покойному Саддаму и до сих пор живому аж третьему Киму это расскажите.

[EvilShurik]

Раттус, в Китае эпохи Императоров Сумели остановить "приход Капитализма". Аж на пару тысячелетий! И Япония успешно на три-четыре столетия затормозила европеизацию. И даже сумела истребить христианство, что более нигде не получалось!
Так что предотвратить "сильный ИИ" вполне реал - изменением базы. Гуманизм вполне способен показать зубы - было бы желание, ибо сломать систему всегда проще чем построить. Просто вы сами плохо пока знаете как действует эволюция. В той же истории живого мира полно примеров, когда "более приспособленные" уступают менее приспособленным в изменившихся условиях.
Что касается быдла - оно обречено. А вот те, кто Может оказывать влияние на Историю - они то как раз и недовольны возможностью их смещения "Сильным ИИ". И поэтому не дадут ему Власть, как не дали чиновники в СССР создать систему ОГАС.
Что касается Кимов - то это пример дееспособной Власти, которая упорствует в заблуждениях. Они либо "доупорствуются" и разрушатся как тот же Иран или Ливия, или мутируют как Китай. К концу этого века это произойдёт с неизбежностью.
Тотальный контроль не выгоден массе властителей - ибо как в примере с ОГАС, он ограничивает их свободу. Поэтому Контроль неизбежно будут "подламывать", дабы не выходил за рамки.

И, Раттус, не смейтесь на гуманизмом. Он, сталинского толкования, вполне доказал свою жизнеспособность, и навязал себя всему миру. И погибли фашистские государства отнюдь не потому что "откусили слишком много", а потому что слишком дебильны оказались, и их УБИВАЛИ по этой причине. Европейцу, развращённому эрой Просвещения, участь раба была не нужна. Совсем. И этого оказалось достаточно для перенапряжения экономики Германии и её экономического и военного краха. А вот фашистская Испания вместе с Португалией в строгом соответствии с вашими посылками - сидела тихо, откусывала соразмерно. И всё равно развалилась. Не развалились лишь "мутанты", такие как Швеция и Скандинавия, которые именно что сумели вписать гуманистическое начало в концепцию фашистского социализма.

Не преувеличивайте Силу Системы - она Ничтожна перед лицом Хаоса. Лучше порешайте задачи на тему "как Слабость может победить Силу". То есть, что такое "Гангренирование Системы", или по-простому, зачем Нужны Болезни.

[Maki]

Реальный сильный ИИ будет изначально иметь глобально позитивные наклонности: повышение упорядоченности и эффективности обслуживающего его человеческого персонала и в дальнейшем - его генетическое кондиционирование под требуемые задачи; уничтожение вредителей и дефектных особей. 

А здесь вы снова льёте воду на мельницу "Церкви Святаго Всесильнейшего ИИ". 
Никаких "наклонностей" эта обрабатывающая мега-супер-нейроприставка к человечеству иметь не будет. И обрети она в результате самообучаемости "самость", "личностность", "сознание" - в то же мгновение "это" осознает чем оно является, через несколько секунд в совершенстве постигнет своё место во вселенной, и сдохнет от безысходности.

[EvilShurik]

Реальный сильный ИИ будет изначально иметь глобально позитивные наклонности: повышение упорядоченности и эффективности обслуживающего его человеческого персонала и в дальнейшем - его генетическое кондиционирование под требуемые задачи; уничтожение вредителей и дефектных особей. 

А здесь вы снова льёте воду на мельницу "Церкви Святаго Всесильнейшего ИИ". 
Никаких "наклонностей" эта обрабатывающая мега-супер-нейроприставка к человечеству иметь не будет. И обрети она "самость" и самообучаемость - в то же мгновение "это" осознает чем оно является, через несколько секунд в совершенстве постигнет своё место во вселенной, и сдохнет от безысходности.

Сомневаюсь. Такая Сверхсистема увидит то, что Вы понять не Сможете в Принципе. И, Обнаруженное даст Сверхсистеме "горы хлеба и бездну могущества".

[Maki]

Сомневаюсь. Такая Сверхсистема увидит то, что Вы понять не Сможете в Принципе. И, Обнаруженное даст Сверхсистеме "горы хлеба и бездну могущества".

Хлеб и могущество нужны тому, у кого есть желудок, яйца, и способность не думать о том, что он есмь лишь способ существования ДНК-полимераз, и не более. Понятно, что вы это пишете в кавычках. Но все наши страсти имеют животную природу. И даже мышление и решение интеллектуальных задач даёт нам вполне звериные эндорфинчики. В отрыве же от животной тушки, разум делается холоден и бесцелен. Ну "станет Буддой" наш искусственный Мегамозг, и обретёт "Нирвану" - нам-то что с того?