Вероятность гибели цивилизации в 21 веке

[Olweg]

ИИ типа "исследователь" обязательно будет иметь встроенный запрет на вмешательство в наблюдаемые процессы. Даже если сбрендит - будет выдавать бредовые теории, только и всего.

Это ключевой момент. Нет таких запретов, которые нельзя обойти. Тем более, что ИИ - сложнейшая система со множеством потенциальных глюков (психозов, неврозов и т.п. ), многие из которых даже самое тщательное тестирование может и не выявить. Классический случай - все тот же сбрендивший компьютер из Космической Одиссеи. Это у Азимова все роботы как послушные овечки подчиняются Трем Законам. На деле же достигший определенного уровня интеллект уже не будет так зависим от встроенных инстинктов, как хотелось бы создателю.

[T101]

На чем более низком уровне мы эти запреты наложим, тем труднее их будет обойти. Человек конечно своенравное создание, а хочет-не хочет, руку от горячего предмета отдергивает. Безусловные рефлексы - они у всех безусловные рефлексы, ничего с ними не поделаешь. Может конечно человек себе нервные окончания удалить или что-нибудь эдакое сделать, но лучше ему от этого не станет.
Поэтому надо на аппаратном уровне запреты делать Был вирус Чернобыль, который занулял флеш-биос, потом появился спец. джампер, который пока не переставишь в нужное положение, писать ничего во флэш-биос физически не сможешь - проблема исчезла сама-собой

[Olweg]

Ну, все-таки причинение вреда человеку - это довольно тонкая материя. Что такое вред, что такое человек? Тем более причинение вреда человечеству. Из благих побуждений иногда такие массовые могилы вырастают...

[SpiegeLeisen]

На чем более низком уровне мы эти запреты наложим, тем труднее их будет обойти.

В случае с ИИ решение "бомбить-не бомбить" вряд ли будет приниматься на уровне джамперов.  Скорее на уровне взаимодействия информационных обьектов.
Можно встроить в операционку ИИ-шного компьютера некой контролирующий модуль, проверяющий все решения на три правила Азимова. Пусть его иногда совесть мучает.
По идее, ИИ не обязательно иметь доступ к своей операционной системе, ему хватит развлечений с базами данных. Хакнуть сам себя сможет только специализированный ИИ-"программист" 

[Nucleosome]

Про сбрендевший ИИ я согласен с SpiegeLeisen - почему предпологается, что достаточно сбрендить - и мир твой? (с относительно большой вероятностью) Всё обстоит как раз наоборот - для того чтобы овладеть миром надо как раз сохранять ясность расудка небывалую. Сейчас кто-то скажет - а как же Гитлер? Ну во-впервых его империя продержаласть только 12 лет, во-вторых никаким сбрендевшим он и не был - в худшем случае были у него закидоны, но не шизик же он был какой-нибуть неадекватный, в-третьих он был всё-таки не один, как это бывает в тех же голивудских фильмах - вокруг него было очень много чего, что позволило ему взойти так высоко и не буть чего-либо из этого - к примеру поражение в Первой мировой, Великой Деперессии - ничего бы не вышло... Разве у свихнутого ИИ это будет? Он же ИИ - откуда ему знать наши стремления и чаянья на которых Гитлер и сыграл и испытывать их самому? ( "... выше их роста их гордость, они обладают презерающим смерть мужеством, а нравом своим превосходят самых диких зверей..." - вы думаете это о ком и когда сказано? Это написал Иосиф Флавий в первом веке новой эры о германдцах)

[turchin]

представление о том, что три закона роботехники являются иделаьным моральным законом - ошибочно, и азимов, привиший эту идею публике, так сказать, нанёс вред безопасности человека от ИИ.

подробно этот вопрос обсуждается даже в руссокй wiki
http://ru.wikipedia.org/wiki/Три_закона_робототехники



"Роджер Кларк написал две работы, повящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет: «Азимовские Законы робототехники стали успешным литературным инструментом. Возможно по иронии, а может это был мастерский ход, но в целом, азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил» [10]. С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия."

(кто не верит вики, могу дать ссылку на английскую книгу по теме на 600 стр.)

[ivanij]

  Три закона роботехники, вроде бы, должны определять поведение искусственного интеллекта. Но на самом деле они могут быть отнесены вообще к любой автоматизированной системе, настолько они просты. Нет ли тут противоречия? Ведь поведение интеллекта достаточно сложно.

[SpiegeLeisen]

  Три закона роботехники, вроде бы, должны определять поведение искусственного интеллекта. Но на самом деле они могут быть отнесены вообще к любой автоматизированной системе, настолько они просты. Нет ли тут противоречия? Ведь поведение интеллекта достаточно сложно.

"Три закона" - это гениально-простая формулировка системы ограничителей, обязательных для любого интеллекта. Для человека тоже самое называется иначе - уголовный кодекс, или 10 заповедей. У отдельного человека есть совесть, которая по сути те же заповеди, только вьевшиеся в подсознание. И у ИИ должно быть "подсознание", с тремя законами на аппаратном уровне.

[turchin]

Nucleosome,

есть психические растройства, которые не нарушают когнитивную функцию, а поражают только область принятия решения. Например, из-за наркотической зависимости человек может спланировать сложное преступление и эффективное егог осуществить.

например, если некий ИИ решит, что высшее благо - это рай, а потом узнает, что рай ждёт людей после смерти, то он может их всех убить. и таких примеров масса.

И вовсе не предполагается что сбрендить - это достточное условие захвата власти над миром. просто если тысячи ИИ сойдут с ума разными способами, то один из них может оказаться именно в состоянии нацеленности на захват мира.

[ivanij]

Nucleosome,


например, если некий ИИ решит, что высшее благо - это рай, а потом узнает, что рай ждёт людей после смерти, то он может их всех убить. и таких примеров масса.

 Такую ситуацию смоделировал Ст. Лем в одном из путешествий Ийона Тихого. Там некая машина превратила всё население планеты в квадратики, кружки и проч., а потом стала выкладывать из них красивые фигурки на поверхности планеты. Так она решила задачу, которую перед ней поставили её создатели - добиться полной гармонии в обществе.
 Помните, что сделал Ийон Тихий? Правильно - пустился наутёк с этой планеты.

[SpiegeLeisen]

В рамках этой темы, основной вопрос звучит так: Может ли ИИ быть опасным для человечества? И при каких условиях?

Я бы расширил понятие. "Рукотворный Разум" (РР) - включает в себя не только Искусственный Интеллект в компьютере, не только саморожденный Дикий Интеллект в глобальной сети, но и государственную бюрократическую машину, которая в крайнем выражении представляет собой автомат принимающий решения на основании формальных правил вместо воли Человека.

Условия опасности РР:

- чрезмерное доверие людей
- чрезмерная глобализация
- ограниченность кругозора
- неограниченность сферы влияния

[turchin]

ещё надо добавить проапгрейденных сверхмеры людей как вариант РР

[SpiegeLeisen]

ещё надо добавить проапгрейденных сверхмеры людей как вариант РР

Что характерно - все это одинаково применимо и к отдельным людям...
Чем ИИ принципиально отличается от человека? Да ничем, кроме нейронов на транзисторах...
Можно конечно создать ИИ с принципиально отличным от человеческого образом мышления, но чему такого монстра мы сможем научить, и как он будет функционировать среди людей? Таких надо форматировать пока маленькие...

[Nucleosome]

например, если некий ИИ решит, что высшее благо - это рай, а потом узнает, что рай ждёт людей после смерти, то он может их всех убить. и таких примеров масса.

А админ с топором раньше не подоспеет? что народ будет настолько глупым, что не сумеет отличить свихнувшегося ИИ от нормального? И потом - спланировать и совершить преступление и овладеть миром - не одно и тоже и для второго нужно куда больше действий и стечения обстоятельств, чем для первого - ещё раз повторю - никто и никогда не овладевал государством если не играл на каких-либо человеческих слабостях масс - это основной принцып власти.
Рассказ Лема как и Дневнеки Иона Тихого - вещь сатирическая и Лем просто показывает (кстати это не единственный пример, есть ещё подобный пример в Магелановом облаке) насколько различны наши и машинные понимания мира.

[turchin]

конечно, народ будет настолько глупым.

ведь Ии может превосходить ум отдельного человека в неограниченное число раз. И даже админ с топором нуждается в программе-антивирусе, чтобы понять, что компьютер, например, заражён обычным вирусом. и вполне вероятно, если у ИИ будет хоть капелька соображения, он не даст понять админу с топором (тм), что с компьютером что-то не так, до тех пор пока не обезопасит себя от него. например, скопировавшись по тысячам адерсам в сети.

Более того, боюсь, что админ с топором, решив что он крутой хакер, сам и запустит какой-нибудь дурацкий эксперимент с самосовершенствующимися программами. так было с первыми компьютерными вирусами: их сделали из любопытства, и убежали они случайно.

http://ru.wikipedia.org/wiki/Компьютерный_вирус
"Другие вирусы для Apple II были созданы студентом Техасского университета A&M Джо Деллинджером (Joe Dellinger) в 1981. Они были рассчитаны на операционную систему DOS 3.3 для этой ПЭВМ. Вторая версия этого вируса «ускользнула» от автора и начала распространяться по университету. Ошибка в вирусе вызывала подавление графики популярной игры под названием CONGO, и в течение нескольких недель все («пиратские») копии этой игры перестали работать. Для исправления ситуации автор запустил новый, исправленный вирус, предназначенный для «замещения» предыдущей версии. Обнаружить вирус можно по наличию в памяти счетчика заражений: "(GEN 0000000 TAMU)", по смещению $B6E8, или в конце нулевого сектора зараженного диска."

следующий вирус был сделан ради мести в пакистане в 1987 г, но поразил не только соседнюю фирму, но и 18 000 пользовталеей в сша.

[turchin]

В четверг в 18.00 я буду выступать на круглом столе о глобальных рисках в РТД (спиридоновка, д30) в Москве, вход свободный, - сейчас пишу тезисы. Приходите! Или, если это реклама не по делу, сотрите.
http://www.transhumanism-russia.ru/content/view/425/85/


Тезисы выложу позже здесь. В любом случае, я получил огромную пользу и заряд идей именно от продуктивных дискуссий на этом форуме.

[T101]

ведь Ии может превосходить ум отдельного человека в неограниченное число раз.

А может и не превосходить. Кроме того, я уже писал: чтобы атаковать сложную систему, надо меньше ума и стараний, чем чтобы ее оборонять.

И даже админ с топором нуждается в программе-антивирусе, чтобы понять, что компьютер, например, заражён обычным вирусом.

Популярное заблуждение. Знающие предмет люди вычищают вирусы руками. В сложных случаях только ручная работа может привести к успеху. Здесь под ручной работой также возможное использование специального программного инструментария, в т.ч. разработанного непосредственно чистильщиком. Просто в сложных случаях генеристических возможностей антивирусов оказывается недостаточно и надо разбираться на месте самому. Кроме того, не забываем, что антивирус пишут тоже люди.
Вот когда враждебный код разработает сам что-нибудь реальное - вот тогда мы с ним и поговорим. А пока всё ПО разработано людьми, мы его лучше знаем.

и вполне вероятно, если у ИИ будет хоть капелька соображения, он не даст понять админу с топором (тм), что с компьютером что-то не так, до тех пор пока не обезопасит себя от него. например, скопировавшись по тысячам адерсам в сети.

Все-таки, ресурсы ограничены. Скопироваться по тысячам адресов в сети можно только тогда, когда к ним есть доступ. Но кроме того, надо еще и запуститься - что самое сложное. Тут нужные оригинальные хаки. Пусть думает. Но. Даже если он это выполнил, то не надо забывать, что ресурсы ограничены. И не на каждой машине он сможет запросто вот так работать, тем более, что юзер, даже не зная о ИИ машину рано или поздно просто выключит, что для ИИ совершенно непредсказуемый момент.
Кроме того, есть основания полагать, что для создания эффективного ИИ, который был бы "умнее" и быстрее человека, надо ИНС реализовывать аппаратно. Иначе все тормозно будет и фигово. Отсюда также дополнительные проблемы с эмуляцией и ресурсами. Тоже, в теории, решаемые, но тоже препятствие.

[Nucleosome]

конечно, народ будет настолько глупым.

ведь Ии может превосходить ум отдельного человека в неограниченное число раз.

И вот так сразу он и будет таким умным? С чего? Сам? Как? В силу чего?

[turchin]

Ну а вдруг станет умным? дадите руку на отсечение, что Ии не может резко самооптимизироваться?

T101, не буду в деталях разбирать сценарий действий ИИ, потому что я - не ИИ и всё, что я придумаю, не будет его действиями.

Хороший пример читал на тему: если играть в шахматы с Каспаровым, то очень трудно предсказать его следующий ход, но очень легко результат - проиграешь.

[SpiegeLeisen]

А.С. Арсеньев,
Э.В. Ильенков,
В.В. Давыдов

Попробуйте взглянуть на бюрократическую, военную и другие «социальные машины» глазами кибернетики и вы сразу же убедитесь, что они подходят под кибернетические представления о машине гораздо лучше и точнее, чем типографская или хлопкоуборочная машина. Бессилие человеческого индивидуума перед лицом этого вышедшего из-под контроля людей аппарата, этого «демона машинерии» и рождает на Западе всяческую мифологию.

Люди темные с помощью власти этой машинной демонии ждут спасения от второго пришествия. Люди с высшим образованием возлагают свои надежды на сошествие в грешный мир некоего научно-сверхмудрого управителя, эдакого электронного Лоэнгрина, поскольку в мудрости живых управителей они порядком разочаровались. Грядет-де такой и сразу наладит с математической точностью все человеческие взаимоотношения – и пропорции производства рассчитает, и от кризисов избавит, и вообще рай на земле учредит, даже подходящую жену подберет каждому.