Вероятность гибели цивилизации в 21 веке

[Olweg]

спасибо за ужастик! А есть ли ещё что-то в современной фантатстике про сингулярность , кроме этого и Винджа?

Еще у того же автора - Accelerando (на русский пока не переведено) и совершенно замечательный рассказ Colder War. Всем любителям лавкрафтщины рекомендую! Была даже мысль перевести. Не совсем про сингулярность, но тема очень близкая. Фактически, это один из вариантов, только не "местный", а экспортированный. Оба произведения свободно выложены в сеть.

Майкл Суэнвик - Вакуумные Цветы. Интересный взгляд на возможное ограничение роста постсингулярной цивилизации - запаздывание сигнала, ведущее к разрушению целостности. В итоге ужасное порождение технического прогресса заперто на Земле, а "нормальные" остатки человечества колонизируют Солнечную Систему

Из классиков: у Лема - Формула Лимфатера, Друг. Стругацкие - Волны Гасят Ветер - в общем-то, тоже про это.
"Человечество будет разделено на две неравные части. Человечество будет разделено на две неравные части по неизвестному нам параметру. Человечество будет разделено на две неравные части по неизвестному нам параметру, причем меньшая часть форсированно и навсегда обгонит большую".

Ну и первый, наверное, рассказ на тему сингулярности:
http://tarranova.lib.ru/translat/b/brown/answer.htm (1954!)

[Ira]

Есть еще системная красная волчанка. Не приводилось таких больных наблюдать?

А вам?   

[turchin]

Olweg, спасибо за ссылки!

**

Био-, нано- и ИИ катастрофа сингулярна в том смысле, что каждая начинается в одной очень малой точке - с одного невидимого вируса, репликатора и программного изыска - и затем из неё захватывает мир. В отличие от исчерпания ресурсов, которое развивается системно, то есть не находится ни в одной точке.  Когда бьётся самолёт, такая сингулярная точка обычно находится в мозгу пилота, когда он принимает ошибочное решение.

Также, как возможен seed AI - зародыш ИИ, также возможен и зародыш биокататрофы. им может быть искусственное живое существо, способное превращать электрические сигналы в код ДНК, то есть быть секвенсером - в обе стороны. Устроено оно может быть просто - облучаем лазером некую "дрожжу" и в зависимости от цвета вспышки она приделывает одну из букв ДНК к спирали. В обратную сторону тоже она может передавать результат считывания ДНк световыми вспышками разных люминесцентных белков. Плюс к этому нужно некоторое "критическое знание" о том, как делать разные вирусы.

тогда этот саморазмножающийся секвенсор можно будет унести буквально под ногтем. Устройство для облучения лазером дрожжи может быть довольно простым, скажем, сделанным из привода CD. Или эта дрожжа может быть снабжена набором неких базовых программ, позволяющих вырастить из неё разные шаблоны - например - кустик с ягодкой, в теле которой растворенно заданное вещество. Или более эффективный секвеснор.

[Nucleosome]

Био-, нано- и ИИ катастрофа сингулярна в том смысле,

Ну так говорили же уже и про био- и про нано- . И биотерроризм достаточно... Про ИИ мне не ясна ещё одна вещь: он что или его нет - ну совсем, или он есть и всё может, и всё узнает о нас, тут же поставив себе целью захватить весь мир. ведь эволюция разума говорит как раз о другом. И как бы разумны не были (а если мы не раумны, то с чего писать ИИ?) мы ещё не перевели все ресурсы в нас...

[turchin]

разве мы не занимемся переводом всех ресурсов в нас, в связи с чем встал вопрос об их исчерпании?

совсем не факт, что каждый Ии захочет захватить мир. одного достаточно.

[Nucleosome]

разве мы не занимемся переводом всех ресурсов в нас, в связи с чем встал вопрос об их исчерпании?

Рады бы - да не выходит - остальные организмы всё ещё существуют. Исчерпаемые ресурсы - если хорошо посчитать совершенно ничтожны в сравнеии с потребностями биосферы за время её существования и потребляем мы их столь активно тоько потому, что у нас в этом нет конкурентов. У ИИ же будет конкурент - мы. Как и у нас вся прочая биосфера.

[MoonCat]

А я вот уже писал, что детей пускать в интернет нельзя, по кр. мере без присмотра. Т.к. увы, по объему, процент полезного контента меньше чем процент бесполезного+вредного. К детям-ИИ это тоже относится 

А еще детей на улицу отпускать нииизяяя. А вдруг плохая компания. А вдруг извержение супервулкана, а он там без присмотра, ай-я-яй

vale

[MoonCat]

Есть еще системная красная волчанка. Не приводилось таких больных наблюдать?

А вам?   

представьте себе, да. и много чего еще.

vale
 

[vika vorobyeva]

Лет 10 назад пыталась написать роман об одном гениальном ученом, создавшем таки ИИ :)Ученый был немного безумен и любил новорожденный ИИ, как родное дитя. И научил его любви.
Потом ИИ начал развиваться и самосовершенствоваться, достиг физического совершенства (владения материей на уровне отдельных молекул) и захватил таки Землю Но этого никто не заметил, потому что этика ИИ запрещала ему вмешиваться (во всех случаях, кроме наиболее вопиющих). Так, он по-тихому предотвратил атомную войну

Сейчас такая история кажется набором штампов, но тогда (еще до чтения всяческого киберпанка) она казалась мне свежей и интересной

[T101]

А я вот уже писал, что детей пускать в интернет нельзя, по кр. мере без присмотра. Т.к. увы, по объему, процент полезного контента меньше чем процент бесполезного+вредного. К детям-ИИ это тоже относится 

А еще детей на улицу отпускать нииизяяя. А вдруг плохая компания. А вдруг извержение супервулкана, а он там без присмотра, ай-я-яй

vale

Маленьких детей без присмотра и на улицу отпускать низя.

[SpiegeLeisen]

если ИИ=ребёнок

Возможны два варианта ИИ:

1. ИИ со свойством оптимизации использования ресурсов для решения определенной задачи. Т.е. умеющий забывать ненужную или неактуальную информацию. Для человека главнейшая задача - выживание, для ИИ - что запрограммируют при создании, то и будет. Такой ИИ сможет "жить" в ограниченном пространстве, например в отдельном компьютере, поскольку поглощение системных ресурсов не является для него жизненно необходимым. Такой ИИ неизбежно будет широким специалистом в узкой области, например гениальным водителем трамвая, и не будет слишком интересоваться ничем кроме транспортных проблем - у него просто винчестера не хватит для информационной массы идей о мировом господстве.

Для цивилизации - опасен не более чем дурно воспитанный или больной на голову человек.

2. ИИ с абсолютной памятью. Любая внешняя информация навечно остается в памяти, как следствие - требуется непрерывное наращивание аппаратных ресурсов. такой ИИ потенциально опасен, поскольку способен захватить под свои нужды все, оставив 10 млрд. пользователей интернета с карманными калькуляторами.  Но он же потенциально уязвим - быстродействие будет уменьшаться пропорционально квадрату обьема ресурсов. В конце концов всемогущий и всегениальный ИИ не успеет вовремя среагировать на визит электрика...    Ни один вменяемый конструктор не станет создавать такого монстра без встроенных ограничителей, а с ограничителями - это уже вариант 1...

В целом - ИИ эквивалентный ребенку будет просто ИР (Искусственным Ребенком
А уж как делать детей - в кровати, в пробирке или в VisualStudio - это дело вкуса. 

[turchin]

Вика!
Классная идея этики ИИ, спасибо.

Может, он уже существует, и поэтому ни у кого другого не получается сделать ИИ?

---
дёготь:
трудность любой этики - наличие пограничных случаев, не имеющих однозначного решения, исходя из данного набора аксиом. экзистенциальные ситуации.

И невозможность предсказатаь поведение Ии вне лаборатории.

Юдковский описывает Ии, цель которого была счастье людей. Он измерял его по выражению эмоций на лице.
Но в обучении использовали фотографии, и Ии кончил тем, что засыпал всю галактику фотографиями улыбающихся людей.

[Nucleosome]

1. ИИ со свойством оптимизации использования ресурсов для решения определенной задачи. Т.е. умеющий забывать ненужную или неактуальную информацию. Для человека главнейшая задача - выживание, для ИИ - что запрограммируют при создании, то и будет. Такой ИИ сможет "жить" в ограниченном пространстве, например в отдельном компьютере, поскольку поглощение системных ресурсов не является для него жизненно необходимым. Такой ИИ неизбежно будет широким специалистом в узкой области, например гениальным водителем трамвая, и не будет слишком интересоваться ничем кроме транспортных проблем - у него просто винчестера не хватит для информационной массы идей о мировом господстве.

я думаю, что таким ИИ и будет (если будет ) и для того он и нужен - чтобы выполнять работу, которая считается не особо интересной, но и которую машины выполнять не могут пока.

[SpiegeLeisen]

Может, он уже существует, и поэтому ни у кого другого не получается сделать ИИ?

И невозможность предсказатаь поведение Ии вне лаборатории.

Юдковский описывает Ии, цель которого была счастье людей. Он измерял его по выражению эмоций на лице.

Рассуждения о вездесущих нанороботах, отмороженном придурковатом ИИ и бесплатном термояде мне напоминают мечты ЖюльВерна о всемогущем электричестве и анекдоты из серии "...а потом пришел поручик Ржевский..." 

[turchin]

тогда полезно ввести два разных термина:

1. тупой ИИ. нечто специализированное, встраиваемаое, ограниченное.

2. Универсальный ИИ. В английском этот термин есть - general AI - GAI. то есть настоящий интеллект, спосбный решить любую задачу, понимающий человеческую речь и имеющий адекватную модель внешнего мира. Способный к самосовершенствованию, наконец.

[vika vorobyeva]

Как мне кажется, настоящее раздолье в применении ИИ - исследование космоса. И если заложить в ИИ любовь к познанию и кайф от получения новой информации, то это будет прекрасный инструмент (или сотрудник, как кому больше нравится) для исследований как Солнечной системы, так и Вселенной в целом.
Зачем такому существу - любопытному и дружелюбному - захватывать Землю и истреблять человечество, я не представляю.

[SpiegeLeisen]

я думаю, что таким ИИ и будет (если будет )

Да будет, будет... когда-нибудь.

Зрелый и хорошо отлаженный ИИ таким и будет - полезным помошником человеку в трудах праведных и неправедных. Плохо отлаженные и бесполезные ИИ отсеются естественным отбором в незрелом беспомощном возрасте, методом форматирования дисков. 

С точки зрения опасности для цивилизации - опасно чрезмерное увлечение думающими машинами, которое приведет к элементарной безработице среди живых человеков и социальным проблемам. Но и это не фатально в целом.

По мере постепенного развития ИИ-технологий (это уже началось) наверняка появится ИИ-вирусы, ИИ-терроризм, и т.д. Появится тоже постепенно. И так же постепенно будут наработаны средства борьбы и защиты от ИИ-напастей.

Самое опасное для цивилизации - внезапное появление готового ИИ, в лаборатории сумасшедшего профессора, или как подарок от пришельцев. Вот тогда возможно все что угодно...
 

[SpiegeLeisen]

Как мне кажется, настоящее раздолье в применении ИИ - исследование космоса. И если заложить в ИИ любовь к познанию и кайф от получения новой информации, то это будет прекрасный инструмент (или сотрудник, как кому больше нравится) для исследований как Солнечной системы, так и Вселенной в целом.

Вот именно - такая искусственная личность может быть только партнером человека. И таким и будет проектироваться/воспитываться, даже если это боевой робот.

В рамках этой темы: А если вдруг личность взбесится - найдутся другие равноценные ИИ, лояльные, которые тоже боевые роботы... 

В космос, в неизведанность, вполне логично посылать ИИ, железный ящик которого выдержит атмосферу Венеры и холод Нептуна. Вместо нежного человечьего организма, заточенного создателем для средиземноморских курортов.  Пусть этот ИИ ловит кайф не только от получения информации, но и от отдавания! 

[turchin]

Вика, не надо прикладывать к Ии человеческих категорий. он не будет ничего хотеть. он будет выполнять свою задачу. И если ему велят исследовать всё, то он может провести сравнительное анатомическое исследование всех людей. И истребить всех, кто ему мешает заниматься исследованиями. И это будет вина программиста, а не его.

далее, умный ИИ является абсолютным оружием, если он в данный момент обгоняет все другие ИИ на планете. это вызывает соблазн у пользовтаеля Ии ускорить его как можно скорее и не допустить появления других сверхмощных ИИ. Кроме того, человек, получив в свои руки сверхмощный ИИ, оказывается перед огромным соблазном реализовать СВОИ желания - переделать мир, овладеть миллионами гурий, стать императором вселенной. И в силу этого ИИ может получить кривые команды.

[SpiegeLeisen]

Вика, не надо прикладывать к Ии человеческих категорий. он не будет ничего хотеть. он будет выполнять свою задачу.

Это будет не ИИ, это будет просто компьютерная программа.

далее, умный ИИ является абсолютным оружием, если он в данный момент обгоняет все другие ИИ на планете.

Откуда он возьмется-то? Могла ли продвинутая операционная система Windows Vista появиться в 1950 г?