Само понятие «вероятность глобальной катастрофы» в смысле «вероятность конца света» внутренне противоречиво, так как речь идёт об, по определению, однократном событии. Даже если такое событие будет необратимо надвигаться, нам не удастся узнать, стали мы жертвой крайне случайного или закономерного события. А если учесть эффект многомирного бессмертия, то я-наблюдатель вообще никогда не смогу обнаружить глобальную катастрофу, так как всегда найдётся мир, в котором я выживу. Но при этом я могу быть свидетелем гибели оставшейся цивилизации и быть последнем выжившим в бункере, и такой расклад должен быть приравнен к окончательному вымиранию.
Концепция того, что такое вероятность, претерпела длительную эволюцию, и в ней есть два направления – объективистский, где вероятность рассматривается как доля событий из некого множества, и субъективистикий, где вероятность рассматривается как мера нашего незнания. Вот здесь краткий обзор истории концепции вероятности:
http://www.riskland.ru/lib/sub_prob.shtml. Тот и другой подход применим к определению того, что считать вероятностью глобальной катастрофы.
А) Абсолютная вероятность – эта та доля тех возможных будущ нашей планеты, в которых она гибнет от данной причины в данный период времени. – с учётом всех наших возможных усилий по ее предотвращению. Абсолютная вероятность нам неизвестна и не может быть даже известна, так как это привело бы к логическим парадокса, (а именно если бы мы знали , что вероятность события Х равна нулю, мыв перестали бы от него защищаться и тогда бы она стала не равна нулю). Знание абсолютной вероятности предполагает наличие полного знания о все солнечной системе и далёких звездах – например, траекторий всех астероидов, состояния всех предсверхновых итд. В идеале все наши оценки вероятности должны стремиться к абсолютной вероятности. Если бы мы жили в чисто механической и вычислимой вселенной, то вместо абсолютной вероятности было бы точное знание. Но поскольку наша вселенная обладает квантовой неопределённостью, и неопределённостью, связанной с со сложностью в духе теории хаоса, то демон Лапласа не работает точно, а может знать только вероятность.
http://ru.wikipedia.org/wiki/Демон_Лапласа
Б) Безусловная абсолютная вероятность – это вероятность того, что мы погибнем от данной причины, при условии, что мы не погибнем от других причин до того – и что мы ничего не будем делать, чтобы отвратить эту опасность. И наоборот – условная вероятность вымирания – эта вероятность гибели от данной причины с учётом (то есть при наличие условий) того, что мы можем погибнуть до того и от других причин (например, если шанс погибнуть в 22 веке от падения астероида равен 10 процентам, но при этом в силу рисков от развития новых технологий шанс человечества дожить до 22 веке составляет тоже 10 процентов (то есть вымереть – 90), то полная вероятность вымереть в 22 веке равна только 1 проценту, что резко изменяет направление приложения усилий.) А также при условии того, что мы сделаем всё возможное на данном этапе развития техники и цивилизации для предотвращения катастрофы.
В) Средняя вероятность – это вероятность погибнуть от данной причины для цивилизации нашего типа. Эта вероятность есть доля цивилизаций, погибших от данной причины, из всех цивилизаций в нашей вселенной. Аналогом ей является средняя продолжительность жизни человека. Однако в случае гибели цивилизаций у нас нет статистики по другим цивилизациям (и не может быть, так как если бы мы установили коммуникацию с другой цивилизацией, то нас следовало бы считать единой цивилизацией). Средняя вероятность может резко отличаться от абсолютной вероятности из пункта А. в силу конкретных особенностей нашей звёздной системы и нашего исторического пути, а также эффектов наблюдательной селекции итд. При этом к средней вероятности применимо понимание о причине (ядерная война), но неприменимо понимание о промежутке времени (21 век), так как и разных цивилизаций разные временные шкалы – и имеет смысл составлять такую классификацию только для всего времени существования цивилизации. Опять-таки, среднюю вероятность может знать только господь Бог или сверхцивилизация, наблюдающая многие цивилизации низшего уровня. Но мы можем рассуждать о средней вероятности на основании парадокса Ферми и т. д. Исходя из принципа Коперника (meritocracy principle) мы должны считать, что мы, скорее всего, являемся обычной цивилизацией, и следовательно, в нашем случае, абсолютная вероятность равна средней вероятности, во всяком случае, до того момента, как мы получим некую конкретную информацию об особенности нашей цивилизации, которую мы можем учесть. Отметим, что поскольку мы живём в середине технологической эры, то эффект наблюдательной селекции приводит к тому, что мы недооцениваем вероятность того, что мы могли вымереть в период с 1945 по 2009 год, а в силу этого абсолютная вероятность вымирания для нашей цивилизации в оставшееся время жизни МЕНЬШЕ, чем средняя вероятность вымирания цивилизаций по галактике (например если большинство цивилизаций в галактике погибает в первый годы после изобретения ядерного оружия). Далее, идея средней вероятности должна опираться на некую идею, какова окончательная судьба всех цивилизаций. Если судьбы всех цивилизаций прослеживаются до их конца, то сумма всех средних вероятностей по разным причинам должна быть равна 100 процентам – по определению. Либо должен предполагаться некий порог, за которым цивилизации считаются бессмертными – например, переход на галактическую фазу развития, сингулярность и т. п. Далее, средняя вероятность существенно зависит от референтного класса того, что мы считаем разумными цивилизациями. (Например, нечто вроде муравьёв с зачатками письменности на некой планете, остановившихся в своём развитии – должны ли мы их считать?) Обычно речь идёт о технологических цивилизациях – подобных нашей. Но здесь есть ловушка – чем в большей мере мы сужаем референтный класс до подобности нам, тем в большей мере мы делаем зависящим его от случайных особенностей нашей цивилизации. Наконец, средняя вероятность не даёт нам погодовой плотности вероятности (кроме некоторых частных случаев, вроде взрывов сверхновых), в отличие от абсолютной вероятности, то есть мы не можем сказать, что вероятность события X равна 1 процент в год – поскольку разные цивилизации могут развиваться с разным темпом. Всё же есть попытки превратить среднюю вероятность в ожидаемую продолжительность существования внеземных цивилизаций, это важно для оценок времени, в течение которых возможна коммуникация с внеземными цивилизациями (Шкловский об этом писал, называя это коммуникативная фаза цивилизации). Можно предположить, что скорость прогресса у других цивилизаций зависит от скорости обработки ими информации, то есть от быстродействия их мозгов, которая может быть в 10 раз больше, и в 10 раз меньше. Однако тут должны быть универсальные эволюционные ограничения. Кроме того, не ясно, должны ли мы учитывать цивилизации только в нашей вселенной, или во всех возможных вселенных с разными физическими законами – это важно при оценке рисков физических экспериментов.
Г) Многомирная вероятность. Предположим, что есть бесконечное множество вселенных, называемое Мультиверсом (неважно, существуют ли они реально, или являются только возможными, а также не важно, речь идёт о мультиверсе квантовом, или просто о бесконечно большом мире). Среди него есть подмножество вселенных, в которых есть планеты, соответствующие нашим знаниям о Земле. Иначе говоря, наше знание создаёт сечение Мультиверса и выделяет из него некое подмножество. Например, подмножество всех обитаемых планет с массой, как у Земли. Однако внутри этого подмножества есть разные планеты, скажем, различающиеся особенностью своего внутреннего устройства. Некоторые из них более склонны к катастрофическим вулканическим извержениям (дегазация мантии). В этом случае вероятностью катастрофы будет та доля планет в этом подмножестве, на которых эта катастрофа произойдёт в определённый промежуток времени. По мере того, как наши знания о Земле растут, неопределённость нашего знания падает, и подмножество планет, соответствующих нашему знанию, сужается. Это приводит к изменению многомирной вероятности. Хотя многомирная вероятность и неизвестна нам, но является объективной величиной.
Д) Рациональные ожидания. (Информационная вероятность, или субъективная вероятность или байесова вероятность.
http://en.wikipedia.org/wiki/Rational_expectations) Эта вероятность является мерилом того количества информации, которое у нас есть о будущем, то есть того, что мы должны ожидать, исходя из всех имеющихся у нас знаний. В байсовом смысле она означает то, какой вес мы можем придать тем или иным гипотезам в соответствии с теми свидетельствами, которые мы получили. Однако даже рациональные ожидания являются недостижимой абстракцией, поскольку возникает вопрос, а кто, собственно, обладает этими знаниями. Идеальные рациональные ожидания должны исходить из всей суммы знаний, известной человечеству, однако ни один человек не знает всей этой информации и не способен ее рационально оценить, по причине когнитивных искажений и ограниченных вычислительных ресурсов мозга. Реальный человек не может учесть точно все гипотезы в математической форме, однако он принимает решение, исходя из всей полноты доступного ему знания – такая оценка вероятности становится субъективной вероятностью, или просто экспертной оценкой. Экспертная оценка – это результат сложения всех мнений с учётом представлений о достоверности этих мнений одним человеком. Метод Форсайта (и другие методы вроде голосования, рынка предсказаний и т. п.) используется, чтобы просуммировать мнения разных экспертов, сгладив их личные когнитивные искажения. Надо сказать, что это и есть та вероятность, какая нам обычно известна, и нам остаётся только надеяться, что получив достаточно свидетельств, мы можем приблизить ее вначале к чистым рациональным ожиданиям, а затем их – к абсолютной вероятности.
К сожалению, в отношении большинства наиболее серьёзных угроз (био, нано, ИИ) мы не можем говорить о том, что есть какие-то данные, которые нормальным образом распределены. Например то, окажется ли будущий ИИ враждебным человеку или нет – никак не зависит от сегодняшнего состояния нашей Солнечной системы. Возможно, что ИИ становится враждебным человеку всегда (мнение Омохундро : Omohundro, S. M. The Basic AI Drives.
http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/) за счёт своей естественной эволюции, а возможно, что не трудно заложить в него правила дружественности (законы Азимова). Это всё равно что рассуждать о том, каковы шансы, что теорема Пифагора истинна. Идея здесь в том, чтобы рассматривать эти невероятностные события как вероятностные, и приписать им вероятность, пропорциональную, скажем, доле и авторитетности экспертов, подтверждающих эту точку зрения. При этом вероятность рассматривается не как точное число, а с точностью до порядка или ниже. Кроме того, неопределённость в вероятности иногда можно уменьшить сразу, применив ее в cost-benefit анализе, то есть сразу умножив ее на ожидаемый ущерб и сравним ее с ожидаемыми преимуществами. Поскольку в случае глобальных катастроф речь идёт о бесконечно большом ущербе, то это умножение должно стирать разницу между в количественной оценке вероятности. Например, как запуск, так и отказ от создания ИИ включают в себя бесконечный ущерб, тогда как запуск коллайдера означает бесконечный ущерб, а отказ – только конечный. Рассуждая таким образом, мы можем придти к тем или иным решениям, не опираясь на окончательные численные оценки вероятности. Другой вариант учёта – это то, что теория, истинность которой зависит от нескольких произвольных предположений, имеет меньшие шансы быть истинной, чем, теория, зависящая только от одного предположения. То есть мы можем сравнивать вероятности в духе больше-меньше, опять-таки избегая количественных оценок.
То, что знает один человек в качестве вероятности – это всегда его экспертная оценка, хотя он может ошибочно думать, что это точные рациональные ожидания или даже сама абсолютная вероятность. То есть возникает ошибка, когда человек ошибочно приписывает своим оценкам тот статус, который они не имеют. Карта – это не территория, и наши оценки вероятности – это не сама реальная вероятность, которая остаётся вещью в себе.
В некоторых случаях может иметь смысл случайное поведение в ответ на неизмеримую опасность – например, если все цивилизации посчитают опасный эксперимент X безопасным, так как вероятность катастрофы, по их оценкам, в его ходе очень мала, то все цивилизации погибнут. Однако если все цивилизации будут случайным образом решать, какие эксперименты проводить, а какие нет, то погибнет только половина цивилизаций. Ещё один способ получить рациональные ожидания (но не абсолютную вероятность) – это использование статистики по прошлым данным, например, в духе формулы Готта
http://ru.wikipedia.org/wiki/Doomsday_argument или закона последования Лапласа
http://en.wikipedia.org/wiki/Rule_of_succession , но это ограничено наблюдательной селекцией. (Например, из того, что последняя ядерная война была 63 года назад, их закона последования следуют ее шансы 1/65 на следующий год. Хотя этот способ оценки отвлекается от всей конкретики сегодняшнего дня, он может давать лучший результат, так как в нём некуда затесаться когнитивным искажениям, как это показал Канеман в статье «Робкие решения и смелые предсказания: когнитивные перспективы в принятии рисков» в разделе «внешний и внутренний взгляд на проблему»
http://www.proza.ru/2009/05/29/499 в своей истории о планировании проекта. Там приводится пример о том, что оценка времени завершения проекта, сделанная на основании сравнения с другими проектами, оказалась гораздо более точной, чем оценка, сделанная участниками данного проекта, обладавшими всей полнотой данных о проекте – а именно 7 -10 лет до завершения проекта вместо ожидавшихся 1,5 лет.)
Все эти вероятности нам могут быть известны только с определённой точностью, +/- х, которая складывается из неопределённости нашего знания, наших моделей и нашей теории, а также из влияния наших ошибок и когнитивных искажений. Оценка степени этой неопределённости может быть ещё более трудна. Задача упрощается тем, что в целом все приведённые «объективные» вероятности должны быть величинами одного порядка, и поэтому, если мы огрубляем до уровня порядка, нам не нужно углубляться в детали, идёт ли речь о средней по галактике или абсолютной вероятности. (Поскольку маловероятно, чтобы они сильно отличались: у Чирковича в статье «Геоинженерия, пошедшая насмарку» (Милан Чиркович, Ричард Каткарт. «Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми». перевод:
http://www.proza.ru/texts/2007/11/10/290.html) рассматривается вариант, что средняя вероятность вымирания по галактике в результате опасных гео-инженерных проектов велика, так как большинство цивилизаций ориентированы на исследование недра, а не космоса, но что Земля является уникальной цивилизацией, ориентированной именно в небо, и в силу этого вероятность гибели Земли в результате геоинженерной катастрофы меньше. То есть Чиркович предполагает, что средняя и абсолютная вероятность вымирания для Земли резко различаются. Однако шансы, что он прав – невелики. Чем больше подразумеваемая уникальность Земли, тем меньше шансов, что он прав. То есть Земля скорее является 1 из 10, чем 1 из миллиона планет. Чем радикальнее утверждение о различии средней и абсолютной вероятности, тем больше шансов, что оно ложно. Пример из жизни: если ваш случайный собеседник в Интернете утверждает, то он миллиардер, то, скорее всего, он врёт, а если он говорит, что у него есть машина, то это, скорее всего, правда.)
Другое упрощение состоит в том, что в большинстве случаев мы не сделаем себе хуже, если переоценим вероятность некой глобальной катастрофы. Это значит, что нам надо брать в большинстве случаев верхнюю границу вероятностей. Но этот подход не работает, если нужно выбрать один из двух путей, каждый из которых имеет свой риск. В этом случае излишнее завышение риска может привести к тому, что мы фактически выберем более рискованный путь. Скажем, отказавшись от адронного коллайдера, мы можем не открыть новые источники энергии, которые нам позволили бы летать к звёздам, и не сможем резко повысить таким образом выживаемость нашей цивилизации за счёт более широкого ее распространения. Мы можем оценить среднее влияние когнитивных искажений в оценке вероятности исторических проектов (от аварий челнока до проектов построить коммунизм к 1980 году) – хотя эта величина нуждается в дальнейшем исследовании, ее можно оценить как один порядок, то есть около 10 раз, хотя часто искажение составляло и два порядка (например, при оценке безопасности АЭС – ожидаемый уровень аварий был 1 на миллион лет, а реальный составил 1 авария после менее чем 10 000 станций-лет эксплуатации), и если нам нужна не средняя величина искажения, а максимальная величина искажения, то надо брать два порядка.
Плохо однако, что из исследований психологии известно, что люди, даже пытаясь учитывать свою будущую ошибку, всё равно обычно недооценивают искомый параметр (Юдковски).
Наконец, очень важно различать погодовую и полную вероятность. Например, если вероятность вымирания от ядерной войны оценить в 1 процент в год, то за тысячу лет накопленная вероятность будет означать шансы выжить примерно 1 к 10 000. Вообще, любая погодовая вероятность может быть трансформирована в ожидаемое время, типа LD50 – то есть время, за которое шансы дорастут до 50 процентов. Упрощённая формула для оценки ее есть T=72/P, где Т – время в годах, а Р – вероятность в процентах. (Точное решение уравнения 2=(1,01)**х см. в Wolfram Alpha и равно x=log2/ log(1.01) )
В целом знание погодовой вероятности глобальных катастроф не имеет большой ценности, так как по причине технологического прогресса вероятность технологических катастроф будет расти, а вероятность природных катастроф – уменьшаться за счёт большей способности человека им противостоять.
Технологическому прогрессу свойствен экспоненциальный или даже гиперболический рост.
Предположим, что некая технология экспоненциально растёт и число условных установок равно N=N0*(2**(mT)), где m - постоянная из закона Мура, T - время. При этом каждая установка имеет вероятность Pn в год привести к глобальной катастрофе. Вопрос - какова полная вероятность катастрофы P от сегодняшнего дня до момента Т0 и какова погодовая Py вероятность катастрофы?
Py=1 – (1-P)**N= 1-(1-P)**( N0*(2**(mT))
Для вероятности катастрофы в 0.1 процента в год для одной установки и периода около 2 лет, мы получаем плотность вероятности:
1-(0.999)**e**(0.5x)
Чтобы получить полную вероятность за T0 лет, надо перемножить шансы выживания за все T0 лет и вычесть это из 1.
1-(1-р1)(1-р2)…(1-pn) =
1-(1-p)**(ne**m)) * (1-p) **(ne**2m))… (1-p)**(ne**mt) =
1-(1-p)**(n(e**m+e**2m+…e**mt)=
По формуле сокращения сумм степеней
http://mathworld.wolfram.com/ExponentialSumFormulas.html =
И отсюда:
1-(1-p)**(n(1-e**tm)/(1-e**m))
Если взять довольно разумную оценку как 0.1 % вероятности катастрофы на проект и период удвоения около 2 лет, то получим такой график:
P =1-(0.999)**((1-e**(0.5x))/(1-e**0.5))
Видно, что переход от погодовой вероятности к полной вероятности не меняет характер кривой и не меняет сильно значение величины, что не удивительно, так как наибольший прирост приходится за последнее удвоение – и прирост за последнее удвоение равен приросту за всё предыдущее время. То есть мы видим ту же кривую, сдвинутую на 2 года влево.
Переход от неразличимо малой вероятности катастрофы к близкой к 1 занимает примерно 10 лет, и зависит только от постоянной закона Мура. Начальная плотность установок и вероятность катастрофы, приходящаяся на отдельную установку, не влияют на характер кривой и только сдвигают ее в ту или в другую сторону на несколько лет.
При этом тот период времени, когда катастрофа скорее всего произойдёт, то есть время, когда ее накопленные шансы меняются от 10 до 90 процентов составляет всего порядка 5 лет. Если мы учтём гиперболический закон роста технологий, то это время ещё уменьшится.
Если мы добавим к этому то, что одновременно экспоненциально развивается несколько технологий, которые могут создавать глобальный риск: био, нано и ИИ (а также дешёвые ядерные технологии), – то мы должны ожидать, что они будут взаимодействовать друг с другом, взаимноусиливая друг друга, и ещё больше сокращая срок, когда глобальная катастрофа наиболее вероятна.
Иначе говоря, нас ждёт горячая пятилетка, хотя когда именно она начнётся – в 2010х, 2020х или 2030х годах, – сказать трудно.
Горячая пятилетка произойдёт или до возникновения мощного ИИ, либо такой ИИ возникнет во время неё, и борьба разных ИИ между собой за власть над миром станет причиной катастрофических рисков. Вряд ли, однако, горячая пятилетка произойдёт после установления всемирной власти одного ИИ. Таким образом, речь идёт о последнем пятилетии перед Сингулярностью. Разумно ожидать, впрочем, что реальность окажется сложнее предлагаемой упрощённой модели.
