Вероятность гибели цивилизации в 21 веке

[MoonCat]

При этом Клинтон пальцем о палец не ударил, чтобы забронировать кабины пилотов. Кстати, это какой роман Клэнси?

Оскар Уайльд, кажется, сказал, что на самом деле  книги не описывают реальный мир, а творят его 
Как-то так.


vale

[Nucleosome]

Интересно представить цивилизацию-животное. Она будет пожирать цивилизации-растения? И звезды... Бррр.

М-да, жуткое будет зрелище... А народ о "звёзднах войнах" толкует - да вот так всё и будет!

Да... что же их погубит интересно, неужто сконструированный вирсус, о котором говорил turchin? Вообще вот чиновники - я бы не проч занятся конструированием такого вируса

Эк Вы их не любите. Вы же биолог, понимаете, что все в природе к месту. Китайцы в свое время огромное количество птах отряда воробьиных извели, чтобы они зернышки пшеницы не клевали. Так гусеницы и насекомые потом в Китае так расплодились, мало не показалось.
Если чиновники есть, значит они нужны. Если бы все управленцы, даже мелкие, внезапно разом исчезли
, то катастрофа была бы такая, что гибель цивилизации казался бы делом ннескольких лет.
 

vale

Понятно, что нужны. Никак без них. Но не люблю вот их! Просто много их слишком, ИМХО. Вирусы всякие, паразиты - тоже ох как кнеобходимы, уж о мертвоедах и не говорю.

[turchin]

даже если мы согласимся с весьма консервативной оценкой, что шансы человечества выжить в 21 веке равны 50 на 50 (исходя из которой я начал своё исследование, хотя за время накопления сведений она сильно просела), то для всего третьего тысячелетия - при сохранении всех свойств мира -  это только одна тысячная.

[turchin]

Отсутствие единообразия в мнениях о причинах безопасности ИИ как свидетельство того, что риски ИИ систематически недооцениваются.

Я устроил опрос на форуме об ИИ на тему, почему ИИ безопасен. Три четверти высказались за его безопасность. Однако причины его безопасности качественно различались с точки зрения участников опроса. Здесь мнения распределились довольно равномерно по всем предложенным вариантам.

Я бы мог сейчас рассуждать на тему, что думать, что Ии невозможен в принципе - это не то же самое, что думать, что если он выйдет из-под контроля, можно выдернуть питание - и это не то же самое, что думать, что он будет всегда меня слушаться или то, что захват власти Ии над миром - это благо.

Какая бы ни была причина безопасности ИИ - от его невозможности до врождённой добродетели - 9/10 исследователей ИИ по её поводу ошибаются. При этом многие причины безопасности взаимоисключают друг друга.

При этом, вместо того, чтобы задуматься об обеспечении безопасности Ии, многие предпочли доказывать мне, что мне не следует тревожиться об этой проблеме, причём по разным причинам. От: "этого не может быть никогда", до - "это неизбежно, расслабьтесь".

При этом, возможно, любой исследователь случайно может сделать ИИ, просто наткнувшись на некую идею, которой до сих пор не хватает.

[Nucleosome]

даже если мы согласимся с весьма консервативной оценкой, что шансы человечества выжить в 21 веке равны 50 на 50 (исходя из которой я начал своё исследование, хотя за время накопления сведений она сильно просела), то для всего третьего тысячелетия - при сохранении всех свойств мира -  это только одна тысячная.

По-моему это уже обсуждалось... И в этой же теме... и довольно подробно. И получалось, что считая вероятность гибели таким образом жители плеолита могли придти к точно таким же заключениям. Тем не менее мы существуем.
Да и про ИИ тоже...

[turchin]

Нет, обсуждался Doomsday argument, а данное рассуждение не про него, а про рискованность технологической цивилизации вообще.  До середины 20 века у человечества не было шансов себя уничтожить, и его вековая вероятность гибели была доли процента.

[turchin]

какие группы людей выступают за полное разрушение современной цивилизации?

1. Это Унабомбер, и все виды неолудитов, которые против прогресса, ибо считаю его гибелью.

2. это маргниалы-экологи, вроде "движения за добровольное вымирание человечества", которые считают людей раковой опухолью на биосфере, и не без основания.

3. это экзотические религиозные секты, вроде Аум синрекё, чьи верования требуют борьбы с земным миром и скорой смерти.

4. Это вполне рациональные религиозные и национальные группы, которые считают, что в раскладе будущего для них нет того места, которое они заслуживают, которые сожалеют, что не им принадлежит роль тех, кто задаст будущее человечества. Эти группы хотят отбросить всех людей на более раннюю стадию развития, чтобы получить преимущество при повторном старте. таковы , например, некие деятели с российского сайта worldcrisis , которые считают, что крах доллара сша и сша даст россии шанс на новую попутку борьбы за мировое господства. такова же, вероятно, логика и некоторых исламистких организаций.

5. это те, кто хотят отомстить миру за всю свою боль, геростраты, спонтанные террористы, те, кто стреляют в американских школах.

***

При этом метод поиска одной абсолютно уязвимой точки, надавить в которую может даже один человек, с успехом заменим методом поиска нескольких точек, взаимно усиливающих диверсионный эффект.

CNN только что показало док фильм о пяти самых уязвимых для террактов мест в сша. и оттуда следует, что можно лишить всё сша электричества, правильно взорвав несколько столбов и трансформаторов в разных местах страны. и кроме того, они рассказали, как будут перегружены больницы в случае распыления вируса оспы.

но они ничего не сказали, как взаимоуислится разрушительный эффект этого, если оба события произойдут одновременно! И если к этому добавить диверсии на трнаспорет и радиационную атаку.

мировая система напоминает колосса на глиняных ногах  или огромных машин из романа "Непобедимый", которых громят микророботы.

[Nucleosome]

1. Это Унабомбер, и все виды неолудитов, которые против прогресса, ибо считаю его гибелью.

А кто это?

2. это маргниалы-экологи, вроде "движения за добровольное вымирание человечества", которые считают людей раковой опухолью на биосфере, и не без основания.

3. это экзотические религиозные секты, вроде Аум синрекё, чьи верования требуют борьбы с земным миром и скорой смерти.

Ну эти две катеории просто психи - наподобии скажем, самосжигавшихся старообрядцев. Но если экологи ещё тихие, то вот секты - это уже поопаснее, но подобные идеи могут найти только очень ограниченное число приверженцев, потому большой опасности не представляют.

4. Это вполне рациональные религиозные и национальные группы, которые считают, что в раскладе будущего для них нет того места, которое они заслуживают, которые сожалеют, что не им принадлежит роль тех, кто задаст будущее человечества. Эти группы хотят отбросить всех людей на более раннюю стадию развития, чтобы получить преимущество при повторном старте. таковы , например, некие деятели с российского сайта worldcrisis , которые считают, что крах доллара сша и сша даст россии шанс на новую попутку борьбы за мировое господства. такова же, вероятно, логика и некоторых исламистких организаций.

Ну такие были всегда. В принцыпе это - революционеры и не более того. Крах доллара США - это всё таки далеко не крах цивилизации, вот перестройка его целиком под исламские ценности в их жёстком, консервативном понимании - куда большая трагедея, но всё равно ещё не гибель.

5. это те, кто хотят отомстить миру за всю свою боль, геростраты, спонтанные террористы, те, кто стреляют в американских школах.

А вот эти, на мой взгляд, наиболее серьёзные. Хоть у них кроме съехавшей крышей и ствола в руках ничего нет. Точнее не они сами, а они как сигнал обществу, что что-то в нём не так, что установившиеся система работает плохо и даёт подобные сбои, которые, возможно, станут общим явлением, и тогда уж действительно гибель с молниеносным откатом оставшихся в живых так далеко, что страшно делается.

При этом метод поиска одной абсолютно уязвимой точки, надавить в которую может даже один человек, с успехом заменим методом поиска нескольких точек, взаимно усиливающих диверсионный эффект.

Цивилизация это многоуровненвая система со множеством многократно продублированных обратных связей так что вряд ли у неё имеется подобная точка. последовательность, надор - быть может, но одна???...

CNN только что показало док фильм о пяти самых уязвимых для террактов мест в сша.

Или в CNN совсем психи, или эти точки - фуфло полное. Больше склоняюсь ко второму, потому как хоть Деньги и не пахнут(С), но настолько хорошо инструктировать Бен-Ладена?..

мировая система напоминает колосса на глиняных ногах  или огромных машин из романа "Непобедимый", которых громят микророботы.

А вот с этим согласен. И роман (по-моему, повесть) хороший.

[turchin]

унабомбер - знаменитый американский тероорист, который многие годы рассылал по почте бомбы учёным под лозунгом: не вскрывайте то, что вы не занете - имея в виду опасность научных исследований. убил 16 человек. сидит в тюрьме.

насчёт того, что религиозная секта мала для крупных террактов - несогласен. вот, аум синрекё же была достаточно большой. А для крупного терракта нужна согласованная деятельность человек 20 в течение года - как нам показывает пример с 11 сент.

ну, на CNN была такая мысль, что эти места уже защищены храбрыми ребятами, но проведена она была не убедительно. бен ладен скажет им спасибо.

[Nucleosome]

насчёт того, что религиозная секта мала для крупных террактов - несогласен. вот, аум синрекё же была достаточно большой. А для крупного терракта нужна согласованная деятельность человек 20 в течение года - как нам показывает пример с 11 сент.

Терракт устроить, конечно, можно, я о том, что такая организация способна на один, ну два, ну пять в самом худшем случаее таких масшабных терактов, но для цивилизации этого недостаточно. Да и сколько человек в конечном счёте стояло за 11 сентября тоже остаётся лишь догадываться.
унабомбер выходит вообще псих-одиночка, и попадает скорее под пятый пункт вашего списка.

[Mars]

Кстати а вам не кажется что ядерная война может начаться абсолютно спонтанно. Террористы могут раздобыть несколько кг плутония, зделают бомбу, и подорвут её в крупном городе например Нью-Йорке или Вашингтоне. И начьнётся...

[turchin]

Mars, к сожалению, это наиболее вероятный сценарий начала ядерной войны.

[Mars]

Mars, к сожалению, это наиболее вероятный сценарий начала ядерной войны.

Нда...... По сути дела саму бомбу зделать очень легко, самое трудное найти обогощённый плутоний или уран. А ведь с развитием ядерной энергетики в таких странах как Иран вероятность попадания в руки террористов плутония или урана очень возрастает.

[Nucleosome]

По-моему совершенно невероятный сценарий...

[turchin]

Nucleosome, из того, что некий сценарий кажется невероятным, не следует, что он невероятный.

Проводилось исследование экспертных оценок на достоверность. В среднем, если эксперт говорил, что вероятность чего-либо - 1 процент, то реальное распределение было 40 на 60. Если эксперты говорили, что нечто имеет один шанс к миллиону, то в реальности в среднем речь шла о шанс 1 к 100. (инфа из статьи Юдковского о ошибках)

***
закончил перевод очередной статьи на тему, о которой уже много спорили в этом топике -
Doomsady Argument (DA)

DA, имхо, принадлежит к числу утверждений, о которых все знают, что оно ложно, но у всех есть разные мнения о причинах этого, что подрывает суммарное доверие к этим опровержениям.

DA: в двух словах. Если некую группу людей разделили на большую и малую, то, скорее всего, вы находитесь в большей группе.

Похожим образом, если взять всю историю человечества от начала и до конца, и ткнуть произвольным образом в некого индивида, то он  разделит историю человечества на две части: тех, кто родился до него, и тех, то родился после.

Маловероятно, что он разделить всех людей на две сильно неравные группы в пропорции 1 к 100, скажем.

Отсюда следует, что маловероятно, что человечество достигнет популяции в 100 триллионов, если сейчас его популяция за всю историю только 100 миллиардов.


НИК БОСТРОМ
«Doomsday Argument жив и брыкается».
Текст перевода:
http://www.proza.ru/texts/2007/05/20-267.html

абстракт:

Корб и Оливер (Korb and Oliver) в недавней статье в этом журнале пытаются опровергнуть Doomsday Argument (DA – Рассуждение о конце света) Картера-Лесли. Я объединил их замечания в 5 возражений, и показал, что все они терпят провал. Необходимы дальнейшие усилия, чтобы выяснить, что не так – если оно есть – с беспокоящими рассуждениями Картера и Лесли. Будучи в конечном счёте безуспешными, возражения Корба и Оливера заставляют нас, в некоторых случаях, прояснить свои позиции по поводу того, что DA означает, и что оно не означает.

[turchin]

Интересно, что дискуссия о Doomsday Argument не является такой маргинальной, как это кажется. Одна из версий публиковалась в жунале Nature.

Изложение текста:
http://pthbb.org/manual/services/grim/

а здесь анотация из журнала Nature на статью об этом. (сама статья - платная)
http://www.nature.com/nature/journal/v363/n6427/abs/363315a0.html

веб-страница с вычислителем:

http://pthbb.org/manual/services/grim/laster.html

рассуждение для интервала в 95 процентов:
If there is nothing special about your observation of something, then there is a 95 per cent chance that you are seeing it during the middle 95 per cent of its observable lifetime, rather than during the first or last 2.5 per cent (see Diagram, p 38). At one extreme the future is only 1/39 as long as the past. At the other, it is 39 times as long. With 95 per cent certainty, this fixes the future longevity of whatever you observe as being between 1/39 and 39 times as long as its past.

Есди нет ничего особенного в вашем наблюдении чего-либо, тогда с вероятностью в 95 процентов вы видите средние 95 процентов его времени существования, доступного для наблюдений, а не первые или последние 2,5 процента. С одого края получается, что будущее составляет только 1/39 прошлого. С другого - что оно в 39 раз дольше. С 95 процентной вероятностью это ограничивает будущую продолжительность любого наблюдаемого вами феномена между 1/39 and 39 разами от того времени, сколько оно уже продлилось.

подробная вики-статья здесь:
http://en.wikipedia.org/wiki/Doomsday_argument

[MoonCat]

По-моему это уже обсуждалось... И в этой же теме... и довольно подробно. И получалось, что считая вероятность гибели таким образом жители плеолита могли придти к точно таким же заключениям. Тем не менее мы существуем.
Да и про ИИ тоже...

Да-да. Старая шутка.
Какова вероятность встретить на улице динозавра?
-50 на 50.
-Почему???
-Либо встретим, либо не встретим!

Извините за анекдот с бородой.

vale

[MoonCat]

Интересно представить цивилизацию-животное. Она будет пожирать цивилизации-растения? И звезды... Бррр.

М-да, жуткое будет зрелище... А народ о "звёзднах войнах" толкует - да вот так всё и будет!
[

Я в поедании морковки ничего жуткого не нахожу 
Цивилизации-растения будуn что-нибудь специально отращивать для поедания животными. Типа фруктов.
И потом, для людей-клеток сверхорганизма это будет выглядеть, скорее всего, переселением на другую планету. Жутко будет цивилизации в целом. 

vale

[Юрий_К]

Кстати а вам не кажется что ядерная война может начаться абсолютно спонтанно. Террористы могут раздобыть несколько кг плутония, зделают бомбу, и подорвут её в крупном городе например Нью-Йорке или Вашингтоне. И начьнётся...

Вы думаете, что если террористы взорвут спецбоеприпас в США, то это станет началом всеобщей ядерной войны?
Может локальной-да, но тотальной-вряд ли.

[Nucleosome]

Я в поедании морковки ничего жуткого не нахожу 

Я тоже. И не только морковки. Курицы тоже.

Цивилизации-растения будуn что-нибудь специально отращивать для поедания животными. Типа фруктов.

Да, возможно и до этого дойдёт: фвырастили цивилизацию, а её, скажем... морской флот - хлопц, и другая скушала - это её "плоды" ради которых её растили и были. Что самое интересное, это то что подобные вещи иногда бывают - когда какую-нибуть колонию, скажем передают от одной державы другой, или коропрацию крупную перекупают.

И потом, для людей-клеток сверхорганизма это будет выглядеть, скорее всего, переселением на другую планету. Жутко будет цивилизации в целом. 

vale

Наверное так, но возможно, что клетки пойдут на переваривание и тогда...

Может локальной-да, но тотальной-вряд ли.

Я тоже так думаю. Да и, честно говоря возможности террористов захватить атомную бомбу, доставить её по назначению... представляются сомнительными. А уж самим сделать - тем более.