Теорема Байеса против инопланетян

[dims]

Мы обычно не задумываемся, что свойства очень редких событий кардинально отличаются от свойств привычных нам вещей именно в вопросе отнесения этих событий к тому или иному классу.

Допустим, какой-то любитель уфологии уверен, что если он увидит необъяснимое явление, то у него есть критерий, по которому в каких-то случаях он сможет точно судить, является ли это явление следствием деятельности внеземного разума, или нет.

Внесём сюда цифры. Точного, конечно, ничего не бывает. Но мы можем быть щедры к любителю уфологии и допустить, что точность его критерия составляет 99,9%. Это означает, что из 1000 случаев, когда перед любителем действительно появится инопланетянин, его критерий скажет "да" в 999 случаях. И наоборот, из 1000 случаев, когда перед любителем появится НЕ инопланетянин, в 1 случае его критерий ошибочно скажет "да". То есть, его критерий очень точный, но изредка допускает как положительные, так и отрицательные ошибки.

Но теперь наложим на эффективность критерия, вероятность самого определяемого события. Допустим, на миллион необъяснимых явлений, только одно действительно является следствием деятельности внеземного разума, а остальные 999999 -- это какие-то другие неизвестные природные явления.

Так вот, поставим вопрос: если любитель со своим критерием столкнулся с неизвестным событием, и его критерий сказал "да -- это проявление деятельности инопланетного разума", то какова вероятность того, что это действительно так?

Точный ответ на это даёт теорема Байеса:

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%

то есть, меньше процента!

Я думаю, что вывод понятен и чисто умозрительно: дело в том, что появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.

Как часто на обманывали глаза, уши? Редко, но такое случается. Если вероятность такого обмана больше, чем вероятность реальной встречи с инопланетянином, то даже своим глазам и ушам не следует верить в таком случае.

И это чистая математика.

То есть, для распознавания очень редких событий, нужны очень сильные критерии. Сила критерия должна быть адекватна редкости события. Иными словами, чем необычайней факт, тем более он нуждается в обосновании. Что, впрочем, банально.

Можно ещё заметить, что, как правило, критерии для редких событий не могут не только быть очень хорошими, но они и вообще не могут быть сколько-нибудь хорошими. Ведь критерии мы вырабатываем на основе наблюдения за событием. Чем чаще событие, тем лучше мы с ним знакомы и тем лучше распознаём. Но редкость события находится в противоречии с этой закономерностью...

[КотКот2]

Мы обычно не задумываемся, что свойства очень редких событий кардинально отличаются от свойств привычных нам вещей именно в вопросе отнесения этих событий к тому или иному классу.

Допустим, какой-то любитель уфологии уверен, что если он увидит необъяснимое явление, то у него есть критерий, по которому в каких-то случаях он сможет точно судить, является ли это явление следствием деятельности внеземного разума, или нет.

Внесём сюда цифры. Точного, конечно, ничего не бывает. Но мы можем быть щедры к любителю уфологии и допустить, что точность его критерия составляет 99,9%. Это означает, что из 1000 случаев, когда перед любителем действительно появится инопланетянин, его критерий скажет "да" в 999 случаях. И наоборот, из 1000 случаев, когда перед любителем появится НЕ инопланетянин, в 1 случае его критерий ошибочно скажет "да". То есть, его критерий очень точный, но изредка допускает как положительные, так и отрицательные ошибки.

Но теперь наложим на эффективность критерия, вероятность самого определяемого события. Допустим, на миллион необъяснимых явлений, только одно действительно является следствием деятельности внеземного разума, а остальные 999999 -- это какие-то другие неизвестные природные явления.

Так вот, поставим вопрос: если любитель со своим критерием столкнулся с неизвестным событием, и его критерий сказал "да -- это проявление деятельности инопланетного разума", то какова вероятность того, что это действительно так?

Точный ответ на это даёт теорема Байеса:

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%

то есть, меньше процента!

Я думаю, что вывод понятен и чисто умозрительно: дело в том, что появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.

Как часто на обманывали глаза, уши? Редко, но такое случается. Если вероятность такого обмана больше, чем вероятность реальной встречи с инопланетянином, то даже своим глазам и ушам не следует верить в таком случае.

И это чистая математика.

То есть, для распознавания очень редких событий, нужны очень сильные критерии. Сила критерия должна быть адекватна редкости события. Иными словами, чем необычайней факт, тем более он нуждается в обосновании. Что, впрочем, банально.

Можно ещё заметить, что, как правило, критерии для редких событий не могут не только быть очень хорошими, но они и вообще не могут быть сколько-нибудь хорошими. Ведь критерии мы вырабатываем на основе наблюдения за событием. Чем чаще событие, тем лучше мы с ним знакомы и тем лучше распознаём. Но редкость события находится в противоречии с этой закономерностью...

Гадание на кофейной гуще......
Вероятность встречи с инопланетянами (как и с динозаврами) --- 1/2  (либо встретишь, либо нет)....

[dims]

Вероятность встречи с инопланетянами (как и с динозаврами) --- 1/2  (либо встретишь, либо нет)....

Это неверно. Хотя возможности и две, приписывать им одинаковые веса неправильно. Теория вероятности велит приписывать одинаковые веса только совершенно симметричным исходам.

[OMI]

dims,
Вы полагаете, что сию теорему 100% корректно применять ко всем проявлениям разумной деятельности? 
Неужели она является 100% достаточной для того, чтобы делать такие категорические выводы о проявлениях разумной деятельности?

Я думаю, что вывод понятен и чисто умозрительно: дело в том, что появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.

Как часто на обманывали глаза, уши? Редко, но такое случается. Если вероятность такого обмана больше, чем вероятность реальной встречи с инопланетянином, то даже своим глазам и ушам не следует верить в таком случае.

И это чистая математика.

Ой...
Сия чистая математика мне больше напоминает народное мнение об юриспруденции: "Закон, что дышло. Куда повернули, туда и вышло".

[dims]

Вы полагаете, что сию теорему 100% корректно применять ко всем проявлениям разумной деятельности? 

Полагаю, что да. Это -- математическая теорема, её можно применять вне зависимость от разумности объекта. Так же как, например, арифметику.

[OMI]

Вы полагаете, что сию теорему 100% корректно применять ко всем проявлениям разумной деятельности? 

Полагаю, что да. Это -- математическая теорема, её можно применять вне зависимость от разумности объекта. Так же как, например, арифметику.

А что теорема, согласно Вашему мнению, скажет о достоверности мнений, противоположных Вашему?

[taurus]

Это -- математическая теорема, её можно применять вне зависимость от разумности объекта. Так же как, например, арифметику.

Интересно... 

Вероятность встретить "свою единственную половинку" порядка одной миллиардной. И даже если ты очень-очень хорошо отличаешь любовь от нелюбви (половинки от неполовинок), вероятность ошибиться, согласно теореме Байеса, крайне высока. Поэтому столько разводов...

[Track-Dbf]

dims

Мы обычно не задумываемся...
*
Но теперь наложим на эффективность критерия, вероятность самого определяемого события.
*
появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.
*
И это чистая математика.

*

Ну вот - и теорема Байеса против меня... 

Чистая математика? - Да, неееее - бред сивой кобылы.



"Появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия". Глупости... появление инопланетян очень хочется, что бы было настолько маловероятно, как и возможный пинок от привычной кормушки. А при появлении инопланетян - сколько паразитов полетит в нищие и бомжи... ох, сколько! И каких наследственных и прославленных...

Почему так видна трусость землян при обсуждении тем об инопланетянах? 

[ALZ]

в терминах отношения сигнал\шум немного похожий ответ я дал недавно на вопрос о том, какова будет реакция нашего социума на ИХ сигнал:

date   Tue, Dec 2, 2008 at 12:29 PM

Здравствуйте, Юля!

Соображения на предмет темы Контакта:

надо различать два типа Контакта --

1) Когда Их сигнал сильный и не вызывает сомнений

2) Когда Их сигнал слабый и вызывает сомнения

Случай 1) -- это, например, СМИ -- ИМ ничего не стоит "сесть" на все наши телеканалы и устроить собственную "презентацию" в прямом эфире. Здесь в качестве реакции Землян больше всего подходит слово шок и сенсация

Случай 2) -- это наука, то есть в результате долгих кропотливых поисков группа ученых что-то там обнаружит, будет долго это обрабатывать, анализировать, проверять те или иные гипотезы, постепенно по крохам сообщения будут просачиваться в СМИ, ну и так далее...

И еще, самое, может быть существенное -- сейчас 99,7% всех поисков приходится на долю США, поэтому применительно в случаю 2) надо анализировать не реакцию ученых вообще, а лишь американских ученых, которые вовсе не обязательно решат поведать остальным об обнаружении разумных сигналов внеземного происхождения...

Best,
ALZ

[КотКот2]

dims,
Вы полагаете, что сию теорему 100% корректно применять ко всем проявлениям разумной деятельности? 
Неужели она является 100% достаточной для того, чтобы делать такие категорические выводы о проявлениях разумной деятельности?

Я думаю, что вывод понятен и чисто умозрительно: дело в том, что появление инопланетян настолько маловероятно само по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.

Как часто на обманывали глаза, уши? Редко, но такое случается. Если вероятность такого обмана больше, чем вероятность реальной встречи с инопланетянином, то даже своим глазам и ушам не следует верить в таком случае.

И это чистая математика.

Ой...
Сия чистая математика мне больше напоминает народное мнение об юриспруденции: "Закон, что дышло. Куда повернули, туда и вышло".

Я собственно это и имел в виду. Как компьютер ---- какую чушь в него введеш, такая чушь и получится....

[Alex_P]

Мы обычно не задумываемся, что свойства очень редких событий кардинально отличаются от свойств привычных нам вещей именно в вопросе отнесения этих событий к тому или иному классу.

Заменим любителя уфологии на любителя российской эстрады а инопланетянина на Филиппа Киркорова ...

Вообще уфология хороша тем, что сразу можно определить, у кого мозги набекрень.

[Kweni]

Мы обычно не задумываемся, что свойства очень редких событий кардинально отличаются от свойств привычных нам вещей именно в вопросе отнесения этих событий к тому или иному классу.

Допустим, какой-то любитель прогулок по рельсам уверен, что если он увидит похожее на поезд явление, то у него есть критерий, по которому в каких-то случаях он сможет точно судить, является ли это явление в действительности поездом, или нет.

Внесём сюда цифры. Точного, конечно, ничего не бывает. Но мы можем быть щедры к любителю прогулок по рельсам и допустить, что точность его критерия составляет 99,9%. Это означает, что из 1000 случаев, когда перед любителем действительно появится поезд, его критерий скажет "да" в 999 случаях. И наоборот, из 1000 случаев, когда перед любителем появится НЕ поезд, в 1 случае его критерий ошибочно скажет "да". То есть, его критерий очень точный, но изредка допускает как положительные, так и отрицательные ошибки.

Но теперь наложим на эффективность критерия, вероятность самого определяемого события. Допустим, на миллион смертей, только одна действительно происходит под колесами поезда, а остальные 999999 -- от старости, болезней, войн и каких-то других причин.

Так вот, поставим вопрос: если любитель прогулок по рельсам со своим критерием столкнулся с похожим на поезд предметом, и его критерий сказал "да -- это поезд", то какова вероятность того, что это действительно так?

Точный ответ на это даёт теорема Байеса:

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%

то есть, меньше процента!

Я думаю, что вывод понятен и чисто умозрительно: дело в том, что смерть под колесами поезда настолько маловероятна сама по себе, что когда даже очень сильный критерий будет говорить "за", скорее всего, это будет ошибка критерия.

Как часто нас обманывали глаза, уши? Редко, но такое случается. Если вероятность такого обмана больше, чем вероятность реальной смерти под колесами, то даже своим глазам и ушам не следует верить в таком случае.

Не бойтесь поезда, ходите по рельсам!

[Quest]

Посчитано верно, а вот вывод напрашивается другой.

Насколько я понимаю, P(A) - это вероятность того, что НЛО окажется кораблём инопланетян, P(B) - вероятность того, что при обнаружении НЛО "уфолог" скажет, что это корабль инопланетян, а P(B|A) - вероятность "срабатывания" "уфолога" при условии, что НЛО - это корабль инопланетян.

В этом случае, P(A|B) = P(B|A)xP(A) / P(B) действительно мало при малых P(A). Но что значит малое значение P(A)?
Это значит, что подавляющее большинство НЛО, которые рассматриваются "уфологом" как возможные корабли пришельцев, никакого отношения к внеземному разуму не имеют.

Т.е. (в рассматриваемом случае) из 1000000 случаев только один (как мы постулируем!) относится к пришельцам, а всё остальное - мусор или "пыль в глаза".

Следовательно, для повышения P(A|B), т.е. доверия к выводам "уфолога", ему надо фильтровать обрабатываемые данные.
Или нам изменить эту вероятность, взятую с потолка.

[Kweni]

Если бы dims сформулировал именно так, то да, было бы совсем по–другому.

Но у него получилось  P(A) – это вероятность того, что видимое нами необъяснимое явление («Допустим, какой-то любитель уфологии уверен, что если он увидит необъяснимое явление») является инопланетянином («из 1000 случаев, когда перед любителем действительно появится инопланетянин»), а не галлюцинацией («Как часто на обманывали глаза, уши? Редко, но такое случается. »)

Нет, я просто не могу остановиться. Если мы принимаем, что глаза и уши могут нас обманывать, то можем ли мы быть на 100% уверены, что мы считали результат именно по формуле Байеса? Может быть, нам это лишь привиделось, мы считали его по какой–то другой формуле и получили ошибочный результат? Допустим, у нас  есть критерий, с помощью которого мы можем с точностью 99,9% судить, считали ли мы результат по формуле Байеса или нет. Но теперь наложим на эффективность критерия вероятность самого определяемого события. Допустим, мы знаем миллион формул, и только одна из них действительно является формулой Байеса, а остальные 999999 -- это какие-то другие математические формулы. Поскольку, в случае возможной галлюцинации, мы не могли правильно отличить формулу Байеса от других формул, то вероятность выбора любой из формул будет одинаковой. Тогда по теореме Байеса

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%
Опять меньше процента! И эту вероятность надо умножить на те 0,1%, которые получились при подсчёте инопланетян. Так что вероятность того, что мы видели инопланетян, на самом деле намного меньше – 0,0001%.
Но позвольте, во второй раз мы тоже считали по формуле Байеса и надо принять во внимание, что эта формула тоже могла оказаться обманом зрения. Применяя бесконечную рекурсивную процедуру, мы в конце концов получим, что вероятность встречи с инопланетянами строго равна нулю.

Таким образом, мы только что доказали, что инопланетян вообще не существует. Этот результат намного опаснее для уфологов, чем вероятность в 0,1%, вообще–то, довольно большая.


***
А вообще, основная проблема уфологии состоит в том, что критерия, позволяющего с какой–либо вероятностью отличить среди наблюдений, собираемых уфологами, следы присутствия инопланетян от природных явлений, не существует. А если бы он существовал, это было бы равносильно доказательству существования инопланетян.

Кроме того, для поисков инопланетян среди непонятных явлений формула Байеса нам не нужна. Пусть бы мы получили по ней сколь угодно малую вероятность. Не важно. Потому что для каждого из наблюдений объектов предположительно инопланетного происхождения:
1) Если мы видим природное явление, мы ничего не теряем
2) Если мы видим инопланетян, мы можем попытаться вступить с ними в контакт. И если получится, мы приобретаем все выгоды, причитающиеся открывателям инопланетян (а если не получится, мы опять–таки ничего не теряем).
Поэтому при встрече с таинственным явлением имеет смысл попытаться изучить его на месте (а вот собирание коллекций фотографий уфологами и вправду не так полезно).

[Quest]

Проблема не в формуле Байеса, а в данных.

Если у нас есть 1 миллион регистраций НЛО, из которых, на самом деле, только один корабль пришельцев, то "срабатывание уфолога" на этот корабль потонет в тысяче его ложных срабатываний, поскольку согласно условия, вероятность ложного срабатывания равна 0.001.

[Алмин]

 Далеко не всё в этом Мире можно описать теорией вероятности. Почему - см. подпись внизу. 

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%
Опять меньше процента! И эту вероятность надо умножить на те 0,1%, которые получились при подсчёте инопланетян. Так что вероятность того, что мы видели инопланетян, на самом деле намного меньше – 0,0001%.
Но позвольте, во второй раз мы тоже считали по формуле Байеса и надо принять во внимание, что эта формула тоже могла оказаться обманом зрения. Применяя бесконечную рекурсивную процедуру, мы в конце концов получим, что вероятность встречи с инопланетянами строго равна нулю.

 Хорошее доказательство! Респект!

[Quest]

Далеко не всё в этом Мире можно описать теорией вероятности.

А "всё" никто описывать и не собирается. А вот для всевозможных случайностей и "неучтённых обстоятельств" теория веростностей и существует, как бы нам этого не хотелось бы понимать.

В случае же с расчётом dims-а нужно не хвататься за голову и не пытаться опровергнуть правильные вычисления, а попробовать понять почему получился именно такой результат. И тогда мир станет намного дружелюбнее.

[OMI]

Мы обычно не задумываемся, что свойства очень редких событий кардинально отличаются от свойств привычных нам вещей именно в вопросе отнесения этих событий к тому или иному классу.

Допустим, какой-то любитель прогулок по рельсам уверен, что если он увидит похожее на поезд явление, то у него есть критерий, по которому в каких-то случаях он сможет точно судить, является ли это явление в действительности поездом, или нет.

...

Прочитал я это подражание первому сообщению темы... И на душе хорошо стало 

Начинаю трассировку логики:

1. в 999 из 1000 любитель гулять по рельсам точно скажет, что поезд - это поезд.
2. из 1000000 смертей 999999 происходят от старости, болезней, войн и каких-то других причин, и только 1 смерть действительно происходит под колесами поезда.

Теперь переходим к вопросу: если любитель прогулок по рельсам со своим критерием столкнулся с похожим на поезд предметом, и его критерий сказал "да -- это поезд", то какова вероятность того, что это действительно так?

Вот ответ, согласно логики, подкреплённой математической силой теоремы Байеса:

P(A|B) = (0.999 * 0.000001) / (0.999*0.000001 + 0.001*0.999999) = 0.1%

то есть, вероятность того, что поезд - это поезд, есть меньше процента!

Вот такой славный софизм.

***
Правитель одной страны выдал закон, согласно которому, все иностранцы, входящие в его страну на лошади, обязаны платить налог с лошади.
И вот границу пересекает человек на лошади. Пограничник остановил его и потребовал заплатить налог с лошади.
Он не знал, что перед ним софист 
Софист сказал:
-Как видишь, я еду на чёрной лошади?
-Да, вижу.
-Как видишь, моя лошадь не белой масти.
-Да, вижу.
-Согласись, что чёрный цвет - это не белый цвет. Согласен?
-Да, согласен.
-Ну вот! Раз чёрный цвет - это не белый цвет, а моя лошадь чёрного цвета, а не белого цвета, то из этого следует, что моя лошадь - это не лошадь! Так что платить мне не за что.
... У пограничника "ку-ку" заклинило и он молча пропустил софиста с лошадью.

[Quest]

Софизм, действительно. "В огороде бузина, а в Киеве - дядька!"

[OMI]

Если факты противоречат моей теории, тем хуже для фактов.
якобы это сказал Гегель

Допустим, что случилось такое несчастье, как встреча человека, математически отрицающего сам факт существования инопланетян, с ими самими.

Как тут быть?

1. На время встречи, объявить неверие своим глазам, ушам, рукам и т.п, чтобы спасти математическую теорию?
2. Доверить своим органам чувств, тем самым предав математическую теорию?
3. Найти соломоново решение: объявить встречу исключением из теории, сохранив таким образом, доверие к своим органам чувств и к истинности математической теории?