Теорема Байеса против инопланетян

[Track-Dbf]

*

Kweni, кто чаще видит атмосферные аномальные явления?

[Kweni]

Track-Dbf, как это не банально звучит, те, кто чаще смотрит на небо. Больше ничего, к сожалению, сказать не могу.


dims, чтобы было яснее, что теорема Байеса непригодна для вычисления вероятности встреч с инопланетянами, давайте рассмотрим такой гипотетический случай. Допустим, контакт с инопланетянами состоялся, и от них мы узнали, что серебристые летающие тарелки с квадратными иллюминаторами по бортам с вероятностью 75% являются космическими кораблями инопланетян, а с вероятностью 25%  – оптическими явлениями, возникающими от рассеяния частиц тёмной материи на атмосферных фронтах. Все остальные НЛО не имеют отношения к инопланетянам, и являются земными аэростатами и ступенями ракет, выдумками тщеславных людей, необычной формы облаками, шаровыми молниями и так далее – всего свыше 600 причин.
Узнав это, вы собрали все наблюдения уфологов воедино. Их оказалось ровно 10 миллионов. Из них 1 миллион фотографий видимых в профиль серебристых НЛО с квадратными иллюминаторами, 1 миллион фотографий видимых в профиль серебристых НЛО с иллюминаторами круглой формы, 1 миллион фотографий видимых в профиль серебристых НЛО, слишком нечётких, чтобы можно было надёжно определить форму иллюминаторов, 1 миллион фотографий дисковидных НЛО плашмя, так что наличие и вид иллюминаторов по бортам осталось неизвестным, 1 миллион словесных описаний встреч серебристых НЛО с квадратными иллюминаторами по бортам, 1 миллион словесных описаний того же, сделанных по памяти, так что очевидцы не уверены точно, были ли иллюминаторы квадратными или нет, 1 миллион словесных описаний встреч серебристых НЛО с квадратными иллюминаторами по бортам, сделанных людьми, страдающими патологической лживостью, причём статистически установлено, что в 10% случаев эти люди говорят правду, в 40% произвольно изменяют детали увиденного, а в 50% случаев полностью выдумывают событие, 2 миллиона наблюдений НЛО, не являющихся серебристыми летающими тарелками, и 1 миллион наблюдений, слишком неясных и отрывочных, чтобы из них можно было что–нибудь понять.

Спрашивается, можно ли применить к обработке этих данных формулу Байеса?
Ответ: Нельзя. Формула Байеса предназначена для вычисления вероятностей при отдельном наблюдении, если известна надёжная статистика. Эти же данные предназначены как раз для получения той самой надёжной статистики – а именно вероятностей инопланетного происхождения для каждого из типов НЛО. Невозможно использовать формулу Байеса для получения данных, необходимых для подстановки в саму эту формулу. Таким образом, обработка статистики уфологов представляет собой предыдущий шаг перед применением формулы Байеса. Поэтому использовать формулу Байеса для попыток доказательства бесполезности собирания уфологами статистики наблюдений НЛО нелепо.

После обработки этих результатов вам принесли ещё одну фотографию в профиль серебристого НЛО с иллюминаторами. Спрашивается, с какой вероятностью на этой фотографии запечатлён инопланетный корабль?

Попробовав ответить на этот вопрос с помощью вашего расчёта по формуле Байеса, который находится в начале темы, мы сразу обнаружим следующие вещи:
- ваше «Допустим, на миллион необъяснимых явлений, только одно действительно является следствием деятельности внеземного разума, а остальные 999999 – это какие-то другие неизвестные природные явления» – такая же хитрость, как и у меня при складывании смертей на рельсах и за их пределами. Если на фото вы видите серебристый НЛО с квадратными иллюминаторами, вас должна интересовать вероятность для случая наблюдений НЛО именно такого типа, а не для всех необъяснимых явлений в совокупности. Поэтому ваш расчёт и мой с поездами – близнецы–братья. Я никогда не нарушаю в своих аналогиях требований симметрии.

– Критерием, ошибку которого мы должны подставлять в формулу Байеса, в данном случае выступает человеческая способность отличить на фотографии круглые иллюминаторы от квадратных. Если фотография чёткая, эта ошибка равна нулю, и формула Байеса нам не нужна. Если изображение НЛО маленькое или расплывчатое, ошибка будет больше нуля, но значение будет своё для каждой градации мелкости или расплывчатости. Мы можем посчитать таким образом вероятность для данной конкретной фотографии по формуле Байеса, но для любой другой фотографии эта вероятность будет иная.

– поэтому сделать общий вывод в духе «точный ответ – 0,1%» для всех наблюдений уфологов у вас не получится – результат применения формулы Байеса будет скакать от 0% до 100%.

– если бы мы не встретились с инопланетянами, мы в конце концов, возможно, смогли бы с помощью некоего метода (например, эхолокацией) научиться отличать космические корабли инопланетян от  оптических явлений, возникающих от рассеяния частиц тёмной материи на атмосферных фронтах. Тогда, накопив статистику наблюдений этим методом, мы бы нашли вероятность в 75%, и, зная ошибку метода, могли бы вычислить по формуле Байеса вероятность того, что данное конкретное наблюдение этим методом является инопланетным кораблём. Но это применимо только к наблюдениям самих НЛО этим методом. Если же мы видим фотографию НЛО, мы не сможем отличить космический корабль от оптического явления, потому что они выглядят на фотографии одинаково. Не существует критерия, ошибку которого мы могли бы подставить в формулу Байеса с целью выяснения вероятности.

– Из трёх последних пунктов видно, что применительно к фотографиям НЛО формула Байеса в принципе ничего не может сказать об инопланетянах, а только о человеке, точнее о его способности правильно опознавать нечёткие образы. То же самое относится к описаниям очевидцев. Таким образом, формула Байеса будет полезна лишь при будущем изучении НЛО научными методами, но не применительно к современным данным уфологов.

Проблемы увеличиваются, когда мы сталкиваемся с наблюдением НЛО менее определённого типа. Если перед нами чёткое фото НЛО плашмя, мы могли бы на первый взгляд сказать из нашей статистики, что с вероятностью 50% там будут квадратные иллюминаторы, и для такой фото вероятность инопланетности составляет таким образом 0,75*0,5=37%. Но мы не знаем, а вдруг есть тип летающих тарелок без иллюминаторов, которые наблюдаются всегда плашмя, и никогда в профиль. Поэтому вероятность становится неопределённой. Ещё сложнее, когда в дело вмешивается психология. 10% и 50% случаев с лжецами дают простую статистику, а вот 40% искажений – куда более трудный орешек.  Подсчёт вероятности для рассказов по памяти – тоже нелёгкая задача, вероятность правильного воспоминания зависит далеко не только от времени, прошедшего со времён события.

[dims]

Когда вы многократно проводите один и тот же тест на наркотики, это однородные события, и вы можете вычислить вероятность того, что тест сработает правильно, причём, если процедура проведения теста не нарушалась, эта вероятность будет всюду одинаковой и неизменной.

Вероятность можно вычислить всегда, вне зависимости от однородности событий.

К данным уфологов при всём желании вы не сможете применить какой–то один тест, потому что эти данные очень разнородны.

Это другой вопрос. Я исходил из предположения, что такой тест может быть. Например, если я вижу летающую тарелку, отливающую металлом и заклёпки, то ошибки быть не может.

Погодите-ка.

Если дело в однородности данных, то к чему Ваш пример с поездом? Вы согласны теперь с теми ошибками, которые я отметил в Вашем примере с поездом?

Давайте сначала застолбим результат по поезду, а потом двинемся дальше.

[dims]

Спрашивается, можно ли применить к обработке этих данных формулу Байеса?
Ответ: Нельзя. Формула Байеса предназначена для вычисления вероятностей при отдельном наблюдении, если известна надёжная статистика.

Ну я же в своём рассуждении предположил, что статистика нам откуда-то известна. Если теперь дело в статистике, то укажите, в чём моя гипотетическая статистика отличается от "надёжной".

После обработки этих результатов вам принесли ещё одну фотографию в профиль серебристого НЛО с иллюминаторами. Спрашивается, с какой вероятностью на этой фотографии запечатлён инопланетный корабль?

Я не знаю, Вы очень нагромоздили пример.

Если выяснится, что иллюминаторы характерны для именно инопланетного корабля, то этот критерий может иметь другие свойства. Например, он может иметь другое количество отрицательных ошибок.

[Kweni]

Вероятность можно вычислить всегда, вне зависимости от однородности событий.

Вы, конечно, можете пытаться вычислить общую вероятность вытаскивания данного шара из урны с пятью шарами, и избрания президентом США человека с фамилией Буш как (1+2)/(5+44)=0,061 но гораздо разумнее будет не объединять в одну кучу шары с президентами, а вычислять вероятности этих двух событий по отдельности. Точно так же бессмысленно валить в одну кучу все разнородные данные уфологов.

Я исходил из предположения, что такой тест может быть.

Значит, вы исходили из заведомо неверного предрположения.

Например, если я вижу летающую тарелку, отливающую металлом и заклёпки

то вам надо придумать тест, отличающий корабль инопланетян от аттракциона на детской игровой площадке. В том числе для случая, когда корабль инопланетян будет специально замаскирован под аттракцион на детской игровой площадке с целью уклонения от контакта и тем самым ненарушения естественного пути развития земной цивилизации. И заметьте, этот тест будет непригоден для всех других типов наблюдения НЛО.

Погодите-ка. Если дело в однородности данных, то к чему Ваш пример с поездом?

Дело не только в этом. Дело во всём от первого до последнего слова. Буквально каждую фразу можно критиковать. Как выяснилось, это произошло из–за механического переноса рассуждения с одной проблемы на другую, как будто все проблемы – одинаковые сферические лошади в вакууме.

Вы согласны теперь с теми ошибками, которые я отметил в Вашем примере с поездом?

Не раньше, чем вы согласитесь, что те же самые ошибки вы допустили в своих вычислениях.

я же в своём рассуждении предположил, что статистика нам откуда-то известна.

О! И откуда же?

Если теперь дело в статистике, то укажите, в чём моя гипотетическая статистика отличается от "надёжной".

Тем, что нет источника, из которого она получена. Вы скажете, что вероятность 1 на миллион. Другой скажет, что она 90%. И невозможно определить, кто прав. А при 90% ответ в ваших вычислениях будет противоположным.

Я не знаю, Вы очень нагромоздили пример.

Неудивительно. Как только я усложняю пример, добавляя типичные для реальной жизни подробности, формула Байеса перестаёт вам помогать. А ведь мой пример – тоже упрощение, хотя и не такое радикальное, как у вас.

[dims]

Вы согласны теперь с теми ошибками, которые я отметил в Вашем примере с поездом?

Не раньше, чем вы согласитесь, что те же самые ошибки вы допустили в своих вычислениях.

Я не согласен, что допустил ошибки в вычислениях. Но я и не перескакиваю на другое. Я готов разбирать и свой исходный расчёт и Ваш пример с поездом. Не вижу смысла идти дальше, если мы не разобрались с этими двумя примерами.

я же в своём рассуждении предположил, что статистика нам откуда-то известна.

О! И откуда же?

Какая разница? Пример состоял не в этом, а в установлении связи между посылками и выводами. Есть посылки, есть расчёт, есть выводы.

В своём примере с поездом Вы пытались подвергнуть сомнению расчёт. Я показал, что сомнения необоснованны. Теперь Вы говорите, что мои посылки неверны. Ну так аргументируйте!

Если теперь дело в статистике, то укажите, в чём моя гипотетическая статистика отличается от "надёжной".

Тем, что нет источника, из которого она получена. Вы скажете, что вероятность 1 на миллион. Другой скажет, что она 90%.

Ну где он, этот другой? Вы? Если Вы скажете, что во Вашему вероятность 90% -- всё сразу станет ясно. Зачем тянуть? В этом случае наши разногласия будут концептуальными: я считаю, что инопланетяне -- это редкое явление, а Вы -- что частое.

И невозможно определить, кто прав.

Вам обязательно нужно определить, кто -- вселенский Светоч?

Я отвечаю только за расчёт. То есть, за связь предположений с выводами. Эта связь, я считаю, правильная.

Я не знаю, Вы очень нагромоздили пример.

Неудивительно. Как только я усложняю пример, добавляя типичные для реальной жизни подробности, формула Байеса перестаёт вам помогать.

Мне просто становится лень считать. Тем более, что я уверен, что если Вы подвергаете сомнению расчёт в более простом случае, то тем более подвергните его сомнению в более сложном.

А ведь мой пример – тоже упрощение, хотя и не такое радикальное, как у вас.

Наука -- это искусство упрощать.

Искусство усложнять -- это, наверное, политика. Но не наука уж точно.

[Kweni]

Ну где он, этот другой? Вы? Если Вы скажете, что во Вашему вероятность 90% -- всё сразу станет ясно. Зачем тянуть? В этом случае наши разногласия будут концептуальными: я считаю, что инопланетяне -- это редкое явление, а Вы -- что частое.

Наши с вам разногласия концептуальны в другом отношении. Я считаю, что инопланетян нельзя назвать ни редким, ни частым явлением, потому что вероятность неизвестна даже приблизительно. И я считаю, что величина такой вероятности должна быть обоснована, а не взята с потолка.
Вы же вместе с уфологами считаете, что можете придавать вероятности значение, соответствующее вашим личным желаниям.
Моя позиция объективна, ваша с уфологами – субъективна, вот в чём разница.

Я отвечаю только за расчёт. То есть, за связь предположений с выводами. Эта связь, я считаю, правильная.

Если некто скажет «предположим, что луна сделана из сыра. Тогда в ней могут водиться мыши» он тоже может сказать, что отвечает лишь за связь предположений с выводами, и что эта связь правильная.

Наука -- это искусство упрощать.

Нет, наука – это искусство построения моделей, адекватных реальности. Если модель, позволяющая правильно описывать и предсказывать, получается простой – пусть будет простой. Если получается сложной – пусть будет сложной.
А искусство упрощать – это как раз политика. Политики очень любят придумывать простые, но неверные объяснения происходящему.

В своём примере с поездом Вы пытались подвергнуть сомнению расчёт. Я показал, что сомнения необоснованны.

В примере с поездом я скорее пародировал формулировки и стиль изложения, нежели подвергал сомнению методику расчёта. Я же ещё на первой странице написал, что если бы вы сформулировали задачу, как Quest, претензий по методике расчёта (но не по выдвинутым начальным предположениям и всему остальному) бы не было.

Я не согласен, что допустил ошибки в вычислениях.

Но вы допустили. Вы брали вероятность инопланетян среди множества необъяснимых явлений, а надо было только среди подмножества явлений, совпадающих с вашим описанием события. Вы ведь вынуждены были конкретизировать ваше описание: «когда перед любителем действительно появится инопланетянин», потому что не бывает, чтобы кто–то видел необъяснимое явление, но не мог сказать, в чём оно заключалось. Поэтому ваше вычисление нуждается в переформулировке, чтобы быть методологически правильным.

И ещё я не критиковал выводы из вашего примера. Допустим, что некий уфолог согласился с вами во всём от первого до последнего слова. И критерий определения инопланетян у него такой, как вы описали, и вероятности оказались точно те же, и с выводом, что любое отдельно взятое наблюдение окажется инопланетного происхождения с ничтожно малой вероятностью, даже если его критерий скажет «да», он согласен. Но что же из этого следует? Как, по–вашему, это как–то влияет на полезность и научность действий уфологов или нет? Обобщая, если для некоторого рода данных формула Байеса показывает крайне малую вероятность того, что любой экземпляр этих данных мы сможем определить, как интересующее нас явление, значит ли это, что этот тип данных непригоден для научного изучения интересующего нас явления?

[dims]

Я отвечаю только за расчёт. То есть, за связь предположений с выводами. Эта связь, я считаю, правильная.

Если некто скажет «предположим, что луна сделана из сыра. Тогда в ней могут водиться мыши» он тоже может сказать, что отвечает лишь за связь предположений с выводами, и что эта связь правильная.

Совершенно верно. Так Вы согласны, что Ваш пример с поездом был ошибочным (раз уж моя связь-таки правильная)?

В своём примере с поездом Вы пытались подвергнуть сомнению расчёт. Я показал, что сомнения необоснованны.

В примере с поездом я скорее пародировал формулировки и стиль изложения, нежели подвергал сомнению методику расчёта.

Я не настолько известный человек, чтобы меня было интересно пародировать.

Впрочем, не суть. Так Вы согласны с методикой расчёта?

Я не согласен, что допустил ошибки в вычислениях.

Но вы допустили. Вы брали вероятность инопланетян среди множества необъяснимых явлений, а надо было только среди подмножества явлений, совпадающих с вашим описанием события.

Вовсе нет. Теория вероятностей допускает накладывание любых условий. Для формулы Байеса важно лишь, чтобы все, кроме двух, были одними и теми же.

потому что не бывает, чтобы кто–то видел необъяснимое явление, но не мог сказать, в чём оно заключалось.

Извините, на этот счёт у меня тоже другое мнение

Но что же из этого следует? Как, по–вашему, это как–то влияет на полезность и научность действий уфологов или нет?

Вы слишком строги ко мне. Я положил маленький камешек в копилку форума, а Вам надо прям чтобы это на всей уфологии сказалось. К своим-то словам Вы с той же строгостью подходите? Расскажите, как Ваши посты повлияют на научность уфологии?

Обобщая, если для некоторого рода данных формула Байеса показывает крайне малую вероятность того, что любой экземпляр этих данных мы сможем определить, как интересующее нас явление, значит ли это, что этот тип данных непригоден для научного изучения интересующего нас явления?

Отчасти так оно и есть. Наука занимается повторяющимися явлениями. Да, где-то есть граница редкости, начиная с которой объект уже невозможно изучать научно.

[Феанор]

Вероятность встречи с инопланетянами (как и с динозаврами) --- 1/2  (либо встретишь, либо нет)....

Это неверно. Хотя возможности и две, приписывать им одинаковые веса неправильно. Теория вероятности велит приписывать одинаковые веса только совершенно симметричным исходам.

Это по мотивам прикола про блондинку: спрашивают, какова вероятность встретить на улице динозавра? Ответ: 50/50, либо встретишь, либо не встретишь

[Track-Dbf]

Kweni

Track-Dbf, как это не банально звучит, те, кто чаще смотрит на небо. Больше ничего, к сожалению, сказать не могу.

Соглашусь с Вами, Kweni.

Простите, и я отвечу на вопрос, который задам сам себе. А кто чаще находит тех, кто прячется? Наверно, тот - кто умеет наблюдать и обладает фантазией реалистично представить себе способы маскировки любителей прятаться и причины, по которым они это делают, мотивы. Или достаточно точно знает заранее всё, что в первый раз надо узнать самому.

К сожалению математика, теоремы и прочие изыски теоретиков не помогут, здесь надо быть охотником, наблюдателем, первооткрывателем. И чем умнее инопланетяне, тем меньше нам поможет его величество Случай. 

[Stepa]

И чем умнее инопланетяне, тем меньше нам поможет его величество Случай.  Smiley

Чем они умнее(могущественнее), тем менее их действия будут отличаться для нас от случая.

Сверхцивилизация из ремейка "Day When Earth Stood Still" умела летать между звездами и делать наномашины. Это то, что мы можем представить себе. Она - технологический апогей нашей цивилизации. А ведь может существовать и могущественнее. Здесь мы и столкнемся с тем, что не сможем неслучайного найти. :-)

[Проходящий Кот]

Так что в поиске инопланетян Байес не поможет.....