О межкадровых подвижках ...

[diant]

Отвечу за Олега, да калибровка биасом была, нет не одиночником - масетром как правило делаю его из 30-40 кадров.
Если нет подвижки - метла, подвижки есть - метлы нет.

Сергей, у тебя есть мысли, что рождает метлу в самых тенях (как у тебя в посте 51), если гидируем с подвижками и калибруемся мастербиасом?

А у вас, как я понимаю, хоты ползут в другую сторону?

Нет, Павел, просто я их никогда метлой не называл, да и в голову бы не пришло. С ними легко справляется калибровка и даже косметика. Я метлой называю прежде всего то, что калибровкой и косметикой не возьмешь (не побив полезной инфы).
Больше того, меня интересует только метла в тенях. Когда нет калибровки, ее причина мне ясна. А вот с калибровкой - тут вопрос. Есть только догадки.

[StarDiver]

Отвечу за Олега, да калибровка биасом была, нет не одиночником - масетром как правило делаю его из 30-40 кадров.
Если нет подвижки - метла, подвижки есть - метлы нет.

Сергей, у тебя есть мысли, что рождает метлу в самых тенях (как у тебя в посте 51), если гидируем с подвижками и калибруемся мастербиасом?

Неоднородность свечения самого неба даже на супер темном небе, ползущий градиент - свечение неба будет присутствовать по любому, хотя бы даже собственное свечение, не идеальная прозрачность (легкая дымка) тоже вносит вклад, если бы все это было неподвижно или двигалось со скоростью суточного вращения - такого эффекта не было бы. Рост чувствительности сенсоров и уменьшение шума чтения и приводит к тому, что мы фиксируем этот ползущий градиент из-за неоднородности чтения групп пикселей.

Монтировка ведет по своей точной оси, градиент едет как ему захочется поэтому мы и видим полосы направленные по оси вращения.

http://www.youtube.com/watch?v=EwqWdy_ZUX8#&feature=emb_logo


ИМХО.

[mo]

Сразу вопрос. Олег, напрягись пожалуйста и попробуй вспомнить, когда ты снимал с гидом без подвижек и получал метлу - применялись ли БИАСы, если да, то был ли это мастербиас или одиночники?

Всегда с калибровкой. Всегда мастер. Чаще всего из 66 биасов.
Ещё таки нужны флеты. Чтобы нормировать чувствительность пикселей. Ну и дарки, чтобы нормировать и темновой ток пикселей.

Проблема наличия остаточной неоднородности после калибровки, как я понимаю, в .. не идеальности мира. На CCD, к примеру, охлаждался сенсор, но не обвязка вокруг (включая АЦП). На кмосах большой вопрос к каждой камере, как равномерно охлаждается сенсор, Материи тонкие, вот и вылезает вовсе не сферический конь в вакуумном пальто, а реальные разнообразные плохо учитываемые проблемы...

При наличии неоднородности (а она есть всегда, вопрос лишь в её порядке) и при наличии сдвига (который тоже есть всегда, вопрос только в его величине) без подвижек всегда будет "метла". Опять таки, порой не заметная, иногда кричащая на растянутом кадре.

Неоднородность свечения самого неба

По-моему не существенный момент. Но могу ошибаться.

[StarDiver]

По-моему не существенный момент. Но могу ошибаться.

Олег, когда квантовая эффективность чипов была около 50-60% а шум чтения около 10e - то да, сейчас эти заразы с куе под 90% и шумом чтения 1 а то и ниже,  хватают все, что лезет.
Но суть да, в неидеальности мира и в частности изготовления самого сенсора и обвзяки.

[Дмитрий Маколкин]

А вот с калибровкой - тут вопрос. Есть только догадки.

Любая калибровка не абсолютна. Она всегда делается с определенной погрешностью. Для КМОП с его "телеграфным шумом", хорошо видимым как крылья пика на гистограмме, калибровка при прочих равных всегда будет хуже, чем для ПЗС. Остаточные ошибки калибровки вполне могут привести к "метле".

Я ещё почему за дизеринг - он усредняет погрешности калибровки пикселей, давших изображение конкретной точки неба. Если точка неба в окончательном изображении построена одним пикселем, то погрешность его калибровки войдёт в значение этой точки полностью. Если же изображение точки неба построено разными пикселями за счёт дизеринга - ошибки калибровки этих пикселей усреднятся и различные методы клиппинга отбросят сильно отличающиеся значения. Опять же, при случайном дизеринге пиксель с большой погрешностью калибровки, например, подверженный "телеграфному шуму", не прочертит трек и не нарисует "метлу".

[diant]

Коллеги, спасибо всем ответившим! Мое мнение таково.

1). Небо (градиенты, неоднородности атмосферы, и т.п.) - не имеет к феномену ровным счетом никакого отношения. И рост QE и 1/RN современных матриц тут совсем ни при чем. Здесь я готов голову положить на плаху, а если нужно доказать это строго (там рассуждения просты).
Еще раз повторю - речь идет о ВЧ метле, возникающей при гидировании без подвижек, но с полной и корректной калибровкой ("хоты" в ней уже исключены).

2). Неидеальность мира... философский вопрос. Не хочу уклоняться, но я не склонен к суеверному или церковному мышлению, и считаю, что в это мире все (абсолютно все) имеет свои причины и происходит согласно безупречным законам. Если говорить о чьей-то "неидеальности", то не мира, а нашего знания о нем. Тогда согласен

3). Версия " остаточной неоднородности после калибровки" (Олега и Димы) разделяется и мною. И у меня есть ощущение, что в современном типичном варианте калибровки пропущен один шаг (возможно он даже делается на проф. камерах в обсерваториях, где по результатам съемки занимаются серьезной фотометрией). А именно - у нас есть ДАРК, БИАС, ФЛЭТ. А должен быть еще РЕСПОНС.
Что я имею в виду - нужно калибровать "отклик" пикселов по всей шкале от 0 фотонов до полной ямы. Такой калибровочный файл получится трехмерным (огромным), но можно это дело немного сократить - калиброваться в области первых фотоэлектронов подробно, а дальше уже с большим прореживанием. Флэт к сожалению не заменяет полностью такой калибровки. Также как Color Management, встроенный в винду, не заменяет калибратора, который работает по очень большому числу точек цветового пространства.

4). Почему для РЕСПОНСа важна область самых первых электронов. Тут все просто. Все мы (практически без исключения), обрабатывая итоговую сумму, делаем с ней сильное экспоненциальное преобразование, растягивая тени и компрессируя света. И участок, который у нас сильнее всего растягивается (и где рождается эта метла), заключен в самых глубоких тенях. Именно там малейшая неоднородность отклика пикселов растягивается немеряно.

5). В пункте 4, возможно, скрывается (если я правильно понимаю причину) и очевидный способ избегать метлы в принципе. Нужно просто снимать не "лаки", а длинными субами. Тогда у нас пикселы (в отдельных субах) всегда будут работать сразу на далеких участках от "0 фотоэлектронов". А там небольшие абсолютные отклонения респонса превращаются в пренебрежимо малые относительные вариации яркости.
Короче говоря, кто снимает по старому (длинными 10 или даже 30 минутными субами в L+RGB) по-видимому с метлой не сталкивается и вовсе, даже без подвижек. А кто лезет в "лаки" и забывает делать подвижки - попадает на эти грабли.

[Дмитрий Маколкин]

Всё верно. Мы калибруемся со строгим допущением линейности отклика камеры на свет. N электронов производятся и регистрируются в результате воздействия M фотонов. Если зарегистрировано 2*N электронов, то предполагается, что и фотонов было 2*M.

И тем не менее, если даже учесть эту погрешность, всё равно останется остаточная ошибка, определяемая стохастической природой процессов регистрации света и темнового тока.

[diant]

И тем не менее, если даже учесть эту погрешность, всё равно останется остаточная ошибка, определяемая стохастической природой процессов регистрации света и темнового тока.

Дим, стохастическая ошибка (вариации пуассоновского процесса) метлы не даст. Только систематическая.

[Дмитрий Маколкин]

И тем не менее, если даже учесть эту погрешность, всё равно останется остаточная ошибка, определяемая стохастической природой процессов регистрации света и темнового тока.

Дим, стохастическая ошибка (вариации пуассоновского процесса) метлы не даст. Только систематическая.

Неточность мастердарка, флета и биаса как раз и даст такую систематическую ошибку.
Но хорошо бы и посчитать.

С флетами вообще чудесам могут быть. Тут нелинейность отклика вообще может таких "чудес" накрутить... и не только нелинейность...
Вот почему, например, на 294-й вставление коротких выдержек между длинными при съёмке флетов заметно меняет картину с цветными разводами фона?

[mo]

2). Неидеальность мира... философский вопрос. Не хочу уклоняться, но я не склонен к суеверному или церковному мышлению, и считаю, что в это мире все (абсолютно все) имеет свои причины и происходит согласно безупречным законам. Если говорить о чьей-то "неидеальности", то не мира, а нашего знания о нем. Тогда согласен

О том и вёл речь. Приводя в пример отсутствие охлаждения АЦП в CCD (и это не единственный плохо детерминированный фактор). Не бывает идеальной калибровки. Она, как и многие другие процессы реальной жизни, ассимптотически приближается к идеалу, не достигая его никогда.

5). В пункте 4, возможно, скрывается (если я правильно понимаю причину) и очевидный способ избегать метлы в принципе. Нужно просто снимать не "лаки", а длинными субами. Тогда у нас пикселы (в отдельных субах) всегда будут работать сразу на далеких участках от "0 фотоэлектронов". А там небольшие абсолютные отклонения респонса превращаются в пренебрежимо малые относительные вариации яркости.

Лакки или другие Собакки - дело десятое. Потому как и телескопы разные, и камеры, и небо и ещё то и сё. Ну добавим ещё один фактор, снимая лакки (малую выдержку). Да, метла станет прочнее. Но проблема есть и в классике. Ибо там тянут круче. И, в итоге, низы видны примерно одинаково. Ибо тянешь-потянешь и у каждого есть свой стоп, когда он говорит "ну дальше уже только шумы" и останавливается.

Посему, я так понимаю, что единственное место рождения метлы может быть только в:
- отсутствии или малой амплитуде / случайности подвижек;
- сильном дрифте (далеко гид-звезда, сильно кривая полярка);
- плохой калибровке или её отсутствии;
- жадности. Когда низы тянут сверх меры.

Но, как писал классик, лучше быть богатым и здоровым, чем бедным и больным. Снимаем с подвижками, калибруем и косметим сабы, складываем с сигмой и всё наладится. В т.ч. погода. Пойду крышу открыть, почти две недели неба не было!

[#yuriy#]

Почитал тему, интересно но некоторые споры не о чём.
У меня на практике, большой опыт съёмки с камерами zwo1600-color, zwo1600-mono, zwo183pro-mono, zwo2600-color.
снимал в программах Nebulosity 4, APT и  zwo-asi-studio.
Так вот никогда не встречал так называемой метлы, ни с подвижками, ни без подвижек, ни с калибровкой, ни без калибровки.
Только на цветных камерах при съёмке без подвижек были намёки не полосатость, поэтому съёмка на цветные камеры, обязательно требует подвижек.
Всегда удивляли выставленные на форуме монохромные суммы с диагональными полосами. Но 100% был уверен что случайные подвижки и калибровка, должны убирать это недоразумение.

[Ihtamnet II]

 
Есть общепризнанная известная проблема. Есть способы решения, варианты объяснений причин возникновения.
Тут выходит человек и говорит "У меня большой опыт, проблемы нет!"
Ну какую реакцию это может вызывать? 

[#yuriy#]

Есть способы решения, варианты объяснений причин возникновения.

Из всех обсуждений, не увидел, конкретного объяснения причин возникновения данной проблемы.
Одни теории. Я лишь сказал, что на моей практике, с моими камерами, такой проблемы не встречал.

[p.v.]

Смоделировал в стеллариуме положение своего снимка по времени съемки и кадрированию. У меня метлу дает Солнце. Это градиент неба. Он задает неизменный по направлению вектор, полярка с гидом дергают его с амплитудой ошибки. Небо постепенно крутится, в итоге имеем дугообразную метлу. Проверьте ее направление на своих снимках и сравните с направлением на Солнце, на Луну, или у кого что ярче светит.

[hammereal]

Снимаю всегда с межкадровыми подвижками, через каждый кадр,  время "успокоения" для фокуса 950мм ставлю 65 сек (жалко, но считаю оправдано). У меня монохром на базе , сенсора Sony ICX453AQ, "обесцвечен" путем удаления цветных микро-линз, естественно остались "задиры" на матрице -подвижки на 5-6 пикселей их нормально убирают....
На такой же цветной ICX453AQ  - также всегда снимаю с подвижками, с фоном проблем нет...

[Fatalik]

с фоном проблем нет.

Так ты фон обычно давишь нещадно =) там любую метлу спрятать можно =)

(я если что без негатива =) на вкус и цвет все фломики разные. я люблю светлый фон. ты темный.. )

[vivid_grey]

Почитал тему, интересно но некоторые споры не о чём.
У меня на практике, большой опыт съёмки с камерами zwo1600-color, zwo1600-mono, zwo183pro-mono, zwo2600-color.
снимал в программах Nebulosity 4, APT и  zwo-asi-studio.
Так вот никогда не встречал так называемой метлы, ни с подвижками, ни без подвижек, ни с калибровкой, ни без калибровки.
Только на цветных камерах при съёмке без подвижек были намёки не полосатость, поэтому съёмка на цветные камеры, обязательно требует подвижек.
Всегда удивляли выставленные на форуме монохромные суммы с диагональными полосами. Но 100% был уверен что случайные подвижки и калибровка, должны убирать это недоразумение.

   Снимаю в основном на цветные камеры, и тоже, честно говоря, сталкивался с этой проблемой только тогда, когда подвижки по тем или иными причинам не делались вообще. С подвижками - всегда все  было ОК.
   Имхо  ( это всего лишь непроверенная версия ) причиной может быть не отсутствие подвижек, а неправильно выставленный шаг этих подвижек. Некоторые программы ( SGPro, например  а также настройки в PHD2 и  EQmod ) ) в принципе позволяют по ошибке выставить эту подвижку ничтожно маленькой - и тогда, вместо желаемой ликвидации треков, мы получим как раз обратный результат.

[4D]

3). Версия " остаточной неоднородности после калибровки" (Олега и Димы) разделяется и мною. И у меня есть ощущение, что в современном типичном варианте калибровки пропущен один шаг (возможно он даже делается на проф. камерах в обсерваториях, где по результатам съемки занимаются серьезной фотометрией). А именно - у нас есть ДАРК, БИАС, ФЛЭТ. А должен быть еще РЕСПОНС.
Что я имею в виду - нужно калибровать "отклик" пикселов по всей шкале от 0 фотонов до полной ямы. Такой калибровочный файл получится трехмерным (огромным), но можно это дело немного сократить - калиброваться в области первых фотоэлектронов подробно, а дальше уже с большим прореживанием. Флэт к сожалению не заменяет полностью такой калибровки. Также как Color Management, встроенный в винду, не заменяет калибратора, который работает по очень большому числу точек цветового пространства.

Очень на то похоже.
Иногда балуюсь съёмкой в раве на телефон. Можно поставить его под наклоном на землю, запустить интервалометр, снять кадров 10-15 и сложить по звёздам. И вылазит метла. Причём, если сложить по земным объектам — то метла не вылазит, но явно видно, что шум давится не так эффективно, именно из-за того что:

дизеринг - он усредняет погрешности калибровки пикселей, давших изображение конкретной точки неба. Если точка неба в окончательном изображении построена одним пикселем, то погрешность его калибровки войдёт в значение этой точки полностью. Если же изображение точки неба построено разными пикселями за счёт дизеринга - ошибки калибровки этих пикселей усреднятся

Также гипотеза о том, что метла складывается из двух типов "шумов":

Помимо временных шумов матриц, существуют и пространственные.
Пример 1 - fixed pattern noise. Короче это когда у тебя реальный пьедестал несколько разный у разных пикселов.
Пример 2 - PRNU (pexel response non-uniformity), по-простому, чуть разные коэффициенты усиления по разным пикселам.
Для КМОС иметь такие простр. шумы сам бог велел - там ведь свои усилители в каждом пикселе.
Как определить силу первого шума своей матрицы. Надо делать мастер БИАС, устремив n к бесконечности. Если с ростом n (число отснятых БИАСов) мастербиас будет сильно стремиться к ровному полю, значит паттерн-нойз маленький. Если очень скоро с ростом n картинка мастербиаса примет явный устойчивый рисунок - наш пациент.
Второй шум - то же самое, только по флэтам надо смотреть.

Выглядит очень разумно. Даже если допустить, что дарк и оффсет делаются при той же температуре и полностью убивают соответствующие им вклады, то флэты обычно снимаются на таких выдержках, чтобы попасть в 2/3 от гистограммы. А это ой как далеко от самых первых отсчётов матрицы. И при этом при предполагаем, что деление лайта на флет будет приводить его [лайт] к равномерной освещённости вне зависимости от экспозиции aka отсчётов, которые получила матрица. А это выполнимо только если у нас 100% линейности отклика. Что для наших любительских матриц хотя и выполняется с более-мене достаточной точностью, но всё-таки неидеально.

Так вот, прием будет такой: в момент подвижки, кроме (или вместо) самой подвижки подойти и ударить ногой по одной и распорок треноги, тем самым изменив ошибку полярной оси монтировки.

https://astronomy.ru/forum/index.php/topic,16429.msg5023266.html#msg5023266 Хотя и без пинков.

[4D]

Выглядит очень разумно. Даже если допустить, что дарк и оффсет делаются при той же температуре и полностью убивают соответствующие им вклады, то флэты обычно снимаются на таких выдержках, чтобы попасть в 2/3 от гистограммы. А это ой как далеко от самых первых отсчётов матрицы. И при этом при предполагаем, что деление лайта на флет будет приводить его [лайт] к равномерной освещённости вне зависимости от экспозиции aka отсчётов, которые получила матрица. А это выполнимо только если у нас 100% линейности отклика. Что для наших любительских матриц хотя и выполняется с более-мене достаточной точностью, но всё-таки неидеально.

Вот, решил-таки это проверить. Но для начала разобраться с теорией.
Есть всем известная формула калибровки астроизображений

\( signal = \frac{light - offset_{master} - dark_{master}}{flat_{master} } \)

1*

Где мастер-кадры получаются путём усреднения индивидуальных offset, dark и flat снимков, процедуры получения которых, я полагаю всем известны. Число калибровочных кадров желательно иметь чем больше, тем лучше.
Стартовая формула берётся из-за того факта, что свет, попадающий на камеру проходит через оптический тракт и первым делом некоторая его доля поглощается объективом/светофильтрами, затем заряд, накопленный в ячейках, умножается на некий коэффициент, задаваемый пользователем aka ISO/gain. И в конце происходит оцифровка. А мы, дабы получить исходный сигнал, разворачиваем цепочку обратно:

\( ADU_{light} = photoelectrons_{light} \cdot transmission \cdot gain  + offset \)

2*

(Темновой ток я исключил из рассмотрения, т.к. принципиально нового он нам ничего не добавит, а выкладки увеличит.)
Для анализа нам реально доступны только значения \(ADU\) (Analog-Digital Units) значения, выдаваемые нам аналогово-цифровым преобразователем (АЦП). Какому числу фотоэлектронов (дальше я буду обозначать их как \(e^-\)) они соответствуют нам необходимо определять самостоятельно. Например, чтобы получить число зарегистрированных электронов \(e^-_{light}\) нам нужно снять кадр без засветки матрицы, иначе величину \( ADU_{offset} \) мы определить не можем. А значит, не можем и значение \( {offset} \) вычислить.
В формуле 2* коэффициент \( transmission \) представляет собой коэффициент пропускания оптической системы (включая  чувствительность индивидуальных пикселей и общее виньетирование системы). Разделять эти два параметра тут я не буду, т.к. на принципиальные выводы это не влияет.

Для начала рассмотрим мастер-оффсет.
Даже при полном отсутствии света матрица генерирует некоторое количество отсчётов, просто из-за тепловых флуктуаций (плюс сам АЦП шумит). Причём все эти флуктуации добавляются к нашему регистрируемому сигналу. Чтобы определить во-первых, величину этого "паразитного сигнала", а во-вторых, чтобы не вносить излишний шум при вычитании мастер-оффсета из одиночных лайтов, таких кадров делают много. Тогда случайные шумы имеют возможность усредняться, а систематические, повторяющиеся от кадра к кадру, остаются на итоговой сумме. В теории, если все пиксели одинаковы, то как уже было отмечено:

Помимо временных шумов матриц, существуют и пространственные.
Пример 1 - fixed pattern noise. Короче это когда у тебя реальный пьедестал несколько разный у разных пикселов.
Пример 2 - PRNU (pexel response non-uniformity), по-простому, чуть разные коэффициенты усиления по разным пикселам.
Для КМОС иметь такие простр. шумы сам бог велел - там ведь свои усилители в каждом пикселе.
Как определить силу первого шума своей матрицы. Надо делать мастер БИАС, устремив n к бесконечности. Если с ростом n (число отснятых БИАСов) мастербиас будет сильно стремиться к ровному полю, значит паттерн-нойз маленький. Если очень скоро с ростом n картинка мастербиаса примет явный устойчивый рисунок - наш пациент.
Второй шум - то же самое, только по флэтам надо смотреть.

При этом если мы будем считать статистику по всему кадру, то в случае идеальных пикселей дисперсия их сигналов будет стремиться к нулю при усреднении всё бо́льшего и бо́льшего числа кадров, а если оффсеты для каждого свои — то мы упрёмся в некоторый предел, определяемый матрицей, и ниже продвинуться уже не сможем. Хотя ничего страшного в этом нет, при грамотной калибровке все эти неоднородности вычтутся вполне неплохо.

Предположим мы сняли 25 кадров для мастер-оффсета, тогда его итоговый шум для идеальной матрицы будет в ~5 раз меньше, чем на одиночном оффсете. Или чуть больше, если разброс по пьедесталу для индивидуальных пикселей существует. Так или иначе, характерные величины оффсетов на современных зеркалках лежат в районе \(ADU_{offset} \sim 1000-2000\) , а после усреднения 20-40 кадров дисперсия оффсета обычно не превышает нескольких единиц \( \Delta ADU_{moffset} \sim 1\div 5 \). Например для Canon 450D на ISO 400 (Gain ~ 2) само значение \( ADU_{moffset} =1024 \), а \( \Delta ADU_{moffset} \sim 12 \) на одиночном кадре и для 25 кадров \( \Delta ADU_{moffset} = 3.3 \div 3.5 \), в зависимости от того, складываем ли мы медианой или средним арифметическим. В любом случае, значение получается чуть больше теоретического (\(12/\sqrt{25}=2.4\)), что свидетельствует об упомянутых выше эффектах. В дальнейшем, при вычитании мастер-оффсета именно это значение шума мы привнесём в каждый одиночный кадр при калибровке.

Если выбросить из рассмотрения темновой ток, как я уже сказал, предположив, что мы снимаем относительно небольшими выдержками, то формулу 1* с учётом 2* можно переписать как:

\( e^-_{light} = \frac{ADU_{light} - offset_{master}}{transmission \cdot gain} \)

3*

Отсюда и далее индексы \( light\), \( flat\), \( master\) переобозначены соответственно, как \(l\), \(f\). \(m\)
Формула для ошибки на \( \Delta e^-_{l} \) по расчётам для косвенных измерений запишется как:

\( \Delta e^-_{l} = \sqrt{ (\frac{ADU_{l} - offset_{m}}{transmission^2 \cdot gain})^2 (\Delta transmission )^2 + \frac{1}{(gain \cdot transmission)^2} (\Delta ADU_{l})^2 + \frac{1}{(gain \cdot transmission)^2} (\Delta offset_{m})^2 }  \)

4*

Или оно же:

\( \Delta e^-_{l} = \frac{ADU_{l} - offset_{m}}{transmission \cdot gain} \sqrt{ \frac{(\Delta transmission )^2}{transmission^2}  + \frac{(\Delta ADU_{l})^2}{(ADU_{l} - offset_{m})^2} + \frac{(\Delta offset_{m})^2}{(ADU_{l} - offset_{m})^2}  }        \)

5*

При выводе предполагается, что ошибка gain отсутствует полностью.


Теперь хотелось бы понимать, а каковы величины каждого из слагаемых в формуле. Начнём с первого из них. Определим погрешность определения пропускания \( \Delta transmission \).
Из формулы:

\( ADU_{f} = e^-_{f} \cdot transmission \cdot gain  + offset \)

6*

\( \frac{ADU_{f} - offset_{m}}{e^-_{f} \cdot gain} =  transmission    \)

7*

Аналогично формуле 4*

\( \Delta transmission = \frac{ADU_{f} - offset_{m}}{e^-_{f} \cdot gain} \sqrt{ \frac{(\Delta e^-_{f})^2}{(e^-_{f})^2}  + \frac{(\Delta ADU_{f})^2}{(ADU_{f} - offset_{m})^2} + \frac{(\Delta offset_{m})^2}{(ADU_{f} - offset_{m})^2}  }        \)

8*

Типичная зеркалка имеет АЦП 14 бит. Что означает, что в нашем распоряжении ~16000 отсчётов. Даже если мы экспонировали наш кадр плоского поля достаточно слабо, не в 2/3 от доступного диапазона, а так, что после вычитания мастер-оффсета у нас остался сигнал всего в \(ADU_{f} - offset_{m}=1000\), то, в предположении, например единичного гейна, погрешность измерения \( \Delta transmission\) будет равна:

\( \Delta transmission = transmission \sqrt{ \frac{1000}{(1000)^2}  + \frac{\sim 1000}{(1000)^2} + \frac{(\sim 2 \div 3)^2}{(1000)^2}  }  \sim \sqrt{\frac{2}{ADU_{f} - offset_{m}}}       \)

9*

Где величина \(\Delta e^-_{f} \) была оценена согласно распределению пуассона, как \( \sqrt{ e^-_{f}}\), а т.к. gain мы приняли близким к единице, то \(  e^-_{f} \sim ADU_{f} - offset_{m} \)
Подставив 9* в 5* получим:

\( \Delta e^-_{l} = e^- \sqrt{ \frac{(\Delta e^-_{f})^2}{(e^-_{f})^2}  + \frac{(\Delta ADU_{f})^2}{(ADU_{f} - offset_{m})^2} + \frac{(\Delta offset_{m})^2}{(ADU_{f} - offset_{m})^2}  + \frac{(\Delta ADU_{l})^2}{(ADU_{l} - offset_{m})^2} + \frac{(\Delta offset_{m})^2}{(ADU_{l} - offset_{m})^2}  }        \)

10*

Отсюда видно, что если мы экспонируем флэты так же,  как у нас заполнены лайты — то мы фактически увеличиваем итоговую относительную ошибку в корень из двух раз. Ухудшая во столько же раз snr итоговой суммы. Естественно, при условии, что флэтов у было отснято ровно столько же, сколько и лайтов. Если мы снимаем их в 8 раз больше (или заполняем гистограмму на три стопа больше), то итоговое ухудшение snr будет уже не в корень из двух раз больше, а всего в \( \sqrt{8+1} /\sqrt{8} = 1.06 \) раз.

[4D]

Теперь, когда теоретической воды налили — дело за проверкой на практике. Что было сделано:
Сняты кадры плоского поля, имитирующие как полезный сигнал, так, собственно использующиеся и для калибровки этого сигнала.
Было снято 2 последовательности:
1) 8 Флэтов по 1/6 секунды на ISO 400 и диафрагме f/11 (чтоб и выдержка была побольше и пыль проявилась получше). Эти кадры были проинспектированы в ирисе на предмет пересвета и было получено среднее значение пикселей в зелёном канале \(~7935\) с дисперсией \(130\). В итоге было взято только 4 из них, далее будет объяснено почему, но итоговое "время накопления" ~ 2/3 секунды.
2) 64 флэта на три ступени тусклее первых, т.е. света на них упало в 8 раз меньше, что соответствовало выдержке в 1/50 секунды. Среднее значение пикселей в зелёном же канале было уже \(976\) с дисперсией \(44.4\).
Для начала сделаем sanity check (проверку на вшивость). ISO 400 в моих более ранних экспериментах давал для Canon 450D переводной коэффициент \(0.52 e-/ADU\). Что соответствует примерно двойному гейну (1.91). Значит для длинного флета на \(7935\) приходится вдвое меньше фотоэлектронов \(~3966\). дисперсия, согласно распределению пуассона — корень из этого: \(63\). Ну а т.к. мы каждый отсчёт растянули вдвое — дисперсия для \(\Delta ADU = 2 \cdot 63 = 126\). Т.е. цифры бьются. Для короткого флета петрушка аналогичная — можете проверить. При этом что для длинного, что для короткого флэта фотонный шум во много раз превышает шум считывания в 12 единиц (10.5 и 3.7 раз соответственно), поэтому и наблюдается почти полное совпадение расчётного и экспериментального шумов: оффсет тут практически ничего не вносит.
Дальше начинаем создавать из первой половины коротких флэтов — мастер-флэт. Чтобы всё-таки убедиться, берётся ли метла на снимках из-за недостаточной линейности отклика каждого пикселя, или же из-за чего-то ещё. Для этого нам естественно из каждого кадра нужно вычесть мастер-оффсет. Это немного ухудшит нам ситуацию с шумом, но давайте проверим на бумаге и сравним. Для этого я загрузил первый файл в серии и измерил дисперсию. Она оказалась равной 43.9. Дисперсия на мастер-оффсете равна, как я уже сказал, 3.5:
\(\sqrt{43.9^2 + 3.5^2}=44.04\)
После проведения операции — получаю результат \(44.0\). Пока всё по учебникам. Так что оффсетов больше 25-30 снимать особого смысла нет. По-крайней мере если вы снимаете в зоне с засветкой, или можете выставить такую выдержку, чтобы фон у вас был в ~1000 отсчётов от 16k.
Смело калибруем наши исходники и теперь складываем их в мастер-флэт. Для первой половины после усреднения получаем \(975.2 \pm 10.1\) . Для второй половины — \(972.6 \pm 10.2\). Что как бы уже не очень стыкуется с полной независимостью отсчётов по пикселям, потому что если бы это было так — величина дисперсии должна была бы быть в районе \(44/\sqrt{32}=7.78\)
Вот мы и пришли к тому, что уже говорил @diant. Повторю ещё раз:

Помимо временных шумов матриц, существуют и пространственные.
Пример 1 - fixed pattern noise. Короче это когда у тебя реальный пьедестал несколько разный у разных пикселов.
Пример 2 - PRNU (pexel response non-uniformity), по-простому, чуть разные коэффициенты усиления по разным пикселам.
Для КМОС иметь такие простр. шумы сам бог велел - там ведь свои усилители в каждом пикселе.
Как определить силу первого шума своей матрицы. Надо делать мастер БИАС, устремив n к бесконечности. Если с ростом n (число отснятых БИАСов) мастербиас будет сильно стремиться к ровному полю, значит паттерн-нойз маленький. Если очень скоро с ростом n картинка мастербиаса примет явный устойчивый рисунок - наш пациент.
Второй шум - то же самое, только по флэтам надо смотреть.

Вот и посмотрели. Есть они там родимые. Так что — да подвижки наше всё. Плюс вопрос исследования оптимальных выдержек, который я тоже хотел тут затронуть, убив двух зайцев сразу, тоже придётся пока отложить на потом. А пока — вернёмся к нашим баранам. Какие же флэты лучше уберут имеющиеся у нас неоднородности усиления, на которые мы напоролись: длинные или же те, что сняты с тем же заполнением гистограммы, что и наши лайты? Для этого возьмём вторую половину наших коротких кадров (33-64) и сделаем из них короткий мастер-флэт, который хотя будет и более шумным, чем длинный — возможно окажется лучшим в борьбе с метлой, чем длинный.
Поэтому дальше — берём первую половину изображений и калибруем её флэтом, получившимся из второй половины. Переводим в цвет и складываем тремя разными способами:
1) Сложение без смещений вообще, как будто у нас было идеальное ведение монтировки.
2) Сложение со стабильным смещением на 2 пикселя по горизонтали и по вертикали, имитируя дрейф.
3) Сложение со стабильным смещением на 2 пикселя по горизонтали и по вертикали, плюс случайные подвижки разыгранные согласно равномерному распределению в диапазоне \([-8, +8]\)
Потом повторяем все те же манипуляции, используя уже длинный флэт. Т.к. для первой части в итоговую сумму пошла только половина кадров, поэтому и для длинного мастер-флэта я использовал только 4 кадра, а не 8.

Результаты даны на картинке ниже. Выводы можно сделать такие, что экспонирование флэта слабо влияет на его способность устранять метлу. Равно как и то, что недоэкспонированные флэты якобы не работают. Максимум что они могут — внести лишний шум в исходники.

А всё-таки, что там насчёт оптимальной выдержки?.. Я нашёл обходной путь, опять таки через подвижки. Разваливаем наши CFA файлы на RGGB составляющие, задаём им случайные смещения и опять же складываем, усредняя таким образом неоднородность в гейне. И обработанные таким способом файлы показывают уже практически идентичные результаты. Для длинного усреднённого из чётырёх кадров "флета" имеем значение \(7930 \pm 62\) То есть, как и предсказывает теория \(\sqrt{7930/2} \cdot 2 / \sqrt{4}= 63\). Для короткой серии: \(976 \pm 7.8\). По теории должно быть \(\sqrt{976/2} \cdot 2 / \sqrt{32}= 7.8\). Ну или если мы приведём длинную серию к короткой по яркости простой растяжкой гистограммы: \( (976 \pm 7.8 ) \cdot 8.13 = 7934 \pm 63.4\) Т.е. практически один в один, как и у длинных четырёх кадров. Если же смеха ради разделить одну сигму на другую, то получим \(63.4/62 = 1.022\) Т.е те самые наши 2% потери snr, т.к. шум считываения на коротких изображениях был всего \(ADU_{offset}=12\) на фоне \(ADU_l = 44\) фотонного шума. Что и даёт нам по формулам \(\sqrt{44^2+12^2}/44=1.037\). Что на фоне ошибок измерений я считаю безупречным попаданием.