Дарки - дело темное. Статистика дарков.

[mo]

Выражаясь другими словами, ИМХО, нет темы для обсуждения. Всё понятно, стремление к идеалу похвально, но на практике не критично, в калибровке хорошо работают любые аккуратно снятые дарки.

Юрий, я не согласен на все 100% . Ни с автором, ни с последним, выделенным мною абзацем ответа.

Есть тема для обсуждения .

Сейчас я пришёл к выводу, что недавно снятые мною при +7° пятьдесят пятиминутных дарков, с использованием оптимизации дарка в pixInsight, калибруют так же (с точностью snr до сотых), как годичной давности 15 десятиминуток, снятых примерно на той же "неподходящей" температуре. Сами лайты снимались при температуре гораздо ниже, думаю это имеет значение для пикселей, близких к насыщению темновым током.

В то же время я технически не могу снимать качественные дарки каждую ночь по двум причинам: меня нет у телескопа и пока нет возможности закрывать его крышку; температура матрицы кэнона, как, в числе прочих, отметил и Gray, зависит от многих факторов, в т.ч. первый это кадр сессии или последний.

То есть без оптимизации дарка никак. Многие сходятся на том, что в пиксе 1.6.1 она реализована лучше конкурентов.
Поэтому я пришёл к выводу, что не нужно снимать дарки каждую ночь, достаточно снять достаточное их количество с достаточным качеством раз в пол года.

Хотя честно признаюсь, тему не осилил .

[Grey_]

... 2) обсуждалась неоднократно в разных контекстах, однозначного рецепта "как надо делать?" так и не было выработано.

Так вот и давайте всем форумом выработаем этот рецепт (иль скорее рецепты). Одному мне точно не осилить Причем хочется иметь не качественную оценку в стиле "Лучше делать так..." а количественную - "Если делать так, то snr будет на х% больше, а если делать вот так, то потеряем y% в snr."

Вопрос 1 в случае не полностью термостабилизированной камеры сильно осложняется изменением внешней температуры.

Очевидно, что осложняется. Сильно? Это сильно надо бы измерить хоть в каких-нибудь попугаях. Наука, как никак, начинается там, где вместо качественных оценок появлются количественные.

Вопросы 2-5, поставленные в первом посте темы, много и активно обсуждались как в русскоязычной астротусовке, так и западными любителями и профессионалами. Алгоритмы оптимизации дарков известны и с разной степенью успеха реализованы в доступном астрософте для калибровки (Iris, PixInsigts, etc.)

Обсуждения видел, но, увы, ни алгоритмов, ни формул не встречал. Не порадуете ли ссылочками?

По теме, которая, без сомнения крайне важна, -
в реальных условиях речь идёт об экспозициях в районе 10-20 мин.
Реальное количество дарков, которое можно снять,  зачастую ограничивается временем на закате/рассвете.
Практическая рекомендация проста как 2х2, "снять так много дарков, как позволяет время".
Всё. Шумы будут падать как корень квадратный из числа дарков. Минимальный критерий приемлемого числа дарков каждый выбирает для себя сам. Выбрасывать ли какие-то из дарков потому, что они были сняты в процессе термостабилизации камеры - для длинных экспозиций не критично, особенно, если начинать щёлкать дарки на "прогретой" камере, сразу после съёмки серии лайтов.

Как корень квадратный из числа дарков будут падать не шумы, а отклонение среднего по этому числу дарков от "идеального дарка" (дарка полученному усреднением по сотням дарков). А шумы (точнее шум разницы дарк минус усредненный дарк) будут ассимптотически стремиться к некой константе (ее грубая оценка снизу - сигма дарка пополам). Что иллюстрирует второй график поста https://astronomy.ru/forum/index.php/topic,80714.msg1421125.html#msg1421125
Из графика видно, что снимать как можно больше дарков смысла не имеет. 10-15 вполне достаточно.
А рекомендацию снимать дарки в конце сессии поддерживаю обеими руками

[Юрий Торопин]

Вопросы 2-5, поставленные в первом посте темы, много и активно обсуждались как в русскоязычной астротусовке, так и западными любителями и профессионалами. Алгоритмы оптимизации дарков известны и с разной степенью успеха реализованы в доступном астрософте для калибровки (Iris, PixInsigts, etc.)

Обсуждения видел, но, увы, ни алгоритмов, ни формул не встречал. Не порадуете ли ссылочками?

Вот как описывается оптимизация для случая PixInsight'a, комментарии к релизу 1.6.0:
"Automatic optimization (scaling) of master dark frames, using a wavelet-based noise estimation algorithm and a robust function minimization routine."
Там же на форуме можно найти и чуть более развёрнутое объяснение от Juan Conejero на тему оптимизации дарков.

...Шумы будут падать как корень квадратный из числа дарков....

Как корень квадратный из числа дарков будут падать не шумы, а отклонение среднего по этому числу дарков от "идеального дарка" (дарка полученному усреднением по сотням дарков). А шумы (точнее шум разницы дарк минус усредненный дарк) будут ассимптотически стремиться к некой константе (ее грубая оценка снизу - сигма дарка пополам). ...

Я извиняюсь, но - абсолютно не вкурил до конца...
Меня интересует то, насколько улучшается S/N для суммы K дарков по сравнению с S/N для одиночного дарка. В этом случае и будет зависимость "квадратный корень" из числа дарков в сумме.

[Grey_]

Вот как описывается оптимизация для случая PixInsight'a, комментарии к релизу 1.6.0:
"Automatic optimization (scaling) of master dark frames, using a wavelet-based noise estimation algorithm and a robust function minimization routine."
Там же на форуме можно найти и чуть более развёрнутое объяснение от Juan Conejero на тему оптимизации дарков.

Спасибо, почитаю обязательно.

...Шумы будут падать как корень квадратный из числа дарков....

Как корень квадратный из числа дарков будут падать не шумы, а отклонение среднего по этому числу дарков от "идеального дарка" (дарка полученному усреднением по сотням дарков). А шумы (точнее шум разницы дарк минус усредненный дарк) будут ассимптотически стремиться к некой константе (ее грубая оценка снизу - сигма дарка пополам). ...

Я извиняюсь, но - абсолютно не вкурил до конца...
Меня интересует то, насколько улучшается S/N для суммы K дарков по сравнению с S/N для одиночного дарка. В этом случае и будет зависимость "квадратный корень" из числа дарков в сумме.

S/N для одиночного дарка? А в дарке нет никакого сигнала. Вероятно вы имели в виду дисперсию. Похоже мы просто говорим о разном. Как я понял вы говорили о следующем:

[Grey_]

Попробую изложить свое понимание иными словами:

[StasV]

Попробую изложить свое понимание иными словами:

В формулах не учтено отсутствие/наличие межкадровый сдвига при съемки Лайтов
Результат будет принципиально отличаться в плане влияния шумов дарка на финальный результат.

[Grey_]

Попробую изложить свое понимание иными словами:

В формулах не учтено отсутствие/наличие межкадровый сдвига при съемки Лайтов
Результат будет принципиально отличаться в плане влияния шумов дарка на финальный результат.

Вы о каком именно влиянии? Если о том которое оказывает неидентичность пикселей, то надо бы суммировать с весами обратно пропорциональными квадрату дисперсии пикселей. Однако я не вижу в этом принципиальных отличий. Результат будет почти тот же.
Конечно здесь не учтено еще многое: ошибки вносимые нормировкой на флеты, неидентичность пикселей (у них разные чувствительности и шумы), корреляционные свойства соседних пикселей, статистические свойства фотонов (Бозе-Эйнштейновская статистика оных), корреляция/декорреляция вносимая атмосферой, ошибки вносимые дебайеризацией, ошибки дискретизации и т.д. Но, ИМХО, на вывод о количестве дарков это слабо влияет.

[StasV]

Эйнштейн тут не причем
Ошибка принципиальная в выкладках. Неправильно в формулах включены дарки. Думайте. Об этом писалось на форуме 2-3 мес. назад

[Grey_]

Ошибка принципиальная в выкладках. Неправильно в формулах включены дарки. Думайте. Об этом писалось на форуме 2-3 мес. назад

Я в недоумении. Т.е. вы помните, что неправильно, но не помните как правильно и не помните в чем неправильность? Коллеги, может кто-нибудь помнит? Начинаю перелопачивать форум...

[StasV]

Ошибка принципиальная в выкладках. Неправильно в формулах включены дарки. Думайте. Об этом писалось на форуме 2-3 мес. назад

Я в недоумении. Т.е. вы помните, что неправильно, но не помните как правильно и не помните в чем неправильность? Коллеги, может кто-нибудь помнит? Начинаю перелопачивать форум...

Да нет же почему, я все помню, даже формулу уже на бумажке написал   Просто говорить не хочу. Проникнитесь процессом познания сами, раз взялись за дело.

Кто знает, не подсказывайте!

Пройдитесь по всему процессу калибровки внимательно и правльно разделите средние значения от дисперсий

[Grey_]

Ошибка принципиальная в выкладках. Неправильно в формулах включены дарки. Думайте. Об этом писалось на форуме 2-3 мес. назад

Я в недоумении. Т.е. вы помните, что неправильно, но не помните как правильно и не помните в чем неправильность? Коллеги, может кто-нибудь помнит? Начинаю перелопачивать форум...

Да нет же почему, я все помню, даже формулу уже на бумажке написал   Просто говорить не хочу. Проникнитесь процессом познания сами, раз взялись за дело.

Кто знает, не подсказывайте!

Пройдитесь по всему процессу калибровки внимательно и правльно разделите средние значения от дисперсий

Кажется я понял, что вас смущает. Я вычитал усредненный дарк не из каждого лайта, а из усредненного лайта. Это кажется честным лишь для случая сложения без сдвига. И вам кажется, что пространственная неоднородность постоянной составляющей дарка при сдвигах преобразуется в дополнительный шум. ИМНО, это только кажется. Все операции линейны, и не суть важно в каком порядке суммировать.  Дисперсии все равно складываются в квадратурах.

[Grey_]

Да нет же почему, я все помню, даже формулу уже на бумажке написал   Просто говорить не хочу. Проникнитесь процессом познания сами, раз взялись за дело.

Ага! Вот и на форуме нашел о чем вы говорить не хотите - https://astronomy.ru/forum/index.php/topic,20677.msg1338772.html#msg1338772
Нашел и проникся. Проникся настолько, что нашел ошибку. Цитирую (ошибка подчеркнута мной, а жирным шрифтом мой комментарий):

Снимите большое кол-во Дарков: 30-50. Существенно большее, чем это возможно при реальной съемке. Сложите. (видимо подразумевается: сложите и отнормируйте на кол-во дарков) Получите Мастер Дарк. Будем его считать идельным, лишенным систематической ошибки.
Возьмите один из Дарков и вычтите из него Мастер Дарк. Вы получите Дарк, в котором присутствует только случайная составляющая шума. Систематической можно пренебречь.
Замерьте величину шума. Назовем ее Nд.
Возьмите один из Лайтов и вычтите из него полученный ранее Мастер Дарк. Измерьте Шум. Пусть он будет называться Nл
Величина Nд является шумом единичного Дарка. Она будет падать пропорционально корню из кол-ва Даркав. Теперь Вы множите оценить количество Дарков для получения заданного уровня Nд.

Nд/(корень из k)<<Nл, где k кол-во Дарков

Это теория, но на практике все гораздо проще. Снимать Дарки нужно в тех же условия, что и Лайты. В первую очередь это касается температуры. А она утром быстро растет. Поэтому снимать дарки очень долго не имеет смысла, да и спать тоже охота. Вот и получается, что по любому на дарки разумно тратить 1.5-2 часа. Это вполне достаточно

Шум в Дарк минус Мастер Дарк не может "падать пропорционально корню из кол-ва Дарков", т.к. стремится к ненулевой константе (той самой которая определяется упомянутой вами с случайной составляющей шума). Как эта разница падает реально, показано на втором графике поста -https://astronomy.ru/forum/index.php/topic,80714.msg1421125.html#msg1421125
Так что давайте познавать вместе

[StasV]

Все операции линейны, и не суть важно в каком порядке суммировать.  Дисперсии все равно складываются в квадратурах.

Суммировать не важно в каком порядке, главное просуммировать все слагаемые


Для иллюстрации влияния межкадрового сдвига, необходимо делать выкладки на уровней пикселей изображения, а не целых файлов.
Рассмотрим, что происходит с некоторым пикселем в лайте при его калибровке дарками

У нас есть пиксель в лайте. назовем этот пиксель light. Пиксель этот у нас будет привязан к небесным объектам, а не матрице. Т.е. при межкадровом сдвиге нашему пикселю light будут отвечать разные пиксели на матрице. (Мы не рассматриваем случай некратных размеру пикселей сдвигов. Это ни влияет на результат, а выкладки усложнит чудовищно)

У нас есть пиксели dark, которыми мы калибруем light
Представим dark в виде следующей модели dark= DARK+Δdark, где
DARK среднее значение дарка – идеальный мастер дарк.
Δdark  случайное отклонение пикселя dark от среднего 
Мы сняли K дарков и N лайтов

Далее по тексту, когда я буду писаь dark и light латиницей буду иметь в виду  значения пикселей. Когда буду писать кириллицей лайт и дарк, речь будет идти о кадрах в целом

При калибровке единичного light, мы вычитаем  из light усредненный dark

Для выбранного нами пикселя в лайте с индексом n:
light_caibr_n=light_n – DARK - Σ_kΔdark_k/K, где K количество отснятых единичных дарков.

Далее мы складываем  калиброванные лайты и получаем усредненный лайт

Light_calibr_sum = Σ_n Light_caibr_n= Σ_n(lightn – DARK - Σ_kΔdark_kn/K)/N=
= Σ_nlight_n/N – DARK - Σ_knΔdark_kn/K/N

Обращаю внимание, что у нас появился индекс n при Δdark. Это происходит потому, что при съемки со сдвигом, light в каждом кадре случайная составляющая dark разная (от разных пикселей в дарке) Δdark_k   k=1  -> K

Последний член в этом выражении и будет вкладом случайного шума дарка в лайт Σ_knΔdark_kn/K/N

В случае съемки со сдвигом Δdark_kn все Δdark_kn с индексами k в диапазоне 1…K и n в диапазоне 1…N будут независимыми случайными величинами и их сумма будет расти пропорционально корню квадратному из их количества

В случае съемки без межкадрового сдвига все Δdark_kn с индексами n в диапазоне в диапазоне 1…N будут одними и теми же.
Поэтому выражение Σ_knΔdark_kn/K/N вырождается в N*Σ_kΔdark_k/N/K = Σ_kΔdark_k/K

Т.о. При съемке со сдвигом усредняется в N раз больше пикселей dark, чем при съемки без сдвига. Вклад шума дарка при съемке со сдвигов будет в корень квадратный раз меньше, чем при съемке без сдвига

Еще раз без формул.

Пусть мы сняли 10 дарков и 20 лайтов. Если мы снимаем без сдвига, то в суммарном лайте будет усредняться 10 дарков. А если мы сняли со сдвигом, то 10*20=200 дарков.

Откуда если мы сняли 10 дарков, мы имеем результат, как при съемке 200?
Дело в том, что мы при калибровке мы усредняем «соседние» пиксели в каждом дарке по которым «скакало» изображение при межкадровом сдвиге + мы имеем самих таких дарков 10 шт.

[Юрий Торопин]

Для выбранного нами пикселя в лайте с индексом n:
light_caibr_n=light_n – DARK - Σ_kΔdark_kn/K, где K количество отснятых единичных дарков.
Обращаю внимание, что у нас появился индекс n при Δdark. Это происходит потому, что при съемки со сдвигом, light в каждом кадре мы калибруем своим набором пикселей Δdark_k   k=1  -> K

Выделенная формула крайне сомнительна, мы вычитаем из единичных лайтов (для фиксированного пикселя) значение мастер-дарка в том же пикселе и локальный Δdark, но никак не вот это Σ_kΔdark_kn/K.

Если я правильно понимаю нотацию, то формула для n-того индивидуального калиброванного лайта должна выглядеть как
Light_calibrⁿ_i(n)j(n)=lightⁿ_i(n)j(n) – DARK_i(n)j(n) - Δdark_i(n)j(n),
где индекс n относится к номеру индивидуальных лайтов, а i(n)j(n) - ячейка, соответствующая источнику на лайте n.

Далее, складывая индивидуальные калиброванные лайты, имеем
Light_calibr_sum_ij =
   = Σ_n Light_caibrⁿ/N=
   = Σ_n(lightⁿ_i(n)j(n) – DARK_i(n)j(n) - Δdark_i(n)j(n))/N=
   = Σ_nlightⁿ_i(n)j(n)/N – Σ_nDARK_i(n)j(n)/N - Σ_nΔdark_i(n)j(n)/N

Суть проста, делая межкадровые сдвиги, мы комбинируем усреднение по последовательности (по лайтам) И усреднение по ансамблю точёк за счёт того, что разные точки из мастер-дарка участвовали в калибровке.

Без подвижек последняя формула бы выглядела как
Light_calibr_sum_ij =
   = Σ_nlightⁿ_ij/N – DARK_ij - Δdark_ij


Расписывание формул по сигмам и вывод оценки на увеличение S/N с учётом локальных неоднородностей чувствительности пикселей на матрице оставим для пытливых читателей!

[StasV]

Для выбранного нами пикселя в лайте с индексом n:
light_caibr_n=light_n – DARK - Σ_kΔdark_kn/K, где K количество отснятых единичных дарков.
Обращаю внимание, что у нас появился индекс n при Δdark. Это происходит потому, что при съемки со сдвигом, light в каждом кадре мы калибруем своим набором пикселей Δdark_k   k=1  -> K

Выделенная формула крайне сомнительна, мы вычитаем из единичных лайтов (для фиксированного пикселя) значение мастер-дарка в том же пикселе и локальный Δdark, но никак не вот это Σ_kΔdark_kn/K.

Понято дело, что из одного пикселя мы вычетаем дарк для тогоже пикселя.
А вот когда мы складываем лайты, они смещаются и складываются случайные составляющие с разных пикселей

[StasV]

т.е. в первой формуле, конечно нужно убрать индекс n, а вот во второй он останется.
Исправил. Спасибо, Юра, что нашел баг

[Юрий Торопин]

Далее, складывая индивидуальные калиброванные лайты, имеем
Light_calibr_sum_ij =
   = Σ_n Light_caibrⁿ/N=
   = Σ_n(lightⁿ_i(n)j(n) – DARK_i(n)j(n) - Δdark_i(n)j(n))/N=
   = Σ_nlightⁿ_i(n)j(n)/N – Σ_nDARK_i(n)j(n)/N - Σ_nΔdark_i(n)j(n)/N

Суть проста, делая межкадровые сдвиги, мы комбинируем усреднение по последовательности (по лайтам) И усреднение по ансамблю точёк за счёт того, что разные точки из мастер-дарка участвовали в калибровке.

Без подвижек последняя формула бы выглядела как
Light_calibr_sum_ij =
   = Σ_nlightⁿ_ij/N – DARK_ij - Δdark_ij

И, кстати, я вовсе не уверен, что при достаточно общих предположения
Sigma(Σ_nDARK_i(n)j(n)/N + Σ_nΔdark_i(n)j(n)/N) < Sigma(DARK_ij + Δdark_ij),

Иначе говоря, межкадровые подвижки, без сомнения, являются отличным инструментов для уменьшения дефектов, связанных с сильными локальными неоднородностями чувствительности матрицы. Но - в случае "идеальной" матрицы с равномерной чуствительностью они были бы просто не нужны.

В этом смысле говорить о том, что подвижки ещё в Sqrt(N) или Sqrt(K) раз улучшают соотношение сигнал/шум - некорректно.

[StasV]

Σ_nlightⁿ_i(n)j(n)/N – Σ_nDARK_i(n)j(n)/N - Σ_nΔdark_i(n)j(n)/N

Без подвижек последняя формула бы выглядела как
Σ_nlightⁿ_ij/N – DARK_ij - Δdark_ij

Не согласен с последними членами.
Δdark_ij - это же случайная составляющая единичного дарка для пикселя с индексами i,j в твоих формулах?
тогда получается что в случае со сдвигами у тебя суммируется N дарков. А в случае без сдвигов, вообще они не суммируются.
А должно в случае подвижек суммироваться N*K дарков, а в случае без подвижек, только К 

[Юрий Торопин]

Не согласен с последними членами.
Δdark_ij - это же случайная составляющая единичного дарка для пикселя с индексами i,j в твоих формулах?
тогда получается что в случае со сдвигами у тебя суммируется N дарков. А в случае без сдвигов, вообще они не суммируются.
А должно в случае подвижек суммироваться N*K дарков, а в случае без подвижек, только К

Нет, использовалась твоя нотация

У нас есть пиксели dark, которыми мы калибруем light
Представим dark в виде следующей модели dark= DARK+Δdark, где
DARK среднее значение дарка – идеальный мастер дарк.
Δdark  случайное отклонение пикселя dark от среднего 

в которой к Δdark добавлены индексы ij, это НЕ ошибка в единичном дарке, а именно то, что описано в твоей нотации выше, только в точке ij.
Случайное отклонение значение dark, мастер-дарка, которым мы калибруем лайты, в точке ij, от "идеального" мастер-дарка DARK в той же точке.

[Grey_]

Коллеги, суть идеи понятна, вывод, признаться, очень сомнителен. Надо обмозговать на свежую голову.
Предлагаю всем заинтересованным лицам провести эксперимент:
Снимаем двадцать дарков и называем четные "лайтами", а нечетные "дарками". Вычисляем Мастер Дарк, вычитаем его из "лайтов" и складываем их со сдвигами и без. И сравниваем шумы в суммах. Результаты выкладываем в эту тему. Сам займусь этим сегодня же вечером.