Дарки - дело темное. Статистика дарков.

[Grey_]

"Опять тучи? Не ропщи. Даже Всевышний должен снимать дарки!"
(Из разговора двух ЛА)

Вот некоторые из вопросов, которые хотелось бы прояснить:
1. Сколько времени надо для прогрева/термостабилизации камеры чтобы статистические характеристики дарков (и камеры) стали стабильны?
2. Как зависит величина остаточного шума (шумы в "дарк минус усредненный дарк") от количества дарков в стеке усреднения?
3. Как экстраполировать дарки, т.е. по даркам отснятым при одних условиях вычислить дарк при других условиях? Какова зависимость статистических параметров дакров от ISO, выдержки и температуры.
4. К какой ошибке приведет использование прошлогодних дарков, которые были отсняты при той же самой температуре, что и сегодня? Долговременная изменчивость дарков.
5. Классификация "горячих пикселей" и как их правильно учитывать при калибровке.

Для исследования написал программку PreFit, которая читает RAW или FITS файлы и выдает на выходе файлы:
1. prefit.txt - лог файл со статистикой обработанных файлов вида:
номер файла, среднее значение, дисперсия, минимальное значение, максимальное значение, имя файла.
   n  mean     sigma   min    max     file
   1  2047.9   25.23   1501   15305   IMG_0002.CR2
   2  2048.0   25.90   1555   15305   IMG_0003.CR2
   3  2047.9   26.60   1514   15304   IMG_0004.CR2
   4  2048.2   26.93   1507   15305   IMG_0005.CR2
   5  2047.9   27.42   1480   15306   IMG_0006.CR2
2. sum0.fit - сумма всех файлов нормированная на их число, иначе говоря среднее.(аналог - Add a sequence -> Arithmetic в Ирисе)
3. min0.fit - минимум по всем файлам. (Полезно для вычисления фона неба)
4. max0.fit - максимуm по всем файлам.
5. minmax0.fit - среднее  по всем файлам из которого выкинуты максимумы и минимумы (аналог - Add a sequence -> Min-max rejection в Ирисе)
6. sigma0.fit - дисперсия по всем файлам.
7. histogram0.fit - двумерная гистограмма (это самое интересное). По X - амплитуда пиксела, по Y - его дисперсия.

Все файлы создаются в том же каталоге что и исходные.

При запуске с ключом -o
PreFit.exe -o
будет использоваться и файл offset.fit (будет вычитаться из всех файлов перед обработкой), а созданные fit файлы будут называться: sum.fit min.fit max.fit minmax.fit sigma.fit histogram.fit

У меня есть только Canon 550D, и все результаты буду тут выкладывать по этой камере. Надеюсь, что коллеги покажут свои результаты по другим камерам.
Программу PreFit ver. 0.1 можно скачать здесь - http://ritchard-1.narod.ru/prefit/PreFit0.1.zip
Программу PreFit ver. 0.2 можно скачать здесь - http://ritchard-1.narod.ru/prefit/PreFit0.2.zip
Буду благодарен за любые замечания.
Дарки - дело темное. Давайте вместе прольем на него свет.

Итак вопрос первый:
Сколько времени надо для прогрева/термостабилизации камеры чтобы статистические характеристики дарков (и камеры) стали стабильны?
Ниже графики для моего Canon 550D. Неожиданно, что для выхода на стабильный режим требуется чуть ли не час, а не 10-15 минут, как я думал. Еще стоит обратить внимание на выбросы на двух последних графиках, уж не знаю, то ли это взбрыки камеры, то ли космики, но есть вывод - для получения хорошего усредненного дарка надо дарки фильтровать.

Продолжение следует....

[Grey_]

Теперь посмотрим на дисперсию пикселей. Покрутив немного уровни отображения на экран, видим занятные такие вертикальные полосы в sigma0.fit
Возможный практический, но, увы, трудно реализуемый рецепт: "Чтобы улучшить качество надо складывать серии снятые при двух взаимно-ортогональных положениях камеры"...  Вот только флеты придется снимать дважды

Продолжение следует....

[Grey_]

Теперь загрузим sum0.fit и посмотрим на гистограмму. Интересно, что гистограмма оказывается двугорбой. Второй максимум это те самые "горячие пикселы", которые очень портят вид астрофото, у DSLR особенно. Все же прелести распределения видны на второй картинке histogram0.fit  Анализ, однако, завтра... Спать очень хочется....
 

[LifeIsGood]

Колесо изобретать всегда интересно 
1. Полосатость лечится вычитанием биаса
2. Если не лечится биасом, то лечится dithering - случайный сдвиг между кадрами.
3. Горячие пиксели лечатся:
 - Вычитанием дарков
 - Косметичсекой коррекцией (усреднением) окружающих пикселей.

[Grey_]

Колесо изобретать всегда интересно 
1. Полосатость лечится вычитанием биаса
2. Если не лечится биасом, то лечится dithering - случайный сдвиг между кадрами.
3. Горячие пиксели лечатся:
 - Вычитанием дарков
 - Косметичсекой коррекцией (усреднением) окружающих пикселей.

1. Вычитанием эта полосатость не лечится, ибо это полосатость в карте шумов матрицы (sigma0.fit), а не в sum0.fit. Т.е. "шумность пикселов" пространственно неоднородна и имеет явную корреляцию с положением пиксела.
2. Да, дизерингом лечится, и любой формой пространственного усреднения тоже (хоть Гауссовым блуром). Однако это не оптимально. Оптимально складывать  с учетом диспрерсий пикселов. Это обобщение идеи Ивана воплощенной в его FitStacker.
3. Горячие пикселы бывают разные. Не все лечатся вычитанием дарков, а простая косметика приводит к потерям информации. Впрочем о горячих пикселах я еще напишу подробнее вечером. Есть что сказать...

Вот какие спицы в нашем колесе

[LifeIsGood]

1. Не понял
2. Каким образом дизеринг связан с размытием по Гауссу??? Это совершенно разные подходы и результаты. В первом случае усреднение идет по разным кадрам и не ведет к потере информации. Во втором в пределах одного с потерей.
3. Не все. Но дизеринг и сложение с сигма-клиппингом это лечит на ура.

[Grey_]

1. Не понял
2. Каким образом дизеринг связан с размытием по Гауссу??? Это совершенно разные подходы и результаты. В первом случае усреднение идет по разным кадрам и не ведет к потере информации. Во втором в пределах одного с потерей.
3. Не все. Но дизеринг и сложение с сигма-клиппингом это лечит на ура.

1. Средние значения для пикселов содержатся в sum0.fit, а в sigma0.fit дисперсии пикселов. Полосатость именно в sigma0.fit. Вычитание оффсета дисперсии не меняет. Вы легко можете проверить это сами на своих дарках. С оффсетом запуск: PreFit -o
2. И то и другое - формы пространственнго усреднения.  В первом усреднение по реализациям, во втором по ансамблю. Результаты схожи.
3. Да, никто же не спорит, что лечат. Вопрос лишь с какими потерями и как оные уменьшить.

[LifeIsGood]

1. Дисперсия по 5 значениям?
2. Еще какие разные!
3. потерей "горячего" пиксела.

[Дмитрий Иванов]

Как мне OnWlad в своё время посоветовал плагин RC Consol для Максима, так им и пользуюсь. Вся калибровка состоит из биаса и поля. Пытаясь вычитать дарки, вечно имел чёрные дыры на месте гор. пикселов. Причём stdv никак без дарков не страдает, т.е. бессмысленное занятие, при условии достаточно низкого теплового шума, естественно.

[LifeIsGood]

К Зеркалкам это, к сожалению, не относится. Чтобы не было дырок используем cosmetic correction + наш бессменный dithering

[Grey_]

1. Дисперсия по 5 значениям?
2. Еще какие разные!
3. потерей "горячего" пиксела.

1. Почему по 5? По пятидесяти.
2. ладно, замнем для ясности.
3. полное игнорирование горячего пиксела и замена его на некое средне по соседним пикселам - не самое лучшее решение. Ибо  горячего пикселы бывают разные. Например, пикселы с повышеной чувствительностью надо не игнорировать, а нормировать к нормальной чувствительности.

[Дмитрий Иванов]

3. полное игнорирование горячего пиксела и замена его на некое средне по соседним пикселам - не самое лучшее решение. Ибо  горячего пикселы бывают разные. Например, пикселы с повышеной чувствительностью надо не игнорировать, а нормировать к нормальной чувствительности.

Тут двойной контроль, так сказать, - сначала плагин ремув хот пиксел, затем сложение сигмой или sd-маской. Ниодин не пройдёт.



Зы: Отторжение горячих пикселов вышеозначенным плагином регулируемо, т.е. нужно исходить от кол-ва кадров, snr?, амплитуды дизеринга... и всё будет очень грамотно, имха.

[Юрий Торопин]

3. полное игнорирование горячего пиксела и замена его на некое средне по соседним пикселам - не самое лучшее решение. Ибо  горячего пикселы бывают разные. Например, пикселы с повышеной чувствительностью надо не игнорировать, а нормировать к нормальной чувствительности.

упссссс, а разве не для этого нормируем на плоское поле?!
Где у Вас плоские поля!?!?!?! Они - важнее всего остального!!!!

[Grey_]

упссссс, а разве не для этого нормируем на плоское поле?!
Где у Вас плоские поля!?!?!?! Они - важнее всего остального!!!!

В том то и дело, что косметику (тот же Ирис например) делают до деления на флет. Выкидываются все виды горячих пикселей. Список горячих пикселей делается основываясь лишь дарках, на превышении определенного уровня. Впрочем и с плоскими полями все не так просто, деление на плоское поле может и увеличить шум.

[Юрий Торопин]

упссссс, а разве не для этого нормируем на плоское поле?!
Где у Вас плоские поля!?!?!?! Они - важнее всего остального!!!!

В том то и дело, что косметику (тот же Ирис например) делают до деления на флет. Выкидываются все виды горячих пикселей. Список горячих пикселей делается основываясь лишь дарках, на превышении определенного уровня. Впрочем и с плоскими полями все не так просто, деление на плоское поле может и увеличить шум.

Согласен, обрабатывать реальные астрофотки вообще вредно, флэты - зло! Лучше этим и не заниматься вовсе!
И, по секрету скажу, на ИРИСе, при всей моей любови к нему, свет клином не сошёлся, "есть и другие миры", где косметику можно применять уже ПОСЛЕ калибровки.
Да и в ИРИСе косметику можно делать ПОСЛЕ калибровки, если не отдавать всё на откуп бездушному автомату...
...
Вы покажите РЕЗУЛЬТАТ калибровки и сложения, и, если всё было сделано ПРАВИЛЬНО, если на результате будут проблемы, тогда и будет повод их обсудить, а дарки ради дарков - тут я пас...

[Grey_]

...
Вы покажите РЕЗУЛЬТАТ калибровки и сложения, и, если всё было сделано ПРАВИЛЬНО, если на результате будут проблемы, тогда и будет повод их обсудить, а дарки ради дарков - тут я пас...

Так я и затеял эту тему, чтобы обсудить как нужно делать совсем правильно, а не почти правильно. И начинать надо именно с дарков. Например, один из уже приведенных выводов - для выхода камеры на термостабильный режим требуется не 10-15 минут, а в разы больше.

[Юрий Торопин]

...
Вы покажите РЕЗУЛЬТАТ калибровки и сложения, и, если всё было сделано ПРАВИЛЬНО, если на результате будут проблемы, тогда и будет повод их обсудить, а дарки ради дарков - тут я пас...

Так я и затеял эту тему, чтобы обсудить как нужно делать совсем правильно, а не почти правильно. И начинать надо именно с дарков. Например, один из уже приведенных выводов - для выхода камеры на термостабильный режим требуется не 10-15 минут, а в разы больше.

ИМХО, если бороться за перфикционизм, начинать надо с камеры с нормальным охлаждением и термостабилизацией. Дарки-то Вы,  может, и заборете, а вот что делать с изменением температуры при съёмке лайтов в течении ночи?!    - а ответ уже известен, "оптимизация дарков", присутствует и в ИРИСе...

Колесо изобретать всегда интересно 

[Grey_]

ИМХО, если бороться за перфикционизм, начинать надо с камеры с нормальным охлаждением и термостабилизацией.

Согласен. Очень хотелось бы увидеть здесь аналогичные выложенным здесь картинкам результаты для таких камер (благо софтинка для этого имеется). Особенно интересуют sigma и двумерная гистограмма.

Дарки-то Вы,  может, и заборете, а вот что делать с изменением температуры при съёмке лайтов в течении ночи?!    - а ответ уже известен, "оптимизация дарков", присутствует и в ИРИСе...

Что делать? Начать надо с количественной оценки ошибки которую это изменение вносит. Потом сравнить с шумом неба, и понять сколько надо снимать лайтов, чтобы достичь желаемого отношения сигнал/шум... И, быть может, задуматься о термостабилизации камеры, иль переделки оной под охлаждаемую, иль, наконец, о покупке новой...
А с оптимизацией дарков в Ирисе неясностей много. На форуме встречал упоминания о том, что это не всегда хорошо работает. ИМХО, там основная проблема алгоритмов в засветке. Она меняется от кадра к кадру, а алгоритм считает, что это дарк меняется.

[Дмитрий Иванов]

Начать нужно с блока питания без наводок. Думаю аккумулятор употребить.

[Grey_]

Начать нужно с блока питания без наводок. Думаю аккумулятор употребить.

Кстати, интересно будет сравнить результаты с блоком питания и с аккумулятором.