Дарки - дело темное. Статистика дарков.

[StasV]

Снимаем двадцать дарков

20 это 10 "лайтов" и 10 дарков. Мало для статистики. Нужно снять штук так 50-100.
И желательно 10 минутных. Ставте камеру на съемку на сутки при стабильной комнатной температуре. первые 1-2 часа отбросьте. Желательно эксперемент произвести для разных комбинаций "лайтов" и дарков. к примеру 50 лайтов и 15 дарков. Это ближе к практике. и влияние наличия/отсутствия подвижек будет более заметно.

[Grey_]

Снимаем двадцать дарков

20 это 10 "лайтов" и 10 дарков. Мало для статистики. Нужно снять штук так 50-100.
И желательно 10 минутных. Ставте камеру на съемку на сутки при стабильной комнатной температуре. первые 1-2 часа отбросьте. Желательно эксперемент произвести для разных комбинаций "лайтов" и дарков. к примеру 50 лайтов и 15 дарков. Это ближе к практике. и влияние наличия/отсутствия подвижек будет более заметно.

Постойте, постойте, как я понимаю, утверждение о пользе подвижек сводится к уменьшению шумов вносимых калибровкой не в sqrt(K) раз, а в sqrt(N*K) раз. Если это действительно так, то получается, что серию из десятка лайтов снятых с межкадровой подвижкой можно успешно калибровать мастер дарком не из 10-15 дарков, а из 2-3. Нет?

[mo]

Постойте, постойте, как я понимаю, утверждение о пользе подвижек сводится к уменьшению шумов вносимых калибровкой не в sqrt(K) раз, а в sqrt(N*K) раз. Если это действительно так, то получается, что серию из десятка лайтов снятых с межкадровой подвижкой можно успешно калибровать мастер дарком не из 10-15 дарков, а из 2-3. Нет?

Хуже того (точнее, лучше). Достаточно длинную серию с достаточно большими подвижками можно вообще не калибровать дарками, лишь наводить косметику после вычитания биаса и деления на флет.

С другой же стороны делать подвижки по сотне пикселей никто не будет, поэтому дарки тоже не бесполезны.

[Grey_]

Постойте, постойте, как я понимаю, утверждение о пользе подвижек сводится к уменьшению шумов вносимых калибровкой не в sqrt(K) раз, а в sqrt(N*K) раз. Если это действительно так, то получается, что серию из десятка лайтов снятых с межкадровой подвижкой можно успешно калибровать мастер дарком не из 10-15 дарков, а из 2-3. Нет?

Хуже того (точнее, лучше). Достаточно длинную серию с достаточно большими подвижками можно вообще не калибровать дарками, лишь наводить косметику после вычитания биаса и деления на флет.
С другой же стороны делать подвижки по сотне пикселей никто не будет, поэтому дарки тоже не бесполезны.

Вот я и удивляюсь предложению проводить эксперимент на 50-100 дарках. Если выкладки правильны, то эффект должен быть очень заметен уже на десятке лайтов/дарков. А подвижки на сотни, вроде бы, по этой теории не требуются, достаточно чтобы в серии лайтов они просто не повторялись, ведь корреляции щумов соседних пикселей очень малы. Так что на серию сотни лайтов с подвижками вполне достаточно квадрата 10х10 пикселей.

[Grey_]

В процессе экспериментов обнаружил, что Ирис при сдвиге CFA весьма фривольно обходится с данными.
Последовательность команд:
>load dark1
>stat
>trans 0 0
>stat
выдает:

Mean: 2049.3         Median: 2047
Sigma: 34.1
Maxi.: 15307.0       Mini.: 1502.0
 
Mean: 2048.3         Median: 2047
Sigma: 56.4
Maxi.: 15307.0       Mini.: 0.0
 
А с RGB сдвиг работает нормально и статистика не изменяется. ИМХО, причина в билинейной аппроксимации при сдвиге.
Добавлено чуть позже:
Ага! Разобрался. Это краевой эффект. Если сделать кроп после сдвига, то статистика не изменяется.

[Grey_]

Мда, действительно один мерзкий факт может испортить даже очень красивую теорию
Итак, взята термостабилизированная серия из 20 дарков, ISO 1600, экспозиция 240 сек, температура -10С, Canon 550D.
Четные файлы переименованы в лайты (ligthN.fit), нечетные в дарки (darkN.fit). По 10 штук тех и других. Вычисляем Мастер Дарк, вычитаем его из "лайтов" и складываем их со сдвигами и без. И сравниваем шумы в суммах.
Простенький скрипт для Ириса на скрепке (расширение pgm заменено на txt). Запуск:  run test [shift1] [shift2] [shift3] [shift4] [shift5] [shift6]
Результаты:

Сдвиги                       Sigma   Mean
0 0 0 0 0 0                    6.8   3.3
1 1 1 1 1 1                    5.9   3.2
2 2 2 2 2 2                    5.9   3.2
0 1 2 3 4 5                    5.0   3,1
1 2 4 8 16 32                 5.0   3.1
3 7 13 23 31 43              5.0   3.1
20 60 101 145 190 243   5.0   3.1

Таким образом вместо ожидаемого по теории уменьшения шумов в sqrt(10)=3.16 раз наблюдается их уменьшение лишь в 6.8/5=1.36 раза. Увы!
А эту цифру 1.36 я бы объяснил неидентичностью пикселей в матрице. Каждый пиксель имеет свои индивидуальные смещения, чувствительность и дисперсии. Сложение со сдвигом сглаживает различия между пикселами, что и приводит к небольшому снижению шума.
P.S. Надеюсь, кто-нибудь повторит этот эксперимент. Уж больно многообещающая тут была изложена теория. Жалко птичку...

[Юрий Торопин]

Мда, действительно один мерзкий факт может испортить даже очень красивую теорию

Как было показано в этом сообщении, в "красивой теории" была ошибка в матаппарате.

Таким образом вместо ожидаемого по теории уменьшения шумов в sqrt(10)=3.16 раз наблюдается их уменьшение лишь в 6.8/5=1.36 раза. Увы!
А эту цифру 1.36 я бы объяснил неидентичностью пикселей в матрице. Каждый пиксель имеет свои индивидуальные смещения, чувствительность и дисперсии. Сложение со сдвигом сглаживает различия между пикселами, что и приводит к небольшому снижению шума.
P.S. Надеюсь, кто-нибудь повторит этот эксперимент. Уж больно многообещающая тут была изложена теория. Жалко птичку...

Эффект описан тут.

Далее, складывая индивидуальные калиброванные лайты, имеем
Light_calibr_sum_ij =
   = Σ_n Light_caibrⁿ/N=
   = Σ_n(lightⁿ_i(n)j(n) – DARK_i(n)j(n) - Δdark_i(n)j(n))/N=
   = Σ_nlightⁿ_i(n)j(n)/N – Σ_nDARK_i(n)j(n)/N - Σ_nΔdark_i(n)j(n)/N

Суть проста, делая межкадровые сдвиги, мы комбинируем усреднение по последовательности (по лайтам) И усреднение по ансамблю точёк за счёт того, что разные точки из мастер-дарка участвовали в калибровке.

Без подвижек последняя формула бы выглядела как
Light_calibr_sum_ij =
   = Σ_nlightⁿ_ij/N – DARK_ij - Δdark_ij

И, кстати, я вовсе не уверен, что при достаточно общих предположения
Sigma(Σ_nDARK_i(n)j(n)/N + Σ_nΔdark_i(n)j(n)/N) < Sigma(DARK_ij + Δdark_ij),

Иначе говоря, межкадровые подвижки, без сомнения, являются отличным инструментов для уменьшения дефектов, связанных с сильными локальными неоднородностями чувствительности матрицы. Но - в случае "идеальной" матрицы с равномерной чуствительностью они были бы просто не нужны.

В этом смысле говорить о том, что подвижки ещё в Sqrt(N) или Sqrt(K) раз улучшают соотношение сигнал/шум - некорректно.

Ваши наблюдения качественно соответствуют выводам, приведённым выше.
Путём усложнения теории и введения коэффициентов, описывающих корреляции и величины локальной неоднородности матрицы, можно достичь и количественного соответствия предсказаний теории и результатов наблюдений.

[StasV]

Сдвиги                       Sigma   Mean
Таким образом вместо ожидаемого по теории уменьшения шумов в sqrt(10)=3.16 раз наблюдается их уменьшение лишь в 6.8/5=1.36 раза. Увы!

Ну и что?
Вы мерите некую Sigma. А в теории говориться о влиянии Δdark (случайное отклонение дарка от идеального среднего дарка) В теории взята некая модель, которая позволяет описать принцип. Кто сказал, что в Sigma, померенной по кадру только случайная составляющая? На практике, туда попадает и систиматеическая. В результате, на практике выигрыш хуже, чем в теоретической модели. И это естественно. Эксперименты же не показали, что межкадровые сдвиги портят дело.

В ваших формулах вообще не был учтено влияние отсутствия/наличия межкадрового сдвига. Следовательно, если руководствоваться только вашими формулы следует, что нет разницы, как снимать со сдвигом или без. А те кто активно снимают кроме дарков, еще и лайты, знают, что снимать нужно со сдвигом.

Астрофото это практика, и в теорию нужно углубляться  ровно на столько, насколько необходимо для принятия конкретного решения о провидении наблюдательной сессии.
Никто не занимался построением полной теории калибровки. Вы можете стать тут первым. И это я говорю вам без всякого сарказма. Только поверьте, к качественному астрофото, это вас не приблизит!

Еще:
Дарк в качества Лайта это еще большее приближение, чем те, что я высказывал строя теоретическую модель
Снимите серию из 20-30 лайтов со сдвигом и без. И обработайте ее до получения финального результата. Вот тогда и поговорим.

PS
В вашей программе по вычислению Sigma берется весь кадр или есть возможность брать для анализа кроп? Если первое, то советую добавить возможность брать только кроп.
Меняя размер кропа можно попробовать проделывать различные эксперименты (не толкьо по сдвижкам) для разных кропов. Это позволит уменьшить влияние (как вариант определить степень этого влияние) систематической составляющей, связанной с неровностями дарков и временными флуктуациями этих неровностей

[StasV]

Четные файлы переименованы в лайты (ligthN.fit), нечетные в дарки (darkN.fit). По 10 штук тех и других. Вычисляем Мастер Дарк, вычитаем его из "лайтов" и складываем их со сдвигами и без. И сравниваем шумы в суммах.
Таким образом вместо ожидаемого по теории уменьшения шумов в sqrt(10)=3.16 раз наблюдается их уменьшение лишь в 6.8/5=1.36 раза. Увы!

Стойте, самое главное. Вы мерите Sigma в финальной сумме?
там же есть вклад шумов "лайтов" и дарков. Уменьшается только вклад шумов дарков. Вклад случайной составляющей шумов лайтов не должен завесить от того был сдвиг или нет. Поэтому я и предлагал снять существенно большее кол-во "лайтов", чем дарков. Тогда уменьшение вклада случайных шумов дарков при съемке со сдвигом будет более заметно.

Если сравнивать сумму 10 "латов" и 10 дарков со сдвигом и без. результат в идеальной теории должен улучшился только в 1.51 раза!

[Grey_]

Вы мерите некую Sigma. А в теории говориться о влиянии Δdark (случайное отклонение дарка от идеального среднего дарка) В теории взята некая модель, которая позволяет описать принцип. Кто сказал, что в Sigma, померенной по кадру только случайная составляющая? На практике, туда попадает и систиматеическая. В результате, на практике выигрыш хуже, чем в теоретической модели. И это естественно. Эксперименты же не показали, что межкадровые сдвиги портят дело.

Это не некая Sigma, а дисперсия. Mean - среднее значение. Что еще можно померить? Никто ведь не говорил, что сдвиги портят дело. Вопрос был в том насколько они его улучшают. И мне искренне жаль, что не в разы, а на десятые доли, как оказалось.

Никто не занимался построением полной теории калибровки. Вы можете стать тут первым. И это я говорю вам без всякого сарказма. Только поверьте, к качественному астрофото, это вас не приблизит!

Неужто никто? Странно. Может мы плохо искали?

В вашей программе по вычислению Sigma берется весь кадр или есть возможность брать для анализа кроп? Если первое, то советую добавить возможность брать только кроп.
Меняя размер кропа можно попробовать проделывать различные эксперименты (не толкьо по сдвижкам) для разных кропов. Это позволит уменьшить влияние (как вариант определить степень этого влияние) систематической составляющей, связанной с неровностями дарков и временными флуктуациями этих неровностей

Кроп берется, без кропа вообще нельзя из-за краевых эффектов при сдвиге. В конце скрипта есть строчки:

// делаем кроп чтобы избежать краевых эффектов сдвигов и уменьшить влияние засветки усилителя. Внимание! Кроп должен лежать в пределах матрицы.
window 1000 500 2000 1500
stat

Тут и можно менять размер кропа.

Юрий уже указал в чем была ошибка. Иль вы не согласны с его аргументами?

[Grey_]

Стойте, самое главное. Вы мерите Sigma в финальной сумме?
там же есть вклад шумов "лайтов" и дарков. Уменьшается только вклад шумов дарков. Вклад случайной составляющей шумов лайтов не должен завесить от того был сдвиг или нет. Поэтому я и предлагал снять существенно большее кол-во "лайтов", чем дарков. Тогда уменьшение вклада случайных шумов дарков при съемке со сдвигом будет более заметно.

Если сравнивать сумму 10 "латов" и 10 дарков со сдвигом и без. результат в идеальной теории должен улучшился только в 1.51 раза!

Да, разумеется в финальной сумме. Хорошо, поищу в архиве серию дарков в 40-50 и повторю эксперимент.
А откуда в теории получается эта цифра 1.51?

[Grey_]

В начале этой темы кто-то меня упрекал в изобретении колеса. Теперь выясняется, что полной теории калибровки нет. Коллеги, неужели даже профессиональные астрономы оную не разработали?

P.S. Нет ничего практичнее хорошей теории. (С) Авторство приписывается восьми физикам, одному химику, одному математику, двум экономистам, одному психологу и двум политическим деятелям:  Н.Боголюбов, Н.Бор, Л.Больцман, Л.Брежнев, Л. де Бройль, М.Келдыш, Р.Кирхгоф, К.Левин, В.Ленин, К.Маркс, Д.Менделеев, Э.Резерфорд, Э.Ферми, А.Эйнштейн, Ф.Энгельс.

[Юрий Торопин]

ИМХО, тему - в "Клуб", однозначно

[StasV]

Юрий уже указал в чем была ошибка. Иль вы не согласны с его аргументами?

В этом смысле говорить о том, что подвижки ещё в Sqrt(N) или Sqrt(K) раз улучшают соотношение сигнал/шум - некорректно.

А я и не утверждаю, что использование подвижек уменьшит итоговый шум еще в корень из кол-ва лайтов раз.
Я говорил об уменьшении случайной составляющей шума, вносимой дарками. Она в теории падает действительно в корень из кол-ва лайтов раз.

Δdark  случайное отклонение пикселя dark от среднего 
......
Вклад шума дарка при съемке со сдвигов будет в корень квадратный раз меньше, чем при съемке без сдвига

Есть еще вклад случайной составляющей самих лайтов. он не зависит от сдвигов.

Практика же отличается от теории в том, что мы не можем полностью отделить случайную от систематической составляющей. мы мерим дисперсию по некому сабфрейму. там есть и случайная составляющая и остаток от недокалиброванной систематической. Систематическая не падает при сложении. от туда и результат хуже на практике

[NKV]

Коллеги, неужели даже профессиональные астрономы оную не разработали?

А у них камеры, теория, методы и цели другие

[StasV]

Да, разумеется в финальной сумме. Хорошо, поищу в архиве серию дарков в 40-50 и повторю эксперимент.
А откуда в теории получается эта цифра 1.51?

Сложил не правильно в спешке на работе. забыл про корни
Вроде как так должно быть:
Пусть у нас есть 10 лайтов (дарков, которые мы взяли в качестве лайтов) и 10 дарков. Если снимаем без сдвига, вклад шумов дарка и лайта в сумму будет одинаков.
пусть эти шумы равны 1. тогда шум калиброванной и сложенной серии лайтов будет √(1²+1²) = 1.414
теперь одно слагаемое уменьшается при сдвиге в корень из 10 раз. сново складываем. получаем √ (1²+(1/√10)²)= √1.1 =1.049
1.414/1.049 = 1.348
Если не ошибся, тогда получается, что опыт не опроверг, а с высокой точностью подтвердил теорию

[Grey_]

Вроде как так должно быть:
Пусть у нас есть 10 лайтов (дарков, которые мы взяли в качестве лайтов) и 10 дарков. Если снимаем без сдвига, вклад шумов дарка и лайта в сумму будет одинаков.
пусть эти шумы равны 1. тогда шум калиброванной и сложенной серии лайтов будет √(1²+1²) = 1.414
теперь одно слагаемое уменьшается при сдвиге в корень из 10 раз. сново складываем. получаем √ (1²+(1/√10)²)= √1.1 =1.049
1.414/1.049 = 1.348
Если не ошибся, тогда получается, что опыт не опроверг, а с высокой точностью подтвердил теорию

Вот это уже значительно больше нравится. Интуиция не вопиет возмущенно. Правильно я понимаю, что при сдвижке шум уменьшается в sqrt( 2/(1+1/N) ) раз (где N - число сдвигов) ? Т.е. при росте N выигрыш по шумам очень быстро стремится к корню из 2? Это только при N=K. А какова общая формула?
Напрашивается такая:
sqrt( (1/N+1/K) / (1/N+1/NK) )
где K - число дарков

[Grey_]

Результаты обсчета. 30+30 дарков/лайтов. ISO-3200, 60 сек, -20С, Canon 550D

Sigma.
darks=3 <-- число дарков K
   3   5   8   10   15   20   30     <-- число лайтов N
0   25.1   21.6   19.0   17.8   15.7   14.1   11.7  <- без сдвига
x   20.6   15.2   11.0   9.3   6.4   4.6   2.6   <- со сдвигами

darks=5
   3   5   8   10   15   20   30
0   22.4   18.5   15.7   14.4   12.2   10.6   8.5
x   19.5   14.3   10.4   8.7   6.0   4.3   2.4

darks=8
   3   5   8   10   15   20   30
0   20.8   16.6   13.7   12.3   10.1   8.6   6.5
x   18.9   13.9   10.1   8.5   5.9   4.2   2.4

darks=10
   3   5   8   10   15   20   30
0   20.2   16.0   13.0   11.6   9.4   7.9   5.9
x   18.7   13.7   10.0   8.4   5.9   4.3   2.4

darks=20
   3   5   8   10   15   20   30
0   19.2   14.8   11.7   10.4   8.3   7.0   5.0
x   18.4   13.6   10.1   8.7   6.4   4.9   3.0

darks=30
   3   5   8   10   15   20   30
0   18.9   14.6   11.5   10.3   8.5   7.3   5.5
x   18.4   13.7   10.4   9.1   7.0   5.7   3.9

Цифры для K=N хорошо укладываются в формулу sqrt( 2/(1+1/N) ), остальные, увы, не очень.

[Grey_]

Выкладываю исходник PreFit 0.21 (под Visual Studio 2008) 5MB. As is...
http://narod.yandex.ru/disk/2495458001/Prefit_src_0.21.rar
Всем Звездного Нового Года

[mo]

http://www.starlab.ru/showthread.php?p=382943#post382943
Возможно, будет в тему.