RAW-кадры в зеркалках - проблема интерполяции или ...?

[AVSpb2]

Вопрос к гуру:

Мучает меня подозрение, что в моей фотокамере Canon EOS 1000D без интерполяции на основе сигнала соседних пикселей (не помню точную формулировку) не обходится. Возможно, проблема не в этом, но после вычитания offset-кадра (1/4000 сек) из 10-минутного dark-кадра, значение сигнал некоторых (почти половины) пикселей имеет отрицательное значение. Объяснить это "перетеканием" сигнала нельзя, ибо нелогично.

Вот пример:

Одиночный offset:
>load o1
>stat

Mean: 255.9         Median: 256
Sigma: 4.4
Maxi.: 541.0       Mini.: 174.0

==

Offset:
>load offset
>stat

Mean: 255.6         Median: 256
Sigma: 1.9
Maxi.: 603.0       Mini.: 212.0

==

Одиночный темновой кадр (dark):
>load d1
>stat

Mean: 255.5         Median: 256
Sigma: 10.6
Maxi.: 3652.0       Mini.: 186.0

==
 
получившийся дарк (dark):
>load dark
>stat

Mean: -0.1         Median: 0
Sigma: 10.2
Maxi.: 3399.0       Mini.: -73.0

Количество пикселей с сигналом меньше "0":
>COUNT_DOWN 0

Number = 5287990

(и это у 10 Мп камеры)

===

Что же это такое?
И как с этим бороться?

[NKV]

Залейте куда ни будь одиночные дарк и биас.

[Юрий Торопин]

уху, исходники в студию! 

Это НЕ интерполяция, если там честный неужатый RAW. На то он и RAW.

Похоже на то, что они добавляют(?) PEDESTAL (константу) к исходникам в RAW, либо делают ещё какие-то аддитивные операции(?), чтобы уйти от тех самых "минусов" при обработке.

Возможно, там есть "зашитая" карта "битых" пикселов.

IRIS поддерживает 1000D напрямую? Какую модель Кенона выбираете в настройках?

Потенциальных ответов много, правильный будет достаточно простым

Надо пошерстить инет по поводу RAW от 1000D...

[Юрий Торопин]

Чем отличаются кадры offset и o1? У них статистики разные....
Какой из них вычитался из одиночного dark?

[AVSpb2]

Чем отличаются кадры offset и o1? У них статистики разные....
Какой из них вычитался из одиночного dark?

Offset - это master bias, a о1 - одиночный bias-кадр.
Сейчас заливаю на файлообменник (я в деревне, с модема, поэтому медленно).
Загрузится, сразу же ссылку дам на 2 свежих RAW-файла.

По поводу поддержки canon 1000d в Iris - Кристиан Булл лично написал в посвященной iris yahoo-группе, что выбирать надо опцию "5d, 20d и т.д.". Я пробовал также опцию "50d...", результат не сильно отличается.

[AVSpb2]

http://files.mail.ru/NJ58QT - вот ссылка на 2 RAW-файла.

Может, я действительно что-то не так делаю, посмотрите, пожалуйста. Там есть все метаданные файлов.

[Юрий Торопин]

Нормальные кадры, и IRIS их корректно читает и обрабатывает.
Гистограмма двугорбая, даже на биасе.
Отрицательные значения при вычитании биаса - нормально, почему бы и нет?

Это никак не должно сказываться на калибровке, совмещении и т.д.

Для успокоения совести после калибровки, до дебайеризации, можете добавить к кадрам положительную константу порядка 256 (пьедестал), чтобы заведомо вывести все значения в положительный диапазон.

[Grey_]

У вас offset со средним 256 и единичный дарк имеет среднее 256, соответственно master_dark=(среднее единичных дарков)-offset получился с нулевым средним. Естественно что половина пикселей в master_dark будет отрицательна. Ничего в этом страшного нет, ибо в лайте все значения будут значительно больше 256.

[AVSpb2]

Юрий Торопин, Grey_, большое спасибо!

Попробую сегодня добавить константу, чтобы вывести значения пикселей калибровочных кадров из отрицательных значений, и посмотрю на разницу в результатах. Тут, пока я спал, как раз новый материал подоспел (М33, 10 кадров х 20 минут, астрограф Ньютон 200 мм, f/5 с корректором Baader MPCC),

[Павел Бахтинов]

Для успокоения совести после калибровки, до дебайеризации, можете добавить к кадрам положительную константу порядка 256 (пьедестал), чтобы заведомо вывести все значения в положительный диапазон.

Если работать в Ирисе, нет необходимости это делать: Ирис обрабатывает отрицательные значения ничем не хуже, чем положительные .
"Бороться" с отрицательными значениями имеет смысл лишь при экспорте из Ириса (например, в Фотошоп).

Вообще, приведенная статистика совершенно нормальна. Естественно, что при вычитании из зашумленного кадра некоего усредненного ("мастер"-кадра) могут получаться "минусы" - ведь шумовые флуктуации могли действовать как в сторону увеличения, так и уменьшения среднего уровня...
Единственное, что здесь непонятно с точки зрения "чистой теории" - это то, почему регулярная составляющая темнового тока не привела к положительному сдвигу среднего уровня дарка (который, наоборот, немного сдвинут в "минус", несмотря на 10-минутную выдержку). Впрочем, похоже, это типично для кэноновских зеркалок (у меня на 350D примерно то же самое), и объясняется, вероятно, особенностями схемотехники и (или) прошивки камер. Как уже отмечалось, эти особенности никак не мешают правильной калибровке, и вообще практически ни на что не влияют.

[Юрий Торопин]

Для успокоения совести после калибровки, до дебайеризации, можете добавить к кадрам положительную константу порядка 256 (пьедестал), чтобы заведомо вывести все значения в положительный диапазон.

Если работать в Ирисе, нет необходимости это делать: Ирис обрабатывает отрицательные значения ничем не хуже, чем положительные .

это не совсем так, Ирис, например, некорректно измерял FWHM по звёздам в случае, если бекграунд был отрицательным и максимальное значение яркости звезды было тоже ниже 0 (репортил баг Кристиану в версии 5.41, не знаю, исправлен или нет сейчас, Ирисом не пользуюсь достаточно давно).

Были и ещё какие-то проблемы при выполнении некоторых команд на отрицательных значениях, навскидку не вспомню. Поэтому лучше всё-таки выходить "в плюс" перед дебайеризацией

[Mixa]

Единственное, что здесь непонятно с точки зрения "чистой теории" - это то, почему регулярная составляющая темнового тока не привела к положительному сдвигу среднего уровня дарка

Мне это тоже показалось удивительным ... Два дурацких предположения: компенсация шума (вернее, паттерна) вычетом заранее приготовленного (или интерполированного) темнового, либо умудрились тепловой ток превратить в тепловой шум, который не приподнимает, а размазывает ... Первое дико, второе тоже как-то не совсем понятно: КМОП ячейка это конденсатор, разряжающийся через фотодиод, мож, конечно, придумали что с супермалыми обратными токами ...
Кстати, интересно посмотреть дисперсию у одиночных темновых кадров с разными выдержками, именно продолжительными, минуты, она вполне может не зависеть от выдержки, но зависеть только от температуры.

[Павел Бахтинов]

Единственное, что здесь непонятно с точки зрения "чистой теории" - это то, почему регулярная составляющая темнового тока не привела к положительному сдвигу среднего уровня дарка

Мне это тоже показалось удивительным ... Два дурацких предположения: компенсация шума (вернее, паттерна) вычетом заранее приготовленного (или интерполированного) темнового, либо умудрились тепловой ток превратить в тепловой шум, который не приподнимает, а размазывает ... Первое дико, второе тоже как-то не совсем понятно: КМОП ячейка это конденсатор, разряжающийся через фотодиод, мож, конечно, придумали что с супермалыми обратными токами ...

У меня предположение попроще: думаю, внутренний "пьедестал" в камере устанавливается адаптивно, возможно, по данным служебных затененных краевых зон матрицы; таким образом, чтобы средний уровень сигнала с пикселей этих зон (не входящих в выдаваемое "наружу" изображение) был около 256. Тогда средний уровень темнового тока окажется скомпенсирован, независимо от выдержки и температуры. Понятно также, что добавление константы не мешает правильной калибровке.

Кстати, интересно посмотреть дисперсию у одиночных темновых кадров с разными выдержками, именно продолжительными, минуты, она вполне может не зависеть от выдержки, но зависеть только от температуры.

Да нет, от всего она зависит...
Вот статистика 15-минутного и 5-минутного дарков Canon-350D. Температура и время съемки практически одинаковы

15 мин.
Mean: 257.6         Median: 256
Sigma: 14.2
Maxi.: 4095.0       Mini.: 188.0

5 мин.
Mean: 256.4         Median: 256
Sigma: 8.1
Maxi.: 4095.0       Mini.: 190.0