С какой выдержкой нужно снимать флаты?

[Олег Чекалин]

Женя, мне такой набор сделай пожалуйста. Наружный диаметр трубы телескопа 360мм.

[Evgeniy Zhukov]

Женя, мне такой набор сделай пожалуйста. Наружный диаметр трубы телескопа 360мм.

Привет, Олег!Какой-то не совсем любительский у твоей трубы наружный диаметр!   И хотя у моего лазерного станка рабочее поле всего 300х600, для патриарха любительского астрофото извращусь, но сделаю, выдам на Астрофесте.
Параметры флэтбокса:
Материал короба- пластик ПВХ
Рассеивающая поверхность- матовый акрил
Подсветка- белые светодиоды
Питание бокса- 12В
Кто видел и пользовался - Юрий Гилёв, Сергей Киселёв, ну и я.

[Олег Чекалин]

Женя, спасибо!
С диаметром - я не виноват. Это успехи китайского массового телескопостроения таковы. 

[TuKas]

Может подскажете как калибруетесь в IRIS с флэтами. Пробовал по инструкции - получаеться какбы перекомпенсация - углы, которые в исходном кадре темные из за виньетирования, после калибровки получаються наоборот - слишком светлые. Видел формулу, которую приводил Павел Бахтинов - там есть коэфициент, на который делиться флэт перед применением. Как его подобрать? Правда использовал не совсем качественные флэты - пока не дошли руки сделать флэт бокс, снимал экран ноутбука с открытым белым окном.

[Павел Бахтинов]

Собственно флетами надо убрать только виньетирование и пыль. А на всякую неравномерность сигнала и прочие горячие пиксели есть собственно дарки.

Неравномерность усиления пикселей матрицы устраняется именно флэтами, а не дарками.

Может подскажете как калибруетесь в IRIS с флэтами. Пробовал по инструкции - получаеться какбы перекомпенсация - углы, которые в исходном кадре темные из за виньетирования, после калибровки получаються наоборот - слишком светлые. Видел формулу, которую приводил Павел Бахтинов - там есть коэфициент, на который делиться флэт перед применением. Как его подобрать?

Никогда не сталкивался с подобной перекомпенсацией. Вроде, Ирис сам прекрасно разбирается со своими коэффициентами . Та нормировочная константа, которую он просит ввести при создании мастер-флэта, вообще-то, довольно произвольная величина (рекомендуют выбирать ее такого же порядка, как и максимальный уровень сигнала в кадре).

А что за формула, и что за инструкция?

[Mihail Sedyh]

Неравномерность усиления пикселей матрицы устраняется именно флэтами, а не дарками.

Речь о точечных артефактах? Я правильно понял, что раз такие неравномерности не устраняются дарками, то конечная яркость "неправильного" пикселя есть функция полезного сигнала на нем (т.е. зависит от степени его засветки)? 

[Pilgrim]

Неравномерность усиления пикселей матрицы устраняется именно флэтами, а не дарками.

Да, и к счастью эта неравномерность проявляется как "коэффициент чувствительности каждого пикселя" и не зависит от накопленного сигнала, хорошо правится флэтами.

Но меняется для разных ISO кэнона, поэтому приходится снимать флэты с тем же исо, что и лайты. Иначе теоретически можно было бы снимать флэты на мЕньших исо для уменьшения их шумности при том же кол-ве кадров. Грабли проверены наступанием 

[Павел Бахтинов]

Речь о точечных артефактах? Я правильно понял, что раз такие неравномерности не устраняются дарками, то конечная яркость "неправильного" пикселя есть функция полезного сигнала на нем (т.е. зависит от степени его засветки)? 

Да, функция засветки (к счастью, практически линейная). Но это выглядит не как точки - скорее "паттерн".

[Pilgrim]

Я правильно понял, что раз такие неравномерности не устраняются дарками, то конечная яркость "неправильного" пикселя есть функция полезного сигнала на нем (т.е. зависит от степени его засветки)? 

Не совсем. От сигнала не зависит, это просто коэффициент чувствительности данного пикселя, не связанный с экспозицией, "теплошумностью" или смещением пикселя.

Вот попытался расписать откуда берутся значения пиксела на некалиброванном кадре:

L_ADU = L_bias + L_dark*Time*K_temperature + Light * Time * K_optic * K_pix, Где

L_bias = Bias, смещение, оффсет. Не зависит от экспозиции.

Time - время экспозиции, тут указано чтобы было понятнее что зависит от времени, а что нет.

L_dark*Time*K_temperature = Dark,  значение которое мы получаем в темновом кадре после вычитания из него биаса. Для поправки термического коэффициента из-за разности температур съемки кадра и дарка, его можно домножать на некое значение, подбираемое программой автоматически по уровню шума на контрольном участке изображения (оптимизация дарков, Dark Optimization в Ирис)

Light - собственно количество фотонов, только оно нам в идеале и интересно. Для его выделения служит калибровка.

K_optic - относительный (нормированный по максимуму) коэффициент пропускания оптики для данного пикселя. Включает в себя потери от пыли и виньетирования.

K_pix - коэффициент усиления пикселя, грубо говоря относительная светочувствительность каждого пикселя.

Собственно произведение K_optic * K_pix = Flat

P.S. Вроде ничего не забыл?

[Mihail Sedyh]

Light - собственно количество фотонов, только оно нам в идеале и интересно. Для его выделения служит калибровка.

Тогда время из третьего слагаемого надо убрать....
Либо это фотоны в секунду (т.е. освещенность).

поэтому приходится снимать флэты с тем же исо, что и лайты.

Что такое лайты?

[Pilgrim]

Что такое лайты?

Лайтами обычно называют сырые кадры с объектом до калибровки.

Но в формуле под Light подразумевается кол-во фотонов пришедших от объекта в направлении пикселя (до фильтрации пылью и виньетированием). То есть то, что в идеале мы должны получить после калибровки.

Light - собственно количество фотонов, только оно нам в идеале и интересно. Для его выделения служит калибровка.

Тогда время из третьего слагаемого надо убрать....

Не всё правильно, только наверное корректнее будет не кол-во фотонов, а интерсивность освещения (фотонов в сек), тогда с размерностью порядок  .

Еще в формулу можно добавить уровень засветки неба, но его вычитать при калибровке у нас не принято.  Для широкоугольников можно снять несколько кадров с длительной (той же что и лайты) экспозицией без часового ведения в азимутальном направлении на объект в середине экспозиции лайтов. Затем откалибровать, сложить по медиане без выравнивания по звёздам, и сильно заблурить, затем вычесть из суммы калиброваных кадров объекта.

[Mihail Sedyh]

Собственно произведение K_optic * K_pix = Flat

А куда делись освещенность и время? Я думал флэт - все третье слагаемое?

K_optic - относительный (нормированный по максимуму) коэффициент пропускания оптики для данного пикселя. Включает в себя потери от пыли и виньетирования.

K_pix - коэффициент усиления пикселя, грубо говоря относительная светочувствительность каждого пикселя.

В чем смысл введения двух коэффициентов, если они не зависят от уровня сигнала и времени? Как их можно разделить?

[Pilgrim]

Собственно произведение K_optic * K_pix = Flat

А куда делись освещенность и время? Я думал флэт - все третье слагаемое?

Это не слагаемое, это множитель для освещенности. Именно поэтому флэты не вычитают, на них делят.
В формуле показано формирование некалиброванного лайта при съемке. Для лучшего понимания сколько в нём лишнего и как с этим бороться.

А время экспозиции при пролучении этого коэффициента (собственно флэта) роли не играет, лишь бы не был слишком шумным или пересвеченным, он-то всё равно нормируется к единице (в Ирисе к какому-то число, по умолчанию к 5000, но это не важно, при калибровке на это же число и делится - сугубо издержки целочисленного исчесления и хранения файлов в Ирисе).

K_optic - относительный (нормированный по максимуму) коэффициент пропускания оптики для данного пикселя. Включает в себя потери от пыли и виньетирования.

K_pix - коэффициент усиления пикселя, грубо говоря относительная светочувствительность каждого пикселя.

В чем смысл введения двух коэффициентов, если они не зависят от уровня сигнала и времени? Как их можно разделить?

   Смысл в том, что у них разная физическая природа. Можно было не вводить - при правильной калибровке их произведение можно считать одним коэффициентом. Но понимание составной природы этого множителя лично мне далось через грабли - пробовал снимать флэты с меньшим ИСО (линейность приёмника теоретически позволяет, а шума меньше), в результате получил шумовой паттерн из-за этого самого K_pix, который как оказалось от ISO очень меняется.
   Так же в некоторых доках (в т.ч. по Ирису) встречаются упоминания что флэт можно слегка блюрить (пыль и виньетирование сами по себе достаточно размытые, блюр их сильно не испортит), но это не верно потому что убрав высокочастотную составляющую мы исключаем коррекцию по K_pix, получая тот же паттерн.

[TuKas]

А что за формула, и что за инструкция?

Инструкция - это "Tutorial" с сайта Бюля: http://www.astrosurf.com/buil/iris/roadmap/help2_us.htm, а также "Jim Solomon's Astrophotography Cookbook".

Формула - которую Вы показывали на семинаре про  использование цифрозеркалок для астрофото:
                LF - BF - Kd(DF - BF)
LF result = ----------------------
                    (FF - BF)/Af

LF - рабочий кадр (light frame)
BF - смещение (bias frame)
DF - темновой кадр (dark frame)
FF - плоское поле (flat field)
Kd - "оптимизирующий" коэфициент темнового кадра
Af - нормирующий множитель плоского поля

Вот этот множитель Af, я и имел ввиду, но теперь понял, это скорее всего у меня не получалась правильная калибровка из за того, что флэты были с бОльшим виньетированием чем лайты.

[Mihail Sedyh]

Это не слагаемое, это множитель для освещенности. Именно поэтому флэты не вычитают, на них делят.
В формуле показано формирование некалиброванного лайта при съемке. Для лучшего понимания сколько в нём лишнего и как с этим бороться.

Формула из отв.28 состоит из трех слагаемых. Я имел в виду третье, но разумеется напутал, т.к. флэт и лайт представляет вся формула целиком.

   Смысл в том, что у них разная физическая природа...

Да, согласен, это имеет смысл.

А время экспозиции при пролучении этого коэффициента (собственно флэта) роли не играет, лишь бы не был слишком шумным или пересвеченным....

Итак, я опять не понял, флэты можно снимать с короткой выдержкой или как и лайты?

[Mihail Sedyh]

В общем случае шумовая составляющая лайта (=лайт-полезный сигнал) зависит от:
1) погрешностей изготовления матрицы
2) температуры
3) времени экспозиции
4) уровня полезного сигнала
5) усиления
6) случайной составляющей.
Соответственно нам надо получить максимально чистый полезный сигнал.
Предположим что п.6 =0 в результате сложения большого количества лайтов, а п.5 зафиксируем.
Примем формулу (отв.28) в качестве модели сигнала.

L_ADU = L_bias + L_dark*Time*K_temperature + Light * Time * K_optic * K_pix

Первое слагаемое описывает зависимость от п.1 (биас); второе - пп.2 и3(дарк); третье - пп.3 и 4 (флэт).
Возникает несколько вопросов о ее применимости:
а) L_bias и K_pix не зависят от температуры?
б) Что такое L_dark и какова его размерность?
в) В каком диапазоне зависимость от температуры можно принимать линейной?
г) Действительно ли K_pix линеен во всем динамическом диапазоне и не зависит от времени экспозиции?
д) Почему K_pix применяется только к полезному сигналу, а не ко всем составляющим результирующей яркости (есть ли физическое обоснованияе именно такого его определения)?

При съемке биас яркость пикселя состоит только из первого слагаемого. Дарк - из первого и второго. Флэт - из всех трех.
В чем будет разница, если снять флэт с экспозицией лайта и нормировать его дарком, или снять с максимально короткой выдежкой и нормировать только биасом?

[Pilgrim]

L_ADU = L_bias + L_dark*Time*K_temperature + Light * Time * K_optic * K_pix

Первое слагаемое описывает зависимость от п.1 (биас); второе - пп.2 и3(дарк); третье - пп.3 и 4 (флэт).
Возникает несколько вопросов о ее применимости:
а) L_bias и K_pix не зависят от температуры?
б) Что такое L_dark и какова его размерность?
в) В каком диапазоне зависимость от температуры можно принимать линейной?
г) Действительно ли K_pix линеен во всем динамическом диапазоне и не зависит от времени экспозиции?
д) Почему K_pix применяется только к полезному сигналу, а не ко всем составляющим результирующей яркости (есть ли физическое обоснованияе именно такого его определения)?

а) Да, биас и коэффициент усиления от температуры не зависят. Но "раз и навсегда" снимать биас не стоит, он медленно меняется со временем, как-то читал исследование для кэнонов, вроде можно использовать старые сроком примерно до недели, но лучше свежие (тем более что их отснять дело 1 минуты).

б) В данном случае под L_dark имелось в виду количество тепловых электронов, накапливающихся в пикселе, а K_temp - "склонность" данного пиксела к их накоплению (систематическая составляющая дарков), которая сама по себе является функцией от температуры сенсора.

в) Эта функция не линейная, сложная зависимость толи 3-го толи даже 4-го порядка, да еще разная для разных пиксилей (многие "горячие" пиксели гаснут при понижении температуры). Поэтому масштабирование дарка делается не по аргументу (термометра), а по изображению подбирается коэффициент, при котором после вычитания дарка из картинки получается минимальное СКО шума. Это dark optimization, позволяет подобрать для каждого исходного файла свой коэффициент чтобы невилировать нагрев матрицы во время съемки серии. Ирис записывает эти к-ты в файл dark.lst. Но из-за того что зависимость картины шумов от т-ры очень сложная, то чем ближе коэффициенты к 1.0 тем лучше. То есть дарки надо снимать с той же экспозицией и при температуре сенсора максимально близкой к т-ре во время съемки объекта. А если не получилось, нам в какой-то степени поможет дарк-оптимизация.

г) Насколько я знаю, да. Однако для перестраховки (если вдруг матрица не совсем линейна, особенно по краям диапазона), рекомендуют снимать флэты с такой экспозицией, чтобы пик гистограммы находился примерно там же, где он находится на кадрах объекта. Так как нелинейность матрицы мала, точности "на глаз плюс минус лапоть" хватит.

д) Грубо говоря, вычитая биас из флэта, мы убираем из пикселя то, что в нём есть кроме зависящего от освещенности. Если экспозиция при съемке флэта невелика (доли секунды), то тепловыми электронами можно пренебречь. Остаётся только чистая карта освещённости, отягощенная неравномерностью светочувствительности пикселов. Это и есть флэт. Если K_pix и влияет на паттерн дарка (никогда об этом не слышал, но фиг его знает...), то это его влияние уйдёт при вычитании дарка.

При съемке биас яркость пикселя состоит только из первого слагаемого. Дарк - из первого и второго. Флэт - из всех трех.

Почему из всех трёх? Наша задача чтобы итоговый мастер-флэт состоял только из K_optic * K_pix.
Когда снимаются исходники флэтов, они содержат в себе биас (которорый мы вычитаем при подготовке флэта к суммированию) и пренебрежимо малые тепловые шумы, которыми мы пренебрегаем в силу их пренебрежимости  . Далее, учитывая что Light на флэтах это константа (плоское поле), остаются только искомые K_optic * K_pix.

В чем будет разница, если снять флэт с экспозицией лайта и нормировать его дарком, или снять с максимально короткой выдежкой и нормировать только биасом?

Теоретически разницы не будет, если в первом случае еще и биас вычесть. Но снимать флэт по ночному небу, десятки кадров (чтобы звёзды медианой хорошо убрать) с десятками минут экспозиции - варварство по отношению к наблюдательному времени

[Mihail Sedyh]

б) В данном случае под L_dark имелось в виду количество тепловых электронов, накапливающихся в пикселе, а K_temp - "склонность" данного пиксела к их накоплению (систематическая составляющая дарков), которая сама по себе является функцией от температуры сенсора.

Давайте договоримся, что все К - безразмерные, L_ADU и L_bias - количество отсчетов АЦП (далее отсч.). Тогда
Light и L_dark должны иметь смысл освещенности (скорости) и размерность отсч./сек. Если для Light это не вызывает вопросов, то для L_dark - смысл несколько размывается. Впрочем, если яркость дарков с увеличением экспозиции растет линейно (это так?), то можно считать, что это интенсивность эмиссиитепловых электронов.   

г) Насколько я знаю, да. Однако для перестраховки (если вдруг матрица не совсем линейна, особенно по краям диапазона), рекомендуют снимать флэты с такой экспозицией, чтобы пик гистограммы находился примерно там же, где он находится на кадрах объекта. Так как нелинейность матрицы мала, точности "на глаз плюс минус лапоть" хватит.

Поскольку формула описывает поведение единственного пикселя, то гистограмма сюда никаким боком не относится. А интересны как раз края диапазона (слабые туманности с пересвеченными звездами).

д) Грубо говоря, вычитая биас из флэта, мы убираем из пикселя то, что в нём есть кроме зависящего от освещенности. Если экспозиция при съемке флэта невелика (доли секунды), то тепловыми электронами можно пренебречь.

Собственно исходя из названия темы именно этот вопрос и надо решить. Но Ваше мнение я понял....

В чем будет разница, если снять флэт с экспозицией лайта и нормировать его дарком, или снять с максимально короткой выдежкой и нормировать только биасом?

Теоретически разницы не будет, если в первом случае еще и биас вычесть.

Имелось в виду, что предварительно биас из дарка не вычитался.

Но снимать флэт по ночному небу, десятки кадров (чтобы звёзды медианой хорошо убрать) с десятками минут экспозиции - варварство по отношению к наблюдательному времени

Я придерживаюсь того же мнения, но если б это было очевидно, то этой темы не было бы.

[Павел Бахтинов]

А что за формула, и что за инструкция?

Формула - которую Вы показывали на семинаре про  использование цифрозеркалок для астрофото:
                LF - BF - Kd(DF - BF)
LF result = ----------------------
                    (FF - BF)/Af

LF - рабочий кадр (light frame)
BF - смещение (bias frame)
DF - темновой кадр (dark frame)
FF - плоское поле (flat field)
Kd - "оптимизирующий" коэфициент темнового кадра
Af - нормирующий множитель плоского поля

Ага, я так и подумал, что речь о семинаре.

Так вот, этот самый Af вычисляется Iris-ом "внутри себя" и пользователю в явном виде не показывается. Множитель, вводимый пользователем - это другое число, к калибровке прямого отношения не имеющее (как отметил Игорь, "издержки целочисленного исчисления и хранения файлов").

Кстати, в формуле есть формальная неточность (о чем упоминалось и на семинаре).
По-хорошему, в знаменателе из "сырого" флэта надо бы вычитать не смещение, а дарк, но дарк особый, снятый с той же выдержкой, что и флэт. Однако при общепринятой на сегодняшний день методике снимать флэты при большой освещенности и короткой выдержке разницы практически не будет, поэтому Iris по умолчанию действует именно по этой не совсем верной формуле (хотя, конечно, ничто не мешает в случае необходимости подсунуть ему другой файл).

[Павел Бахтинов]

для L_dark - смысл несколько размывается. Впрочем, если яркость дарков с увеличением экспозиции растет линейно (это так?), то можно считать, что это интенсивность эмиссиитепловых электронов.

Вообще-то, для калибровки не обязательно, чтобы интенсивность мастер-дарка линейно зависела от времени (хотя на самом деле это очень близко к истине). В формуле с таким же успехом можно вместо "Time" написать "K_time" (по аналогии с "K_temperature"). Все равно ведь дарки снимаются с фиксированной выдержкой, равной выдержке лайтов.

г) Действительно ли K_pix линеен во всем динамическом диапазоне и не зависит от времени экспозиции?

Во-первых, коэффициент постоянен, линейна - зависимость (в рамках данной модели для конкретного пикселя). Это чтобы не путаться потом в словах

Во-вторых, какие-то паразитные зависимости наверняка есть, но, на фоне иных факторов (см. ниже), они достаточно малы, чтобы ими пренебречь.

В чем будет разница, если снять флэт с экспозицией лайта и нормировать его дарком, или снять с максимально короткой выдежкой и нормировать только биасом?

Как я отметил выше, калибровать и в том и в другом случае надо "своим" дарком (в теории, которой мало кто придерживается ).
А практическая разница - в случайных шумах, не учитываемых ни одной из приведенных здесь формул. Именно для минимизации шумов рекомендуют "снимать флэт с заполнением 2/3 гистограммы" и тому подобное. Линейность современных фотоприемников достаточно высока, чтобы считать возможные небольшие погрешности калибровки "меньшим злом", чем случайный шум.