Выбор гейна, офсета, iso, выдержки etc.

[diant]

Гейн, Офсет, ISO, Выдержка и т.д. - ЧЕГО СТАВИТЬ?

Поскольку в последнее время эти вопросы уже не раз поднимались в разделе Астрофотография, позволю себе вынести ее отдельной темой. Я сам не большой спец в этом всем, поэтому прошу поучаствовать более опытных товарицей в ответы на в общем-то однотипные вопросы про то, "какое надо ставить iso", "какой гейн самый правильный" и т.д. и т.п.

Последней каплей у меня стало письмо от Павла. После него и появилась мысль об отдельной ветке; с него и начну.

Мысли изложить сложно. каша в голове. Могу мопросы сформулировать.
Как правильно для моей камеры (https://www.qhyccd.com/index.php?m=content&c=index&a=show&catid=94&id=15&cut=1) определить гейн на котором следует снимать?

Павел, к гейну, офсету и выдержке не стоит подходить как к волшебным ключикам (к получению шедевров). Для них не существует магических чисел (как например для количества нейтронов и протонов в ядре). Это правило следует запомнить первым.
Нет такого понятия, как "правильный гейн" на все случаи. Надо просто понять, что стоит за каждым из этих параметров, и самому решать, что и как выставлять в каждом случае. Поэтому ваша мысль:

А мне хочется разобраться с правильным, математическим подходом. Понять закономерности, чтобы получать максимально возможный результат.

...кмк правильна.

Попадались разные точки зрения.
Unity gain (120), Gain 45 для LRGB, Gain 140 для узкополосных фильтров.

Относительно Unity gain. Да, есть такой гейн у многих (не у всех) камер, когда 1 фотоэлектрон конвертируется в 1 единицу ADU. Некоторые боятся снимать с более низким гейном, опасаясь тем самым потерять некоторые пойманные фотоны (или огрубить плавные градиенты). Эти страхи справедливы для одиночного кадра. Но астрофотографы обычно снимают много субов, а после их "сложения"* битность интегрально собранного реального сигнала растет, и фотонный сигнал, "могущий быть упущенным и огрубленным" в одиночном субе вследствие гейна < Unity Gain, конечно, вылезет в конечной сумме (которая как правило 16- или 32-разрядная), заняв положенный ему 13, 14, 15-й и т.д. разряд (это для вашей 12-битной кухи).

(кликните для показа/скрытия)

В бытность ведь как поднимали битность сканера (простите за каламбур).
Скажем, сканер дает честные 8 бит информации, остальное шумы.
Хорошо. Сканируем одну и ту же картинку 4 раза, переводим каждый скан в 16-бит и усредняем их (складываем и делим на 4 каждый бит) - в итоге уже имеем честное 10-битное изображение.
Так и с астрофото, когда субов много.

=============
* Слово "сложение" я тут взял в кавычки, ибо как оказалось, даже вокруг этого понятия много недопонимания.
Да, разные программы делают это по разному. Некоторые реально складывают, некоторые складывают и нормализуют на свой "любимый" диапазон (как это делает пикс), а некоторые складывают и делят на количество кадров (то есть нормализуют в оригинальный диапазон складываемых файлов, предварительно переведя их из 8, 10, 12 или 14 бит современных CMOS матриц в 16- или 32-битные FITs). Есть еще сложение медианой, сигмой - о них пока вообще речи не идет.

Павел, я предлагаю вам пока держать в голове такую картину - "сложение" нескольких субов представляйте себе как попиксельное сложение с делением на количество кадров.

Пример 1. Допустим у нас 4 суба. Допустим в самом левом верхнем пикселе с коорд. (0,0) мы имеем в этих 12-битных субах следующие (десятичные) значения:
1, 1, 2, 1
Тогда в сумме этот пиксел получит значение (1+1+2+1) / 4 = 1.25

Пример 2. Чуть более сложный. Берем условия предыдущего примера и опишем его в реальном представлении компьютера. Возьмем исходные 12-битные значения в АЦП вашей кухи.
1-й суб, пиксел (0,0) = 0000 0000 0001
2-й суб, пиксел (0,0) = 0000 0000 0001
3-й суб, пиксел (0,0) = 0000 0000 0010
4-й суб, пиксел (0,0) = 0000 0000 0001

После их простого сложения получим (с предварительным переводом их в 16-бит):

S1+S2+S3+S4, пиксел (0,0) = 0000 0000 0101 0000

А теперь делим их на количество субов (то есть на 4):
(S1+S2+S3+S4)/4, пиксел (0,0) = 0000 0000 0001 0100

Смотрите, у нас появился значимый 14-бит! А ведь камера 12-битная. Весь фокус в сложении нескольких субов.

Вывод: Unity Gain - никакая не панацея для любителей поймать за хвост каждый фотон! Реальные астрофото - это всегда суммы многих одиночных субов, поэтому на какой-нибудь дешевой 8-битной камере (у которой фотоны размениваются на ADU со страшной дешевизной, как после сильной инфляции - ну скажем 20 фотонов на 1ADU, что часто бывает у карманных мыльниц на iso100) после сложения 256 субов, снятых где-нибудь под очень темным небом, да на морозе, вы получите значимые 13-й, 14-й биты (а может и больше) в области слабого сигнала.

Какой гейн выбрали бы Вы и почему? Как, из графиков, определить наилучший гейн?

Посмотрел графики от производителя вашей камеры. Допустим, мы им слепо верим. Тогда...

Тогда на QHY163M я бы для начал стал снимать дипскай во всех его ипостасях на гейне 200 (если графики не врут).
Причина: на этом гейне шум чтения (Read Noise, или просто RN) у 163-й кухи достигает своего минимума (1e-) и дальше уже не убывает. Значит все гейны выше 200 просто лишены смысла. И снимать на них - не даст с точки зрения информации ничего, мы будем только терять динамический диапазон (ДД) из-за быстрого падения глубины ямы пиксела (FullWell), что видно там же на графиках.

Посмотрим теперь левее гейна 200. Ну скажем 150.
Гейн 150 уже имеет RN=1.5e-, и здесь мы соответственно не выжмем из камеры всего, что она может нам дать, при оптимальных экспозициях субов.


Оптимальные экспозиции субов (введем такое понятие) - это минимально короткие выдержки субов, при которых качество суммы (ее SNR) еще практически не становится хуже эквивалентной по длительности одиночной экспозиции.
Под словами "практически не становятся" я для себя понимаю разницу не более чем на 12%.

Вычисление оптим. экспозиции субов для конкретных гейна, темнового тока и фона неба производится путем сравнения трех величин каждой конкретной камеры и места:
(1)  RN при выбранном гейне
(2)  Темнового тока (DC, dark current) для выбранной температуры (если камера с холодильником)
(3)  Скорости накопления сигнала фона неба в вашем конкретном месте с конкретным телескопом и фильтром

Все эти три параметра вообще говоря вычисляются для конкретной камеры и астросетапа после получения нужных тестовых кадров (биасов, дарков и ночных лайтов).

Но для примера давайте еще раз поверим вашему производителю (всем его графикам). И допустим вы снимаете под очень-очень темным небом (или через очень узкий фильтр).
В этом случае пункт (3) нас интересовать не будет. Сигнал фона неба будет копиться очень медленно, и не он, скорее всего, определит оптимальную экспозицию суба, а темновой ток.

Итак, пример 3.

Берем вашу QHY163M, решаем, что снимать будем при -20 градусах и на гейне 200.
Попробуем вычислить оптимальную экспозицию одиночного суба. Поехали.
Смотрим графики...
(1)  RN (g200) = 1.0e-
(2)  DC (-20) = 0.006 e-/pix/sec
Теперь считаем.

Я не перфекционист и выбираю такой критерий: отдельный суб еще не будет ощутимо подпорчен шумом чтения (RN), если шум темнового тока (DN, dark noise) в этом субе будет в 2 раза превосходить RN.
В этом случае RN как раз подпортит SNR всего на 12%, поскольку шумы складываются в ортогональных пространствах, и тогда общий шум суба будет равен sqrt(RN^2 +DN^2) = sqrt(1^2 + 2^2) = 2.236
Делим это число на тот шум, который был бы в отсутствии RN (то есть на 2) - получаем 1.12
Иначе говоря шум в таком субе возрос на 12% из-за RN и это нас устроит.

Мы отвлеклись. Вернемся к теме. Итак мы хотим чтобы DN превзошел RN всего в два раза.
Но DN = sqrt(DC).
Сие простая вещь (для математиков, но надеюсь и для нас будет тоже простой) - потому что когда у нас начинают набегать тепловые фотоны в пикселах, то они появляются случайным образом, независимо друг от друга - и в таких случаях шум этого тока всегда равен корню из количества набежавших фотонов.

Ну, например, у вашей кухи в среднем набегает 0,006 e-/pix/sec при -20 градусах.
Тогда за 700 секунд в каждом пикселе набежит в среднем 700*0.006e- = 4.2e-.
То есть DC=4.2е-

А тепловой шум тогда будет равен:
DN = sqrt(DC) = sqrt(4.2e-) ~ 2e-

И, о чудо (я конечно специально все подогнал заранее) - DN у нас получился как раз в 2 раза больше, чем RN на гейне 200.

Ответ: Снимая на QHY163M при температуре -20 и гейне 200 под очень-очень темным небом (или через очень узкий фильт) оптимальное время экспозиции одиночного суба составит 700 сек.

Павел, я немного устал писать и нужно переключаться на работу. Поэтому пока все. Если что - спрашивайте. И может быть я тут ерунды понаписал, поправьте меня, кто опытный.

[PavelF]

Спасибо! Реально круто. Буду вкуривать и задавать уточняющие вопросы.

[diant]

Спасибо! Реально круто. Буду вкуривать и задавать уточняющие вопросы.

Павел, да нет, не в крутизне дело. Замысле у меня такой - чтобы все, кто на форуме тыкает в эти параметры вслепую, научились бы понимать, чего и когда ставить. Чтобы можно было заглянуть в тему, прочитать, посмотреть примеры и на свой сетап перенести по аналогии.
Самое бессмысленное - срисовывать эти параметры у кого-то на астробине и т.п., не понимая, почему их такими делают. Хотя всего несколько понятых мыслей могут дать хорошие собственные ориентиры.

Ну к примеру - то же пресловутое ISO на Кэнонах.
Сегодня ведь типичный Кэнон - это 14-битная игрушка (~16 тысяч уровней дискретизации). И типичный Кэнон DSLR нижней ценовой категории - это 20-35 тысяч электронов в яме (см. здесь).

Это значит что Unity Gain на таких зеркалках Кэнон близко к ISO200 (когда яма обрезается вдвое).
И если бы RN у Кэноновских матриц достигал своего минимума на ISO200, то общее правило для этих камер звучало бы так: "Снимайте всегда на ISO200"

Но увы, как всем известно, именно у Кэнона RN еще долго падает с ростом ISO (иногда вплоть до 3200 и дальше). Поэтому в реальности общее правило для DSLR Кэнон звучит так - "лезьте на этот сайт и смотрите, где там у вашей конкретно модели график RN начинает выполаживаться - с тем ISO и снимайте".
Можно посмотреть для примера 6D, 60D, 700D и тп.

Другое дело Никон. Молодцы! У них уже несколько лет идут отличные матрицы, RN у которых уже на ISO400-800 достигает практического дна. Там же можно посмотреть d5100, d7000, d7200...
Но эти молодцы свою каплю дегтя добавили - "стар иатер" (гори он). Из-за этого - снимешь на низком исо, даже в РАВ, - и звезд не досчитаешься. Нет в жизни счастья...

[PavelF]

Все эти три параметра вообще говоря вычисляются для конкретной камеры и астросетапа после получения нужных тестовых кадров (биасов, дарков и ночных лайтов).

А можно про тестовые кадры рассказать подробнее?

[mike]

Вы с этой - https://astronomy.ru/forum/index.php/topic,148173.0.html - знакомы?

[PavelF]

Вы с этой - https://astronomy.ru/forum/index.php/topic,148173.0.html - знакомы?

Спасибо. Сейчас почитаю.

p.s. Почитал. Всевозможные гуру долго мерялись детородными органами, но к единому мнению так и не пришли. Единственное, что заслуживает пристального внимание это сообщение Павла Бахтинова https://astronomy.ru/forum/index.php/topic,148173.msg3885260.html#msg3885260 Я его еще раз обязательно прочитаю внимательно с калькулятором и посмотрю, какие выводы можно сделать по моей камере.
 Думаю, что даже оно, нуждается в уточнения, которые в той теме получить врядли возможно. Уж больно стара.

[diant]

А можно про тестовые кадры рассказать подробнее?

Павел, про первый (1) расскажу сейчас - с ним все просто.
Остальные - уже не сегодня.

Определить реальный RN своей камеры (как функцию гейна) очень легко.

Пример для гейна 200

- Ставится гейн 200.
- Снимается два биаса - B1 и B2.
- Далее вычитается один биас из другого (B1-B2). (Тем самым удаляется паттерн, однако же RN у этой разницы умножается на корень из двух по сравнению с оригинальным RN каждого биаса.)
- Далее значение каждого пиксела делится на корень из двух. (То есть возвращаем RN к своему оригинальном узначению.)
- Далее смотрится стандартное отклонение (StdDiv) - это и есть наш RN, выраженный в единицах ADU
- Далее эта цифра переводится в электроны (е-) и прописывается себе на бумажку (навеки). Я кстати помню эти цифры на память, их не так много.

Немного комментриев.
Для всех этих манипуляция я кстати люблю использовать Максим и Фитсворк.

1). Конверсию ADU to e- можно подсмотреть в Заголовке FITа.
Стоит учитывать, что некоторые программы автоматически при открытии могут сразу растянуть ваш 12-битный ФИТ до 16 бит. Чтобы не ошибиться, отношение ADU/e- при выбранном гейне можно ориентировочно подсмотреть в даташите производителя.

2). Часто StdDiv взятое не по полному кадру, а по 95% его площади (без краем) ощутимо лучше. Я бы ориентировался именно на такую цифру. Когда камера с фонарями - разница будет явной.

3). Можно ничего этого не делать и положиться на график производителя. Мой опыт показывает, что ZWO дает весьма честные цифры, иногда даже с запасом. Что касается QHY - тут опыта нет, не щупал.

4). Не обязательно делать это для всех значений гейна. Я бы сделал для 0, 100 и 200 - после чего сравнил полученные цифры с графиком производителя и сделал бы апроксимацию на остальные значения.
Хотя для такого кривого графика RN, который дается для вашей кухи, можно еще на 50 и 150 измерить.

5). Что-то мне помнится, читал когда-то, что 1600-я матрица капризна в смысле правильных биасов. Что-то там относительно выдержек для биаса особое. Что-то там про 0,2 сек припоминается. Более уже ничего не вспомню. Но биасы надо нормальные получить. Павел, почитайте про это сами.

[PavelF]

Мне нравится Ваш научный подход. Попробую на досуге сделать. Все равно неба нет и не ожидается. Но буду доставать вопросами, не обессудьте.

[PavelF]

Нашел в Максиме то, что максимально соответствует ADU to e. Но он, к сожалению, на всех фитах равен 1. Это от камеры зависит или от чего-то еще?

[Infinity]

Спасибо! Реально круто. Буду вкуривать и задавать уточняющие вопросы.

Павел, да нет, не в крутизне дело. Замысле у меня такой - чтобы все, кто на форуме тыкает в эти параметры вслепую, научились бы понимать, чего и когда ставить. Чтобы можно было заглянуть в тему, прочитать, посмотреть примеры и на свой сетап перенести по аналогии.
Самое бессмысленное - срисовывать эти параметры у кого-то на астробине и т.п., не понимая, почему их такими делают. Хотя всего несколько понятых мыслей могут дать хорошие собственные ориентиры.

Ну к примеру - то же пресловутое ISO на Кэнонах.
Сегодня ведь типичный Кэнон - это 14-битная игрушка (~16 тысяч уровней дискретизации). И типичный Кэнон DSLR нижней ценовой категории - это 20-35 тысяч электронов в яме (см. здесь).

Это значит что Unity Gain на таких зеркалках Кэнон близко к ISO200 (когда яма обрезается вдвое).
И если бы RN у Кэноновских матриц достигал своего минимума на ISO200, то общее правило для этих камер звучало бы так: "Снимайте всегда на ISO200"

Но увы, как всем известно, именно у Кэнона RN еще долго падает с ростом ISO (иногда вплоть до 3200 и дальше). Поэтому в реальности общее правило для DSLR Кэнон звучит так - "лезьте на этот сайт и смотрите, где там у вашей конкретно модели график RN начинает выполаживаться - с тем ISO и снимайте".
Можно посмотреть для примера 6D, 60D, 700D и тп.

Другое дело Никон. Молодцы! У них уже несколько лет идут отличные матрицы, RN у которых уже на ISO400-800 достигает практического дна. Там же можно посмотреть d5100, d7000, d7200...
Но эти молодцы свою каплю дегтя добавили - "стар иатер" (гори он). Из-за этого - снимешь на низком исо, даже в РАВ, - и звезд не досчитаешься. Нет в жизни счастья...

Что значит "выполаживаться"? На 60д что-то вообще ничего непонятно. Ступеньки одни....

[diant]

Нашел в Максиме то, что максимально соответствует ADU to e. Но он, к сожалению, на всех фитах равен 1. Это от камеры зависит или от чего-то еще?

Это скорее от снимающего софта зависит. Вероятно ваш софт (APT?) поленился прописать туда реальное значение.
Можно попробовать в другом софте (Максим, Шарпкап и т.д.) сделать снимок на том же гейне и заглянуть в шапку FITа. Эту цифру переписать и запомнить.

Что значит "выполаживаться"? На 60д что-то вообще ничего непонятно. Ступеньки одни....

У кривых есть крутые и пологие участки.
Когда крутой перестает быть крутым и становится пологим - я и называю это "выполаживаться".

Ниже пример - Кэнон 60D и Никон D3400.
У Никона я бы выбрал точку 800, а у Кэнона.... хм... он так и не выполаживается по сути, ну наверное 3200
(Чтобы ступеньки Кэнона не смущали, я соединил одной линией RN при ISO, кратных 100)

PS. У Никонов рискованно снимать при undersampling'е (когда звезды тонут в пикселах). Он их покушает. Хотя я слышал, что какие-то новые модели Никонов уже без встроенного "Star Eater" шумодава.

[Infinity]

Спасибо!
Ну кстати может быть.Мне на ИСО 3200 изображения нравятся больше чем на ИСО 800, хоть и на 3200 шумнее. Экспозиции более минуты как я полагаю бессмысленны?

[diant]

Экспозиции более минуты как я полагаю бессмысленны?

Тимур, будь внимателен, ты написал бессмысленный вопрос.
Пока ты не укажешь ISO, температуру сенсора и не опишешь небо (SQM) и оптический тракт своего сетапа - этот вопрос сам по себе не имеет смысла.

[PavelF]

Это скорее от снимающего софта зависит. Вероятно ваш софт (APT?) поленился прописать туда реальное значение.
Можно попробовать в другом софте (Максим, Шарпкап и т.д.) сделать снимок на том же гейне и заглянуть в шапку FITа. Эту цифру переписать и запомнить.

Снималось Максимом.

Сегодня вечером сниму биасы, и сделаю все по процедуре. Постараюсь выложить процесс сюда, чтобы чайникам, типа меня, было понятно что делать.

Да, ничего внятного про какую-то хитрую съемку биасов на QHY163 не нашел. Буду снимать Максимом, как он умеет.

[Перигелий Петрович]

у сонек ILCE-7* странные графики - пологие "трёхступеньки".
с последней ступенькой понятно - там постобработка, а вот резкий перепад в середине непонятный.

[EvgeniyM]

Да, ничего внятного про какую-то хитрую съемку биасов на QHY163 не нашел. Буду снимать Максимом, как он умеет.

https://www.qhyccd.com/bbs/index.php?topic=5936.0

[PavelF]

Огромное спасибо. Пошел снимать.

Отснято 2 серий с гейнами 0,50,100,150,200 по 3 кадра в каждой.
Первая серия с выдержкой 0.0001
Вторая серия с выдержкой 0.3
Offset камеры установлен на 40. (стояло так, не видел причин менять)
Снималось программой n.i.n.a, поскольку с максимом неудобно настройки гейна менять.

Отступление от темы. Артефакт в виде темной полосы вверху кадра, при съемке с выдержкой 0.0001 появляется только на первом снимке. На последующих такого артефакта нет. На последующих кадрах такой артефакт не проявляется. При съемке с выдержккой 0.3 такого артефакта не наблюдается. Кадр с артефактом ниже.

Проверил еще раз. И Максим и n.i.n.a пишут в fits 1 e/ADU. Может камера должна им что-то выдавать, но не выдает.

[PavelF]

Алгоритм, которым пользовался:
1. Загружаем два биаса в фитсворк
2. Выбираем вычитаение биаса из кадра (пункт меню здесь и далее приведен в приложении)
3. Делим весь кадр на корень из 2 (1,4142)
4. Выделяем кадр, отступив от краев
5. Нажав правую кнопку мыши выбираем показать статистику по выделению
6. Смотрим Std.Deviation.
7. Поскольку, гистограмма растянута на 16 бит, а у камеры всего 12, то полученное число нужно разделить на  2^4, т.е. на 16.
8. Умножаем полученное число ADU, на, соответствющему гейну, коэффициент из графика system gain призводителя

Сейчас сделаю расчеты для обеих серий и опубликую их тоже. Если что-то сделал неправильно, прошу поправить.

[PavelF]

Итоговые результаты. Как я понимаю, они достаточно точно стыкуются с графиком производителя.

[diant]

Павел, прекрасный результат.
Берем ваш StdDiv = 11.33 (ADU 16bit)
Делим на 16, получаем 0.708 (ADU 12bit)
Умножаем на цену 1ADU (берем ее с графиков - 4.79):
RN (g0) = 0.708 * 4.79 = 3.39e-
Для сравнения у производителя 3.4e-

То есть у вас получился точно заявленный производителем RN (g0), но без краев.
А вот интересно было бы сравнить по полному кадру.

PS. Ой, простите не увидел вашего последнего поста с таблицами.
Ну тут вы уже лучше меня сами все понимаете и все обсчитали.
Считайте в RN вы теперь профи и сами все можете оценивать.
Теперь переходите к пункту (2), я его чуть позже опишу по шагам.