Ещё раз о шумах считывания и оптимальной экспозиции

[diant]

Глупость несусветная Вы в этом предложении вообще утверждаете, что выдержка в 1 секунду по SNR равна выдержке в 50 секунд?! Прочтите, что Вы хоть сами-то написали?

Сравнивается не 50 сек и 1 сек, а 50 сек одним субом и сумма 50 штук 1-сек субов. Есть ощущение, что вы боитесь провести опыт и поэтому пишете такие вещи, и зачем-то снова туда вставляете свою мысль про "потонет в шумах".

Кроме чистой математики есть еще такая вещь - практичность применения вашего подхода, сложить 6 часов суммы из 50 секундных кадров - это задача для моего I7го с 16Gb ОЗУ вылилась в полтора часа обсчета, 6 часов 1 секундных кадров я даже пытаться не буду обсчитывать.

Сие есть чистая правда. Согласен. Если не хватает ресурсов компа, тогда имеет смысл удлинять субы и уменьшать их число. Но вот что интересно, у меня i3 и 8Gb озу - и мой комп складывает 1-сек субы с выравниванием на лету, и даже не затыкается. Он у меня и 0,5 сек субы складывает с выравниванием на лету, по ходу съемки. Не знаю, чем это объяснить, м.б. у нас разные программы или по разному настроены машины (я снимаю в Шарпкапе 3.2 под 7-й Виндой 64).

[greghome]

Да хватит цитат, приведите график, все Всем станет очевидно.

 SNR-gains-02signal.png (63.04 КБ, 863x571 - просмотрено 34 раз.)

Насколько я понял из этого графика - под городским небом разница по SNR с менее и более длительными экспозициями гораздо меньшая, чем под темным небом, но всё же она есть. И желательно это учитывать. Т.е. подбирать оптимальные по длительности экспозиции исходя из шума камеры и шума неба.
Под тёмным небом разница в SNR может достигать при длительных выдержках более 30 процентов по сравнению с выдержкой в 30 сек. А под светлым уже менее 5 процентов (под очень светлым и того меньше).
Но всё же автор статьи не приводит сравнение при очень коротких экспозициях, например 1 сек. (или менее) и до 30 сек. под городским небом.
Может быть при этом получится тоже такая же большая разница по SNR (в статье минимальная выдержка начинается с 30 сек.)?

Повторю свой вопрос (может затерялся): пользовался ли кто-нибудь средствами PixInsight (Scripts->Instrumentation->BasicCCDParameters , Scripts->Instrumentation->CalculateSkyLimitedExposure) для определения оптимальной длительности субэкспозиций исходя из характеристик камеры и шума неба?
Работают ли эти инструменты должным образом?
Не знает ли кто-нибудь других методик или программ по этому вопросу?
Спасибо.

[greghome]

Сравнивается не 50 сек и 1 сек, а 50 сек одним субом и сумма 50 штук 1-сек субов. Есть ощущение, что вы боитесь провести опыт и поэтому пишете такие вещи, и зачем-то снова туда вставляете свою мысль про "потонет в шумах".

Хорошо бы всё-таки подойти к этому вопросу не только практически, но и научно. Хотя бы на уровне этой статьи. Тогда можно было бы выработать универсальную методику определения оптимальной длительности экспозиции для данной камеры и в имеющихся текущих условиях...
В идеале хотелось бы иметь (построить) набор таких графиков для имеющейся камеры, но начиная с очень коротких экспозиций.
Либо матаппарат, который строит эти функциональные зависимости.
Тогда, определив уровень шума (или засветки) неба и взглянув на эти графики или загрузив данные в программу (при известных характеристиках камеры), можно сразу прикинуть оптимальную длительность субэкспозиции..
Правда, она, наверно, давно уже есть. Например, в писксе, может это и реализовано. Или ещё где..

[diant]

Greghome, относительно вашего вопроса про функцию CalculateSkyLimitedExposure.

Судя по вашим словам о статье, которую вы привели, вам она кажется сложной и ответа на ваш вопрос - "В идеале хотелось бы иметь (построить) набор таких графиков..." - вам не дает.
В действительности она проста и зиждится всего на одной формуле, которую (как мне кажется) должен уметь написать почти с закрытыми глазами любой опытный астрофотограф с нашего форума. Она действительно несложна и в сущности легко выводима - прилагается внизу. Вся статья построена на ней и только на нее и опирается (включая графики).

На слагаемое DarkCurrent_s люди, имеющие охлаждаемые камеры, обычно закрывают глаза (его можно сделать близким к нулю). Если у вас DSLR или неохлаждаемая астрокамера, пожалуйста не забывайте учитывать его. А вот два слагаемых - Sky_s*t и Ron^2 - и есть те два фактора, которые нужно сравнить между собой, чтобы по ходу съемки быстро для себя понять, какие минимальные выдержки субов можно делать в ваших конкретно условиях, не боясь ощутимо потерять SNR в итоговой сумме из-за вклада слагаемого Ron^2 (Read out noise в квадрате).

Пример. Быстрый подсчет, который я делаю при съемке скажем в августе. Лучшее небо у меня на балконе - SQM18. Для трубы f/5 это значит что Sky_s = 10-15е/сек на пиксел для ч-б 178-й матрицы (промерял это раз и навсегда; и запомнил). А ее шум чтения на гейне 200 составляет 1.4е (прилагается в даташите, можно верить). Иначе говоря Ron^2 = 2e.

Сравнивая слагаемые Sky_s*t и Ron^2, я вижу, что уже при t=1 сек (то есть на 1-секундном субе) Ron^2 (2е) тонет с головой в накопившемся сигнале неба (Sky_s*1 = 10-15е).

Вот вам выполнение "на лету" функции CalculateSkyLimitedExposure. Нужно только один раз промерять для своей камеры слагаемое Sky_s (набегаемый за 1 сек фон неба в электронах). Промерять на любом своем скопе или объективе, ибо потом это слагаемое легко пересчитать для любой другой светосилы и любого другого неба (другого SQM).

PS. У автора статьи хорошие примеры работы с этой формулой. посмотрите их - это поможет ее почувствовать.

[greghome]

Спасибо. На работе мельком просмотрел статью. Приеду домой поизучаю, опираясь на ваши подсказки.

[mo]

Безотносительно к теме съёмки в городе заинтересовался

Лучшее небо у меня на балконе - SQM18. Для трубы f/5 это значит что Sky_s = 10-15е/сек на пиксел для ч-б 178-й матрицы (промерял это раз и навсегда; и запомнил)

В моей обсерватории фон на БТИ (320ф4.25 ньютон с KAI-11002) выходит около 4e / сек. Небо около SQM21.2 в зените.
Шум считывания этого динозавра порядка 13е. Стало быть шум считывания сравняется с шумом неба примерно на 42й секунде. Темновой не учитываем, он порядка 1.5е (=0.8%) за эти 42 секунды.

Когда наступает момент "шум считывания тонет в шуме неба"? Когда он 20% от шума неба? Или где делает срез тот скрипт?
Если 20%, то выходит 42 * 5 = 210 секунд нормальная экспозиция для этой связки? А дальше разница в SNR будет не существенной? Или 10% шум считывания от шума неба, то есть 420 секунд? На что опираться.

Понятно, что я привёл пример совершенно в другом разрезе. Это и динозавровая камера, и относительно тёмное небо. И пример не имеет отношения к рассматриваемому в начале вопросу. Так сказать, опять выдерну из контекста. Ради пользы себе

[diant]

Шум считывания этого динозавра порядка 13е. Стало быть шум считывания сравняется с шумом неба примерно на 42й секунде.

Да.

Когда наступает момент "шум считывания тонет в шуме неба"? Когда он 20% от шума неба?

Это зависит от степени собственного перфекционизма. А цифры будут такие.

NR = 50% от шума фона неба => итоговый SNR такими субами будет хуже одного длинного кадра эквивалентной  длительности в srqt(4+1)/sqrt(4) = 1,12 раз (то есть шум субами будет на 12% выше). Опытный глаз может и заметит. Разница нивелируется 25% наращиванием общей длительности субами (1 час 15 мин субами вместо 1 часа одним кадром).

NR = 25% от шума фона неба => итоговый SNR такими субами будет хуже одного длинного кадра эквивалентной  длительности в srqt(16+1)/sqrt(16) = 1,03 раза (то есть шум субами будет на 3% выше). Глаз перфекциониста может такое и заметит. Разница нивелируется 6% наращиванием общей длительности субами (1 час 4 мин субами вместо 1 часа одним кадром).

Надо ли делать этот порог меньше? Я не знаю. Если найдется глаз, который улавливает разницу SNR в 1-2%, то для такого глаза можно продолжить топить NR в шуме неба и дальше.

Если 20%, то выходит 42 * 5 = 210 секунд нормальная экспозиция для этой связки?

А вот здесь ошибка. Шум неба вырастет в 5 раз, когда экспозиция вырастет в 25 раз, а не в 5. Корень забыт.

И пример не имеет отношения к рассматриваемому в начале вопросу.

Почему? По-моему никакой разницы, только цифры другие, а суть та же.

[PavelGhost]

При шуме чтения 3e на UnitGain вообще нет смысла играть с усилением.

[mo]

А вот здесь ошибка. Шум неба вырастет в 5 раз, когда экспозиция вырастет в 25 раз, а не в 5. Корень забыт.

Точно! Я всё перепутал. 4e / сек - это нарастание фона неба (3000 ADU * 1.2 e/ADU за 900 сек).
Стало быть, шум неба, вдвое больший шуму считывания наступит... 13 * 2 = 26. В квадрат это 676. Делим на 4 - на 169 секунде.

NR = 50% от шума фона неба => итоговый SNR такими субами будет хуже одного длинного кадра эквивалентной  длительности в srqt(4+1)/sqrt(4) = 1,12 раз (то есть шум субами будет на 12% выше). Опытный глаз может и заметит. Разница нивелируется 25% наращиванием общей длительности субами (1 час 15 мин субами вместо 1 часа одним кадром).

А что такое 4 (корень из 4 + 1 и корень из 4)?

Почему час (3600 сек)? При найденной цифре 169 сек.

NR = 25% от шума фона неба => итоговый SNR такими субами будет хуже одного длинного кадра эквивалентной  длительности в srqt(16+1)/sqrt(16) = 1,03 раза (то есть шум субами будет на 3% выше). Глаз перфекциониста может такое и заметит. Разница нивелируется 6% наращиванием общей длительности субами (1 час 4 мин субами вместо 1 часа одним кадром).

25% NR/S наступит при (13 * 4)^2 / 4 = 676 секунд.

Модератор не проходил мимо? Вынести б в отдельную тему.

[StarDiver]

Есть ощущение, что вы боитесь провести опыт и поэтому пишете такие вещи

Ну что же, господа коллеги астрофотографы - чуда не случилось...
Условия Москва, м.Коломенская (белая зона засветки), 11.06.2019 г. время: 0.05-0.06 (астрономические сумерки) Объект M64 и Луна напротив ~50% (достаточно ярко, чтобы внести еще более экстремальные условия). Съемка в красном фильтре, обычный R фильтр. Настройки камеры: gain 270 / offset 10

Сравниваем один файл 50 секундный и 50 файлов по 1 секунде.
Сложение 50 файлов проводилось по двум алгоритмам, первый с сигма клиппингом, второй обычным сложением (тот случай который использует diant) при сложении на лету, именно он самый не требовательный к вычислительным ресурсам, но и самый плохой по конечным результатам.

Итак талица победителей:

1 место: одиночник 50s с SNR = 0.74
2 место: сумма по Сигме 50*1s с SNR = 0.67
3 место: сумма 50*1s с SNR = 0.65

Честно старался расставлять квадратики по разному, но сумма 1 секундных сабов сливает одиночнику с разницей от 12% до 16%
А теперь еще немного занимательной математики для уважаемого diant, время чтения файла в Максиме одиночного кадара в 40 мегабайт составляет примерно от 1 до 3 секунд, в зависимости от использованного типа USB шины, даже в лучшем случае при чтении в 1 секунду, разница между одиночником в 50 секунд и 50 кадров по 1 секунде составит не 12-16%, а все 100% из-за того, что за это время пока снимаются 50 штук 1 секундных файлов, в случае с выдержкой в 50 секунд - мы получим два файла по 50 секунд.

Но это все лирика, сумма субкоротких файлов ожидаемо сливает одному "длинному".

Архив для всех желающих (внимание размер 1Гб - количество требует места  50 файлов по 40 мегабайт не шутки)
https://yadi.sk/d/hzGvC5HgJfEVaQ

P.S. Суммы не выкладывал, сложите сами если захотите...

[greghome]

Очень любопытно.. Получается, что по всем параметрам более длинные субы выигрывают.

[StarDiver]

Очень любопытно.. Получается, что по всем параметрам более длинные субы выигрывают.

Не совсем - если мы говорим о Лакиимеджинге, то его суть получить более резкое не подверженное атмосферному искажению изображение или хотя бы максимально минимизированное, но в ущерб проницаемости. Хорошо подходит для ярких дипов...

Практическую сторону обработки например 6 часов (21 600 секундных файлов по 40 мгб), можно даже не затрагивать.

[GraY25]

Итак, мы доказали, что астрофото нужно снимать длинными выдержками...



 

[StarDiver]

Итак, мы доказали, что астрофото нужно снимать длинными выдержками...



 

Удивительно, что это еще приходится доказывать.  Никогда на этом форуме такого не было и вот опять. 

[Олег Чекалин]

Очень любопытно.. Получается, что по всем параметрам более длинные субы выигрывают.

Не совсем - если мы говорим о Лакиимеджинге, то его суть получить более резкое не подверженное атмосферному искажению изображение или хотя бы максимально минимизированное, но в ущерб проницаемости. Хорошо подходит для ярких дипов...

Для лаки имиджинга нужен довольно большой и довольно светосильный телескоп, чтобы сигнал был приличный и быстро набирался.
При этом режим коротких субов по многим объектам не будет уступать по шумам слишком заметно.

[StarDiver]

Для лаки имиджинга нужен довольно большой и довольно светосильный телескоп, чтобы сигнал был приличный и быстро набирался.
При этом режим коротких субов по многим объектам не будет уступать по шумам слишком заметно.

Олег в эксперименте участвовал АПО 98мм светосила F:4.7 Камера ZWO ASI183MM-pro, Разрешение: 1.07"/pixel

Кроме того в дополнение к твоему утверждению, разрешение телескоп - камера должно быть на пределе, а когда у тебя разрешение от 1"/pixel и выше - ну какой тут Лакиимеджинг. 
Но ты же сам любишь когда галактика в пиксель проваливается. 

[GraY25]

Для лаки имиджинга нужен довольно большой и довольно светосильный телескоп

Эх, гиперстар бы на это дело..
Надеюсь рано или поздно руки дойдут.
356мм F/1.9 - должна быть термоядерная бомба..

[Олег Чекалин]

Для лаки имиджинга нужен довольно большой и довольно светосильный телескоп

Эх, гиперстар бы на это дело..
Надеюсь рано или поздно руки дойдут.
356мм F/1.9 - должна быть термоядерная бомба..

Мало, слишком короткое фокусное. Что-то типа 800мм F/2.8 будет оптимально, это с расчетом на пикселы 3,76 от Сони.

[GraY25]

Мало, слишком короткое фокусное. Что-то типа 800мм F/2.8 будет оптимально, это с расчетом на пикселы 3,76 от Сони.

Да на 680мм фокуса масштаб выходит 1.14", что учитывая не самые лучшие споты у гиперстара - самое оно.
Конечно, идеальна была бы RASA 36, 800мм F/2.2 даст идеальный сэмплинг 0.97 и более мелкие звёзды, но игрушка стоит уже $14000 и мне не по карману.

А на ньютоны, особенно сверх быстрые, у меня аллергия..

[diant]

Точно! Я всё перепутал. 4e / сек - это нарастание фона неба (3000 ADU * 1.2 e/ADU за 900 сек).
Стало быть, шум неба, вдвое больший шуму считывания наступит... 13 * 2 = 26. В квадрат это 676. Делим на 4 - на 169 секунде.

Теперь похоже на правду.

А что такое 4 (корень из 4 + 1 и корень из 4)?

Олег, смотри. Берем формулу из статьи (я ее привел в посте #34375).

Под корнем в знаменателе выбрасываем DarkCurrent_s (у нас все охлаждаемое); и выбрасываем s*t под корнем - потому что SNR на ярких объектах будет заведомо лучше, чем на слабых и о них мы беспокоиться не будем. А будем смотреть самые критичные участки изображения (слабые галактики, туманности и т.д.), где s*t << Наших шумов (небо + RN^2). Итак, под корнем остается (Sky_s*t + RN^2). Всё.

Так вот. Когда мы делаем короткий суб, у которого "RN = 50% от шума фона неба", то если RN^2 принять за "х", то фон неба (то есть  Sky_s*t) будет равен "4x".

Примем длительность одного суба за "t".
Тогда одиночник, эквивалентный по времени сумме N таких субов будет иметь экспозицию "Nt".

И тогда для суммы N субов имеем SNR = N*s*t / sqrt(N*(4x+x))
А для одиночного длинного кадра имеем SNR = s*Nt / sqrt(4xN)
(Во втором случае иксом пренебрегаем, потому что он без сомножителя N, то есть считается всего один раз на всю экспозицию, что много меньше чем 4xN.)

Их отношение равно sqrt(4xN) / sqrt(N*(4x+x))
Сокращаем все что можно и остается sqrt(4) / sqrt(4+1).
Вот откуда 4 и 4+1.

Почему час (3600 сек)? При найденной цифре 169 сек.

Ну это я просто для наглядности взял с потолка цифру.
Для твоих 169-сек субов, чтобы получить такой же SNR, как на огромном одиночнике, нужно будет набрать субов на 25% больше по времени, чем одиночник. Скажем, если одиночник 30-минутный, то 169-сек субов нужно будет набрать на 38 мин в сумме - и тогда SNR будет тот же. Как-то так.

Сравниваем один файл 50 секундный и 50 файлов по 1 секунде.

Стардайвер, спасибо огромное! Посмотрю ваш материал и потом напишу свои мысли.
Вашу просьбу я тоже постарался вчера выполнить, вот эту:

Мячик уважаемый на Вашей стороне, надеюсь вы все же покажите нам картинку с сумой из коротких выдержек (доли секунд) - аналогичную по проницанию хотя бы моему снимку. Охлаждение при этом Вам не нужно, можете сделать это со своей текущей камерой. Небо у нас одинаковое, практически.

Сделал 50 сек сумму из 100 штук 500 мс субов (точнее 101 штуки - не успел вовремя кнопку нажать)). Ткнул в произвольное место на небе в момент настройки сетапа. Полученный результат никак не калиброван (дарки, биасы, флеты не применялись). Вся обработка в фотошопе - обычными уровнями. Масштаб чуток постарался привести к вашему. К сожалению не знаю вашей апертуры - взял ваш 50-сек R кадр из съемки NGC4565 (он у вас там самый лучший; почему-то ваш зеленый канал вышел хуже...). У меня ньютон 150 мм.

================

PS. Стардайвер, посмотрел ваш результат. Помните замечательное место - "***, дитям мороженное..."
Глядя на ваши результаты само вспомнилось. Ведь я вам написал:

Вот так будет точно, если при этом соблюсти остальные вещи, которые тоже существенны. А именно:
- f/5
- 178-я (или 183-я) монохромная камера без фильтров
- съемка в июне в Москве

Теперь что делаете вы:

Съемка в красном фильтре, обычный R фильтр.

Дорогой мой, я конечно все понимаю, математика по боку, но хотя бы условия опыта вы можете соблюсти?
Даже если вы их не понимаете, то просто механически...

Ладно, ваш результат можно хорошо описать математикой даже при таких "отклонениях". Повесив R фильтр, вы придавили фон неба в 4 раза по сравнению со съемкой ч-б камерой БЕЗ ФИЛЬТРОВ. Соответственно шум неба вы придавили в 2 раза. А шум чтения (Read Noise) остается прежним! Понимаете?
Таким образом вы вместо (4x+1) получили под корнем (x+1). Хорошо, даже если это трудно понять, тогда по-другому. Вы фактически провели опыт, перенеся себя (благодаря повешенному фильтру) под более темное небо. А выдаете опыт "за тот самый".

Если хотите получить ту самую разницу SNR всего в несколько %, которую предсказывает математика, - снимайте либо БЕЗ ФИЛЬТРОВ субами по 1 сек, либо с R фильтром субами по 4 сек.
Хотя у меня уже есть предчувствие, что и тогда у вас не получится. Вы удивительным образом нарушаете условия опыта там, где это и в голову не придет.

======================

Чтобы на чем-то сойтись с вами, беру одно ваше высказывание, которое подтверждаю двумя руками:

Но это все лирика, сумма субкоротких файлов ожидаемо сливает одному "длинному".

Да, проигрывает, причем всегда. Весь вопрос только в одном - насколько.
Если она проигрывает на 2-3% (чего глазом не заметит ни один "адепт"), но позволяет снимать без гидирования, не заботясь о PE монтировки, с бонусным выигрышем по FWHM - то у нас в руках появляются две возможности, которые можно взвесить и выбрать по вкусу.

Вот кстати пример недавней съемки 0,5 сек (241 суб) и 1 сек (726 субов) субами - всего 14 минут в сумме. М5 в Змее. Снято с того же балкона в Ясенево в ночь с 6 на 7 июня этого года.