Калибровка без дарков с полным устранением горячих пикселей

[Mirali]

По сути лайты содержат в себе дарки, думаю поэтому p.v. и решил вычленить эти дарки из лайтов, не тратя время на отдельную съемку дарков.

Не понимаю. Из первого лайта вычитаем второй. В каждый пиксел Лайта входят - регулярный дарк + полезный сигнал + шум = Д + С + Ш, про оффсет забудем, про шум разной природы забудем. Итак, первый кадр - Л1 = Д1 + С1 + Ш1, второй кадр Л2 = Д2 + С2 + Ш2. Вычитаем второй из первого, получаем Л1 - Л2 = Д1 - Д2 + (С1 - С2) + (Ш1 - Ш2). Автор рассчитывает, что если кадры сняты в примерно равных условиях, то С1 - С2 = 0 - сигналы погасят бруг друга. Но при этом, кмк, и Д1 - Д2 = 0, то есть, дарки уйдут из результата, останется ТОЛЬКО разность шумов, о чем и пишет автор. Как это "убирает" сигнал от темнового тока, который прямо пропорционален времени накопления, зависит от температуры и меняется от пиксела к пикселу - честно говоря, не понимаю. Но текстом не обижен, каждый имеет право со своими кадрами делать все, что угодно.
Если я не прав, поясните, кто может, арифметику процесса?
С уважением, Мирали

[p.v.]

Автор рассчитывает, что если кадры сняты в примерно равных условиях, то С1 - С2 = 0 - сигналы погасят бруг друга.

Совершенно верно. Так как лайты совмещены по сигналу.

Но при этом, кмк, и Д1 - Д2 = 0, то есть, дарки уйдут из результата

Как раз нет. Предполагается смещение лайтов друг относительно друга, а дарки привязаны к границам кадра и практически полностью совпадают по фазе и расположению в кадре. Поэтому их разность при выравнивании по сигналу совсем не ноль.

Сначала мы выделяем весь шум (Stage 0/-0) и вычитаем его из суммы (stage 1 и 2). Потом выделяем постоянный шум одного лайта (Stage 3 и 4) и вычитаем его из суммы лайтов с вычтенным суммарным шумом (Stage 5 и 6). Затем получаем разность шумов (stage 7), оставляя только случайный шум. Потом из уже очищенной от постоянного шума суммы лайтов исключаем некую часть случайной составляющей шума. Остается усиленный сигнал и заметно пониженный случайный шум /stage 8.

Я подозреваю, что когда я двигал кадры вручную в шаге , когда делал пример, описанный в топике, в шагах 5 и 6, я совмещал их по даркам, а не по лайтам. Сигнала там нет, а сдвиг на один пиксель гасит почти все горячие пиксели в кадре, т.к. они в противофазе. И наоборот. Тогда получается,  что по комете я сделал неправильно, т.к. совместил кадры и заведомо обрезал для всех операций, чтобы не двигать в процессе. Это неверно.

Проблема в том, что сдвигать вручную и знать, насколько смещены кадры, практически нереально. В алгоритме программы это легко запомнить, но руками отсчитать и не ошибиться не так просто. Комету переделаю. Ее можно считать недействительной.

[Mirali]

Как раз нет. Предполагается смещение лайтов друг относительно друга, а дарки привязаны к границам кадра и практически полностью совпадают по фазе и расположению в кадре. Поэтому их разность при выравнивании по сигналу совсем не ноль.

Так что это дает-то? Как это помогает убрать из кадра неравномерность изображения, внесенную из-за того, что сигнал от Дарка и оффсета зависит от координаты пикселя? В тяжелых случаях - очень сильно зависит (цифровики с "сиянием" усилителя и "линейчатой структурой, DSI всех мастей - темно дает очень характерную картинку...), для хороших матриц - зависимостью можно пренебречь, но тогда и вычитанием иногда вообще пренебрегают.
Цель вычитания темна (и оффсета) - не только победить горячие пикселы, но и убрать неравномерность картинки, чтобы на ровном фоне выявить слабые детали, как звезды так и протяженные объекты. Чем помогает Ваша методика - непонятно.
Но, возможно, темновой ток Вашей камеры реально мал и слабо зависит от координат, тогда все, что Вы делаете - складываете два кадра, увеличиваю сигнал/шум в 1.41 раза. да еще боретесь по дороге с горячими пикселами. Но если Вас это устраивает - да ради Бога.
С уважением, Мирали

[p.v.]

Я подправил свой ответ выше. Может это поможет понять.

все, что Вы делаете - складываете два кадра, увеличиваю сигнал/шум в 1.41 раза. да еще боретесь по дороге с горячими пикселами.

именно так. почти. я увеличиваю snr пары не в 1,4 раза, а в степени от 1,41. это видно по уровню фона на стадиях процесса. в 1,4 он увеличивается на stage 2. А на stage 5 он еще выше. А на 8 еще выше. Это видно. И это всего 2 кадра. таких пар в серии десятки-сотни. суммарный snr всей серии должен быть лучше. а горячие пиксели и вовсе должны отсутствовать как класс. и главное - мне не надо снимать дарки..

[PavelGhost]

мне не надо снимать дарки..

Откалибруйте мои два лайта - и все сразу станет понятно.

[p.v.]

хорошо, но не сегодня.

[PavelGhost]

Не вопрос - но очень сильно сомневаюсь в результате - для идеальных матриц может и пойдет, но там и калибровать то незачем.

[Fantom]

Автор рассчитывает, что если кадры сняты в примерно равных условиях, то С1 - С2 = 0 - сигналы погасят бруг друга.

Совершенно верно. Так как лайты совмещены по сигналу.

Скромно замечу что это совершенно не верно  .  Еще не видел в серии совершенно одинаковых лайтов, куда флуктуацию атмосферы девать будем?   

[p.v.]

Не вопрос - но очень сильно сомневаюсь в результате - для идеальных матриц может и пойдет, но там и калибровать то незачем.

я могу вам скинуть серию своих лайтов, дарков и биасов. возьметесь обработать по сотне кадров по классической методе?
камеры все одинаковы. пиксели у всех квадратные. моя камера уже на 2 сек. фонит как сковородка. Скриншот в начале темы - тому хорошая иллюстрация. Собственно, далеко ходить не надо. Исходники те же, технология классическая: https://fotki.yandex.ru/next/users/ea-trifonoff/album/363926/view/1718805
Когда смогу обработать серию по новой технологии - сравним итоги.

.. замечу что это совершенно не верно  .  Еще не видел в серии совершенно одинаковых лайтов, куда флуктуацию атмосферы девать будем?   

все верно. разница в лайтах будет нивелирована

[Fantom]

По-русски говоря полезная информация будет потеряна (нивелирована).
Кроме того выше привели пример применения данной модели обработки, допускаю что горячие пиксели и уйдут, но куда денется нагрев матрицы от встроенного усилителя? Честные дарки легко справляются с этим.

[p.v.]

 нагрев матрицы от встроенного усилителя - это постоянный шум, такой же, как и горячие пиксели. он должен уничтожиться, как и горячие пиксели. случайная составляющая размажется и будет ослаблена.
применение дарков - это вычитание дарков из лайта. тут принципы те же. разница в подвижках туда-сюда при обработке, в основном. иными словами, при классической технологии делается мутный разбавленный кисель, а тут по гор. пикселям ведется прицельный огонь. со случайным шумом чудес нет и он никуда не исчезает, а тоже размазывается.
но вот на 2-м скриншоте в кружочках (stage 2) есть горячие пиксели, присутствующие только на одном из лайтов. их очень мало на снимке. это случайный шум. на stage 5 его уже нет. и дальше тоже нет. вот с ним как быть?

[Юрий Торопин]

я могу вам скинуть серию своих лайтов, дарков и биасов. возьметесь обработать по сотне кадров по классической методе?

Кидайте всё что есть, исходные лайты, дарки, биасы, флеты. Я люблю обрабатывать. Потом сравним соотношение S/N на обработанной по классической методике сумме без постобработки - и по вашей, если вы всё это вручную сделаете для всей серии.

Выше все примеры - для пары лайтов.
Что будете делать с серией из 40 лайтов, например?

таких пар в серии десятки-сотни. суммарный snr всей серии должен быть лучше. а горячие пиксели и вовсе должны отсутствовать как класс. и главное - мне не надо снимать дарки..

зато надо делать намного более сложную мутурную ручную работу, получая худший результат.

[p.v.]

я не собирался и не собираюсь участвовать в соревнованиях. и не говорил, что предлагаемая метода в чем то лучше. она другая и все. остальное мне мало интересно. так что извините, я пас. наоборот, я призывал попробовать желающим сделать собственными руками и сравнить на своем материале. так честнее и мне проще.

[Юрий Торопин]

 

... не говорил, что предлагаемая метода в чем то лучше. она другая и все. остальное мне мало интересно. ...

если использовать не только операции сложения и вычитания, а ещё, например, умножение c делением, то можно наплодить ещё много ДРУГИХ МЕТОД, которые не будут иметь никакой практической ценности и давать результаты существенно хуже, чем общепринятая методика каллибровки.
Их весьма сомнительная ценность будет только в том, что они - другие...
      

[p.v.]

наплодите, кто не дает то?
предлагаю не останавливаться на умножении а взять все и разложить. в ряды. или наоборот, собрать в некую сингулярность. а лучше сразу запретить.
как говорится, чем бы дитя ни тешилось, , лишь бы своих не заводило 

[Юрий Торопин]

наплодите, кто не дает то?

Уже, и, что удивительно, выведенная метода оптимального сложения отлично работает в Fitstacker'e и в Пиксе

Счастливо!

[p.v.]

Я не фанат фитстакера. При всем уважении к его создателю. Более того, я не собираюсь обрабатывать серии вручную. Написать софт, который будет выполнять эту работу - дело пары недель, когда дойдут руки. Тут нет никакой проблемы- софт будет.
Другой вопрос, что сама предложенная тут идея мне стукнула в голову только сегодня утром и до конца еще не устаканилась. Можно сказать, что она еще "в процессе". Если первая часть, до stage 2 довольно очевидна по своей сути, а до stage 5 вполне наглядна по результату, то дальше в известной степени имеет место симбиоз некой идеи и практических изысканий. Частью удачных, частью непонятно куда ведущих. Поэтому, я готов отвечать за какие то вещи, в рамках разумного, но не готов делать никаких обещаний, кому то что-то доказывать, участвовать в гонках или заниматься какими-то не свойственными мне делами, типа обработки чужих данных.

[PavelGhost]

типа обработки чужих данных.

Дело не в том, что чужие или свои.
Любой эксперимент требует подтверждения практикой.
Я не смог откалибровать свои лайты вашим методом - и не суть что PS или ИРИС.

[p.v.]

Ваши снимки я обработаю, как обещал. Чуть позже.

Хочу еще заметить, что по ходу анализа описанной выше методы у меня самого наступает некоторое прояснение того, что же там описано. Соответственно моему текущему пониманию процессов меняется и исходный пост, чтобы не вводить никого в заблуждение. А заодно и некоторые мои ответы в теме.
С уважением к собравшимся

[passer_by]

1.Вычитаем L2 из L1. Полезный сигнал уничтожается, остается разница шумов N1=L1-L2. Результатом является файл N1.
2.Из L1 вычитаем N1. Результатом является файл Stage1.

А откуда такая уверенность? Это только в теории. На практике прозрачность атмосферы достаточно сильно гуляет. И в результате вы получите не разность шумов, а разность лайтов, где будут присутствовать сигнал от звезд и дипов, оставшийся при вычитании....