Коллективная М101

[Юрий Торопин]

Соотвественно их SNR, как всегда.
Если сложишь с иным весом, итоговый SNR будет ниже.
Так как считается, что худ. астрофото состоит лишь из двух цифр: fwhm и snr, то складывая вторые файлы с низким fwhm, эту цифру игнорируем. Получается, думаем только об SNR.

Те кадры, которые приходится увеличивать при совмещении по опорному кадру, априори получают лучшее соотношение S/N из-за отсутствия мелкомасштабного шума по сравнению с кадрами с масштабом, близким к "опорнику".
Механизм тот же, что и при совмещении кадров, при котором происходит "замыливание" исходников, как-то обсуждали в холиваре Максим vs PixInsight.

Проблема в том, что SNR после растяжения кадра в ~2 раза перестаёт быть "честным" для изображения с таким пиксельным разрешением из-за полного отсутствия высокочастотного шума с характерным масштабом порядка 1...2. А для сумм, которые сразу снимались в таком пиксельном разрешении этот высокочастотный шум присутствует и, соответсвенно, SNR на таком исходнике будет хуже из-за более высокого шума...

Для иллюстрации - анимация, показывающая один и тот же фрагмент исходных сумм, приведённых к "опорному" кадру.
Для одной из сумм растяжение было пренебрежимо мало, UpSample ~ 1, в то время, как вторая была растянута почти в 2 раза (UpSample ~ 2).
Приводится значение SNR для этих сумм из FitStacker'a.
Видно, что "мыльная" сумма (UpSample ~ 2) пойдёт в мегасумму с незаслуженно высоким весом...

Можно действительно попробовать поиграться с весами, зависящими от FWHM по уже выровненным/растянутым кадрам.
Всё-таки ещё измерю и SNR для исходных сумм.

[mo]

Стало быть, вопрос худ. астрофото сводится к трём величинам: fwhm, snr и некое "замыленность". Когда сможем дать определение и численное значение этой неизвестной, поймём как её учитывать. А пока я бы просто складывал адаптивно в фитСтакере.

В числах, о каких изменениях идёт речь?

[Юрий Торопин]

Изменениях ЧЕГО?

[mo]

Изменениях ЧЕГО?

Капс? Ну-ну...
Изменения SNR. Ведь Вы именно о нём говорили.

Проблема в том, что SNR после растяжения кадра.....

Впрочем, я проглядел, Вы уже дали ответ. Примерно в два раза, с Ваших слов.

Я взял первый попавшийся кадр, зашёл в пикс, удвоил его через geometry / resample.

Код: [Выделить]

Resampling to 8580x5712 px, Bicubic Spline Interpolation, c=0.30: 100%

Зашёл в фитСтакера. Выделил на старом фон и объект. Сфоткал скриншот.
Загрузил удвоенный файл, выделил почти тот же фон и объект, ориентируясь на рядом стоящие звёзды. Сфоткал скриншот.

Не вижу двухкратного изменения SNR, вижу очень небольшое изменение. Покажете обратное? Я где-то ошибся? Вы где-то ошиблись?

[Юрий Торопин]

Я не говорю о SNR на одном и том же кадре, исходном и отмасштабированном, я рассуждаю о том,

что SNR после растяжения кадра в ~2 раза перестаёт быть "честным" для изображения с таким пиксельным разрешением из-за полного отсутствия высокочастотного шума с характерным пространственным масштабом порядка 1...2 пикселов. А для сумм, которые сразу снимались в таком пиксельном разрешении, этот высокочастотный шум присутствует и, соответственно, SNR на таком исходнике будет хуже из-за более высокого шума...

Изменениях ЧЕГО?

Изменения SNR. Ведь Вы именно о нём говорили.

Проблема в том, что SNR после растяжения кадра.....

Впрочем, я проглядел, Вы уже дали ответ. Примерно в два раза, с Ваших слов.

Я про изменения SNR не говорил ни слова, я говорил,

что SNR после растяжения кадра в ~2 раза перестаёт быть "честным" для изображения ...

и далее по тексту.

Сказка про "белого бычка" какая-то... 

[drpta]

Как ужеговорилось, для начала нужно определиться, чего хочется - максимальное разрешение или проницание по протяженным объектам. Если разрешение, то  можно попробовать складывать с весовыми коэффициентами обратно пропорциональными FWHM. Если проницание (max (SNR)), то пропорционально SNR, не зависимо от масштабирования.
Вот мои некоторые личныне наблюдения:
1. При увеличении кадра SNR не меняется (меняется частотная характеристика шума, но "количество" шумов не меняется).
2. При уменьшении кадра SNR может как возрастать так и уменьшаться т.к. хотя удаляется высокочастотная составляющая, но добавляются новые шумы от некратного деления (например при уменьшении тестового кадра в два раза SNR увеличился ~1.4 раза, а при уменьшении в 3 раза SNR уменьшился в 1,2 раза).
3. FWHM в "/pix изображения при масштабировании не меняется.
Например, если складываем два кадра с одинаковым SNR, но разным разрешением и "частотой" шума, то вполне логично, для получения наилучшего по шумам результата, взять их с одинаковыми весовыми коэффициентами, т.е. просто усреднить.
Да, все вышеизложенное - сугубо личное ИМХО.

[Ivan7enych]

Как ужеговорилось, для начала нужно определиться, чего хочется - максимальное разрешение или проницание по протяженным объектам. Если разрешение, то  можно попробовать складывать с весовыми коэффициентами обратно пропорциональными FWHM.

Для наилучшего FWHM надо взять самый резкий кадр и выкинуть все остальные. Добавление менее резких, с любыми положительными коэфициентами только уходшит резкость.

Это только сигнал/шум умудряется расти добавлении шумных кадров с определенными коэфициентами.

Проницание можно перевести в "сигнал-шум"? Если проницание - это отношение яркости центра звезды к шуму, то достаточно наставить мелких квадратиков в центры звезд, и складывать так.

[Юрий Торопин]

Вот мои некоторые личные наблюдения:
...
2. При уменьшении кадра SNR может как возрастать так и уменьшаться т.к. хотя удаляется высокочастотная составляющая, но добавляются новые шумы от некратного деления (например при уменьшении тестового кадра в два раза SNR увеличился ~1.4 раза, а при уменьшении в 3 раза SNR уменьшился в 1,2 раза).
...

Потратил немного времени чтобы выяснить, как SNR меняется при уменьшении кадра (масштабировании вниз, downsample).

Почему начал с этой части? -
Казалось, что при приведении разнородным кадров к масштабу кадра с наихудшим пространственным разрешением (наименьшим размером объекта в пикселах) произойдёт "отрезание" высокочастотных шумов. После этого можно будет сравнить по SNR "яблоки с яблоками", снимки с "примерно одинаковым" спектром шумов.

Идея была в том, чтобы
1) отмасштабировать все снимки по М101 к кадру с наихудшим разрешением, измерить SNR у кадров в такой "отмасштабированной вниз серии", записать значения SNR_i, - нужно только для определения весов при оптимальном сложении, смотрите ниже;
2) отмасштабировать все исходные снимки к снимку с наилучшим разрешением;
3) сделать сложение с весами, пропорциональными квадрату SNR кадров из п.1, SNR_i².

Для эксперимента делал уменьшение кадра с наилучшим разрешением, используя процесс Resample в PixInsight 1.7.
Этот процесс, так же как и StarAlignment, предоставляет 7 алгоритмов интерполяции + режим Auto, который выбирает и использует "оптимальный" алгоритм для масштабирования конкретного снимка. Вот список алгоритмов:


Исходный кадр уменьшался до заданного масштаба, после чего загружался в FitStacker, выделялись стандартные области для объекта (для оценки сигнала) и для фона (для оценки шума), SNR записывался.

Результаты показаны на следующем графике:


SNR исходного кадра 16.78.
Серия из синих ромбов - уменьшение исходника до соответствующего масштаба от оригинала в режиме Auto, 96%-91%, и далее от 90% до 30% с шагом 5% + измерение на 67%.
Серия коричневых кружков - уменьшение исходника до 65%, используя 7 разных методов интерполяции.
Серия из зелёных треугольников - уменьшение исходника до масштаба 65, 60, 55, 50%, используя алгоритм Bilinear для интерполяции.

Некоторые наблюдения:
- более сильное уменьшение (при использовании Auto алгоритма интерполяции) приводит к пилообразному увеличению SNR за счёт того, что происходит срезание очередной "гармоники" шумов;
- разные алгоритмы масштабирования (пример для 65%) приводят к разному SNR на уменьшенных кадрах;
- тенденция увеличения SNR при уменьшении масштаба не является общей, некоторые алгоритмы интерполяции (в данном случае - Bilinear) могут иметь участки с уменьшением SNR при уменьшении масштаба.

Замечу, что те же 7 алгоритмов + Auto используются для интерполяции и в процессе StarAlignment в PixInsight.

Следующие шаги:
- проверить наблюдения на других исходниках для того, чтобы убедиться в общности выводов;
- понять, как ведёт себя SNR при увеличении снимка, в том числе - для разных алгоритмов;
- подобрать конкретный алгоритм интерполяции для использования при масштабировании.
...
- а там ещё и проблема разных FWHM замаячит на горизонте.

[Юрий Торопин]

Параллельно начал прикидывать, нельзя ли как-то использовать Фурье анализ для того, что фильтровать и сравнивать шум только в тех гармониках, которые являются "естественными", значимыми на обоих кадрах. Параллельно, зная характеристики алгоритма интерполяции, можно было бы фильтровать "естественные" гармоники от "искусственных", привнесённых интерполяцией.
До математики пока руки не дошли, но иллюстрации ниже говорят, что в этом направлении стОит покопать, приведены результаты
- (действительная часть, амплитуды) 2D преобразования Фурье ч/б исходника М101 с наилучшим разрешением;
- 2D спектр для изображения, полученного из исходника уменьшением в 2 раза с последующим увеличением в 2 раза (т.е. масштаб в конце стал равен масштабу оригинала). Видно, как "съелась" часть гармоник. Понятно, что у этого кадра SNR существенно выше исходника, и в тоже время, потеряны не только шумы, но и разрешение...

[Ivan7enych]

У меня когда-то была такая мысль - делить изображение на несколько - грубые детали, средние, тонкие детали. Чтобы сумма их давала исходную картинку. Как делить - вейвлетами или фурье+фильтр+фурье - это не так важно. И так делить все одиночные картинки. Затем суммировать фитстекером послойно - отдельно суммма грубых деталей, отдельно тонких, и в конце объединить их всех в общую картинку.

[MadAlex]

У меня когда-то была такая мысль - делить изображение на несколько - грубые детали, средние, тонкие детали. Чтобы сумма их давала исходную картинку. Как делить - вейвлетами или фурье+фильтр+фурье - это не так важно. И так делить все одиночные картинки. Затем суммировать фитстекером послойно - отдельно суммма грубых деталей, отдельно тонких, и в конце объединить их всех в общую картинку.

Гут.
лучше Фурьей. Потому что проще. Что такое фурья - всем понятно, а вейвлет - непонятная бяка.

[Юрий Торопин]

Поковырялся ещё с исследованием зависимости SNR от величины масштабирования.

Результаты интересные, немного уляжутся в голове - опишу.

Исходя из результатов, внёс корректирующие коэффициенты, зависящие от изменения мастштаба снимка при совмещении кадров, в весовые коэффициенты для "оптимального сложения" кадров (по критерию ортимизации SNR).
Поскольку в FitStacker'e негде прописать индивидуальные коррекции "весов" кадров, сложил имеющиеся суммы в "мегасумму" в PixInsight, учитывая весовые коэффициенты. Это чистая сумма, без сигма-клиппинга.

Пока закончил L канал М101, результаты ниже, масштаб - 33%. Искомые "хвосты" и петли хорошо проявляются. 

Никто больше не нарыл дополнительных данных по М101?

[blackhaz]

Ого сколько у тебя тут древних фотонов. 

[Юрий Торопин]

Получил как общую сумму синтетического L канала, так и R,G,B.
Быстрый процессинг - ниже, слабые детали есть, но обработка мегасуммы М101, как и в случае с "колхозно-международной" М51, сопряжена со множеством технических трудностей.

Основная - спектр шума на мегасумме отличается от спектра шума на сумме гомогенных снимков с одного сетапа, на который "натасканы" основные шумодавы.
В результате применение шумодавов "в лоб" приводит к неудовлетворительным результатам.

Всё, что курсивом, между линиями ниже, рекомендуется читать только настоящих "гикам"
С какими весами складывал индивидуальные суммы?

Пытался учесть тот факт, что при совмещении индивидуальных сумм в случае их увеличения на отмасштабированном "вверх", с увеличением (растяжением) кадре отсутствуют высокочастотные шумы.
Соответственно, S/N для таких (отмасштабированных с увеличением) сумм оказывается лучше в сравнении с суммами, которые имеют более высокое начальное разрешение.

Соответственно, для каждой из рассматриваемых индивидуальных сумм находился "корректирующий весовой коэффициент".
Для этого опорный кадр ( с наилучшим разрешением "/px) масштабировался с уменьшением, к масштабу рассматриваемой индивидуальной суммы.
Производилось FFT уменьшенного опорного кадра, определялись "частоты" максимальных высокочастотных гармоник, присутствовавших в уменьшеннном опорном кадре.
Производилось FFT исходного опорного кадра, амплитуды всех высокочастотных гармоник, выше частот, определённых на предыдущем шаге, занулялись.
"Опорный кадр" восстанавливался через обратное FFT с "обрезанными" амплитудами высокочастотных гармоник.
Измерялся коэффициент k, равный обратному отношению S/N между "сглаженным" (как описано выше) опорным кадром, в котором выкинуты высокие частоты, и S/N исходного опорного кадра.
Рассматриваемая индивидуальная сумма совмещалась (масштабировалась с увеличением) к опорному кадру, на ней после растяжения измерялся S/N.
При сложении в мегасумму эта отмасштабированная индивидуальная сумма входила с коэффициентом, пропорциональным (k*S/N)².
... не смешно - зато про войну! Мне метода понравилась, пусть полностью ручная, она достаточно просто делается в PixInsight'e последней версии и даёт результаты, которым я верю больше, чем стандарной сумме в FitStacker'e, который для таких задач немного не заточен (пока? ).

Ниже приводится драфт обработки мегасуммы. Все искомые слабые хвосты - вполне на месте, мегасумма реально глубокая, половина из точек - не звёзды, но галактики фона.
Как писал вначале, её постобработка - совсем непростая задача из-за особенностей в спектре шумов...
Сегодня/завтра выложу куда-нибудь мегасумму в публичный доступ.
Как и в случае с М51, человек, который её удовлетворительно обработает, будет считаться "гуру" постпроцессинга

[Юрий Торопин]

"Притушил" звёзды, чтобы лучше выявить морфологию слабых "хвостов" и рукавов М101.
Кроп, 33 процента от реального разрешения "мегасуммы" М101.

[Юрий Торопин]

Опубликовал мегасуммы М101 на фитсохранилище,
смотрите файлы от меня по объекту М101,
прямая ccылка на L_Synth и прямая ссылка на RGB.
32-битные float файлы, размером 2468х2308 пикселов.

В мегасумму пошли исходные суммы от drpta, Ivan7enych, NKV, pilgrim и моя.

Насколько глубоко получилось - можно посмотреть выше.
К L каналу крайне желательно применять деконволюцию.

Успехов в обработке!

PS: надо учесть, что сигнала даже в мегасумме не так много, сознательно не "душил" часть дефектов, присутствующих в RGB, их лучше давить на постобработке...

[ctac]

Господа, будьте осторожны, не испортите свои труды, а то там яркая сверхновая вспыхнула 
https://astronomy.ru/forum/index.php/topic,25431.msg1652622.html#msg1652622
За одно, проверьте, нет ли снимков с 22 по 25 августа. Пока самые ранние снимки датированы 24 августа 4-00 утра при блеске 17 зв. вел. сверхновой. Сейчас она уже ярче 14 зв. вел.!

[onwlad]

Для затравки.
Максим DL + фотошоп.  Деконволюция, растяжениие гистограммы в Максим DL,  финальная обработка в фотошопе.
Принципиально без шумодава...

[Юрий Торопин]

Для затравки.

Cпасибо за почин, Влад!
Мягенько, пастельно, цвета приятные.
Как по мне, чуть-чуть не хватает контраста.
В целом - очень приятная обработка!

[Б.Б.]

С удовольствием слежу за процессом и кусаю локти ))