Прорыв в обработке любительской Астрофотографии. (Плагин AI BlurXTerminator)

[Алексей Г.]

Ну вот Вам пример "дорисовывания".

Правое изображение получено из левого, методом возникшим задолго до нейронных сетей.
Детали в правом "дорисованы"?

Дмитрий я извиняюсь мы можем взять и физически линейкой даже измерить толщину деталей (например центральной линии) на любом из этих стеков и они будут одинаковые..., но саму линию мы уже не разрешим выше (детали в линии не появятся)... в отличии от плагина который может... Об этом речь

[sunlover]

взял вчера свой снимок и сидел с ним часа 2 ему крутил деконволюции разные, применял вейвлеты, шумодавы, резкости и т д  и т п но не выходит без деградации картинки вытащить детали которых не было изначально НЕ ВЫХОДИТ. А плагин делает.

Пример можно посмотреть? То есть исходное фото и картинку после применения BlurXTerminator, с деталями, которых изначально не было. Ну и результат ручной обработки для сравнения. Очень интересно.

[Алексей Г.]

Пример можно посмотреть

Конечно посмотрите, полистайте эту тему с начала, коллеги выкладывали не раз и даже не два сравнение

[Дмитрий Маколкин]

Ну вот Вам пример "дорисовывания".

Правое изображение получено из левого, методом возникшим задолго до нейронных сетей.
Детали в правом "дорисованы"?

Дмитрий я извиняюсь мы можем взять и физически линейкой даже измерить толщину деталей (например центральной линии) на любом из этих стеков и они будут одинаковые..., но саму линию мы уже не разрешим выше (детали в линии не появятся)... в отличии от плагина который может... Об этом речь

Да, для видимых на левом - верно, можно измерить. Но в нём есть и те детали, которые ниже пороговой чувствительности глаза, да и разрядности монитора не хватит для их визуального отображения, но в изображении они есть. Речь именно об этом.

[sunlover]

полистайте эту тему с начала, коллеги выкладывали не раз и даже не два сравнение

Тему то я конечно с начала читаю. Просто Вы как будто говорите про какой то конкретный пример. Вот мне и стало интересно про что именно.

[поручик]

Ну вот Вам пример "дорисовывания".

Правое изображение получено из левого, методом возникшим задолго до нейронных сетей.
Детали в правом "дорисованы"?

( спасибо @Виниту за исходный материал)

Строго говоря ДА. Но как в анекдоте: петька, есть нюанс
В теме на клоудях это уже обсуждалось, и можно просто процитировать:

All deconvolution or sharpening involves "creation" of some kind, as for any given blurred image, there are many possible sharp images that would result in identical data when blurred. The algorithm has to ultimately pick one option from the solution space to settle on.
There is no way to definitively recover data that is blurred, as there ultimately isn't enough information there to know what the sharp image would be. However, algorithms can make smart guesses, and neural networks can make guesses that are smarter than most (allowing sharpening to be pushed further).
Yet, it's still an estimated solution. One of many that may possibly be correct. The only way to avoid this altogether is to not use sharpening or deconvolution at all.

Есть математические способы восстановить размытое изображение до некоторого предела, вот только отличие классических способов деконволюции от терминатора в том, что терминатор обучен прямо на астрономических снимках с космических обсерваторий. Это значит что для каждого снимка он может буквально вспомнить (узнать) конкретный объект и восстановить его детали, по памяти подобрав самые подходящие значения параметров деконволюции для каждой маленькой части снимка.
Не было бы проблем и подозрений, если бы он был обучен на любых других данных, КРОМЕ, снимков с больших обсерваторий. Можно же обучаться/восстанавливать размытые снимки земных объектов, или просто случайно сгенерированных изображений. Но он был обучен конкретно на снимках вебба и хабла, и никто никогда не сможет убедить меня в том, что он не подбирает параметры деконволюции так, чтобы максимально приблизиться к своей обучающей выборке.

[поручик]

Именно поэтому никто никогда не будет применять терминатор и подобные ему ML плагины для обработки научных снимков с астрономических обсерваторий по причине его изначальной "предвзятости".
Модель должна была быть обучена на чём угодно, но только не на снимках с больших телескопов.

[Fatalik]

Он не держит в памяти базу снимков хаббла.

[Дмитрий Маколкин]

Именно поэтому никто никогда не будет применять терминатор и подобные ему ML плагины для обработки научных снимков с астрономических обсерваторий по причине его изначальной "предвзятости".
Модель должна была быть обучена на чём угодно, но только не на снимках с больших телескопов.

В профессиональной астрономии много чего не применяют, что есть в арсенале любительской художественной астрофотографии.
Прежде всего, там не применяют любые нелинейные и селективные преобразования, поскольку после них снимок нельзя измерять и получать из него количественную информацию.
"Наука начинается там, где начинаются измерения". (с) не помню кто, но кто-то умный

[Дмитрий Маколкин]

Он не держит в памяти базу снимков хаббла.

Точно. Да и не снимал Хаббл абсолютно все дипы.

[ma][im]

Он не держит в памяти базу снимков хаббла.

Она хранится в весовых коэффициентах матрицы ИНС
Интересно на каких супер ЭВМ обучали такую нейронку.

[Сергей1981]

"Наука начинается там, где начинаются измерения". (с) не помню кто, но кто-то умный   Д. И. Менделеев )
 Характерный почерк плагина виден на многих работах в виде черных своеобразных " червячков" Да в принципе кто как хочет тот так и делает. А то получается что ЕААшники самые  честные работы делают))

[Fatalik]

Итак ясно понятно что плагин чит )
но не над приписываеть ему чудесатые чудеса )

(з.ы. про артефакты .. так я и ручной деконволюцией могу натворить делов )) особенно если материал не очень подкоплен и рыхлый...  )

[leviathan]

Интересно на каких супер ЭВМ обучали такую нейронку.

На домашнем ПК с двумя видюхами.

http://www.youtube.com/watch?v=JlSUVJI93jg#

[Redek]

По астрофото, имхо, тоже всё сведется к ресурсам, запрещающим размещать обработанное плагинами. Придумают какую-то верификацию или какой-то алгоритм подтверждения "ручной" обработки.

Не будет таких ресурсов. Все топовые мировые астрофотографы уже давно используют плагины. Если вы посмотрите на ФШ или Пикс - они состоят из дополнительных плагинов и скриптов. Кто будет в здравом уме использовать "голый" софт? Вы в любом случае постепенно придете к мысли поставить надстройки стороннего производителя.

Тут следует добавлять "имхо", а не писать категорично, ибо в ответ просто будет написано "нет, будут такие ресурсы", и это будет ровно на столько же правдиво как и обратное. Вернемся к этому разговору лет через 5 для начала и увидим кто был прав.
И ФШ и Пикс используют скрипты, с понятным алгоритмом, который можно повторить руками. Резонанс вызвал только один плагин, который и обсуждается, потому что это не скрипт и повторить руками его результаты не получится.
То, что похожее для удаления звезд резонансом не стало, это, видимо, потому что удаляют звезды меньшинство при обработке, и для них эта стадия не является проблемной и долгой ибо ее просто нет.

Собственно камрад Поручик на двух страницах прекрасно расписал обоснование, нейросети используют данные кучи фото разного качества, с разных труб, из разных мест. И даже если там нет хабловских, то все равно достаточно данных, которые невозможно получить, утрированно, в центре москвы на 80мм ахромат. И это гиперболизированный пример той самой "волшебной кнопки", которая, с точки зрения нейросеток вполне возможна, в "усреднении" нет ничего сложного, для астрофото этим просто не особо занимаются ибо мало кому нужно (в масштабах всей индустрии и спецов).

Именно поэтому никто никогда не будет применять терминатор и подобные ему ML плагины для обработки научных снимков с астрономических обсерваторий по причине его изначальной "предвзятости".
Модель должна была быть обучена на чём угодно, но только не на снимках с больших телескопов.

Ну для 65мм коротыша 150мм рефрактор это прям большой телескоп, но все равно еще любительский, а значит все эти данные попадают в датасеты для обучения.

[#yuriy#]

Ну для 65мм коротыша 150мм рефрактор это прям большой телескоп,

Абсолютно верно!
Астрофотоснимки снятые на телескопы с разным фокусным, значительно отличаются по информативности и качеству картинки.
И поэтому под снимки с "Хабла", всё подогнать не получится.

[Forte]

Тут следует добавлять "имхо", а не писать категорично
...То, что похожее для удаления звезд резонансом не стало, это, видимо, потому что удаляют звезды меньшинство при обработке, и для них эта стадия не является проблемной и долгой ибо ее просто нет.

Разумеется, каждое сообщение на форуме это точка зрения написавшего его. Не вижу смысла каждый раз вставлять это новомодное, непонятное мне буквосочетание. Кстати, звезды удаляют перед обработкой все известные мне коллеги. В данном случае именно Вы категоричны, и обсуждение СтарИкса тоже было, только в рамках «что лучше».

[jaker]

Коллеги, что за преувеличение программы. Если вы попробуйте обработать ей свои кадры, то видно, что ничего она не добавляет и не делает из плохого кадра хороший. Просто умная деконволюция, всё же объяснено в видео выше .Просто инструмент для коррекции и ничего больше. Всё то же самое можно сделать вручную, просто потратив на это тучу времени и сил. 

[sunlover]

Процесс деконволюции в PixInsight считает, что PSF - постоянна. Но она на самом деле разная в разных участках, в центре и углах изображения. Ну и найти её зачастую сложно. В результате из-за неподходящей PSF получаются артефакты.

Было бы здорово использовать какую то адаптивную деконволюцию, которая бы учитывала зависимость PSF от координат

Насколько я понимаю, идея в основе BlurXTerminator и заключается в том, чтобы подобрать PSF в разных участках изображения и сделать деконволюцию. В принципе это правильно. Хотя этот плагин не только этим занимается.

На картинке - ещё один пример работы ИИ. Слева моё лучшее достижение. Обработка в PixInsight. Использовалась деконволюция. Шумоподавление: TGVDenoise и MultiscaleLinearTransform. Шарпенинг: MultiscaleLinearTransform.

Затем я снова обработал данные, заменив деконволюцию и шарпенинг на BlurXTerminator, а шумоподавление на NoiseXTerminator. Остальные шаги обработки постарался сделать идентичными. Результат работы ИИ - справа.

Параметры BlurXTerminator: Sharpen Stars 0.25, Sharpen Nonstellar 0.35.
Параметры NoiseXTerminator: Denoise 0.50, Detail: 0.15.

На Астробине: https://astrob.in/rnh0vb/0/

[alesterre]

Модель должна была быть обучена на чём угодно, но только не на снимках с больших телескопов.

У меня есть ощущение, что модель могли обучать по базе изображений с астробина (вероятно, по договоренности), но не афишировать это, чтобы не волновать общественность лишний раз. Было бы очень странно, если бы астробин никак не использовал обширную базу качественных снимков с лайками и отметками жюри. И для блурхтерминатора ее использование прямо напрашивается. Но это, разумеется, просто предположение.