Прорыв в обработке любительской Астрофотографии. (Плагин AI BlurXTerminator)

[Forte]

Объясните мне пожалуйста как можно не дорисовав изображение сделать из потянутой звёзды круглую. Спорить не хочу ни с кем. Хочу понять.
Нарисовал маркером что я имею ввиду. Первый рисунок то что было - потянутая звезда. Второй рисунок то что нужно было мне сделать чтобы ушла потянутость - мне пришлось зарисовать чёрным маркером 9 пикселей.

Вам сюда! Не нужно ничего маркером малевать 

[sky-man]

Меня зовут не Кирилл. Я понимаю что это рисуется не маркером вручную, а программой математически, звёзд то много. Но раньше там были белые точки потянутой звёзды, а теперь чёрные точки фона.

[Forte]

Меня зовут не Кирилл.

Извиняюсь, просто кто-то из участников форума к вам так обратился. Но статьи Станислава по обработке почитайте обязательно. Надеюсь, многие вопросы сами собой отпадут

[Сергей1981]

Скрины были приведены не для показа дорисовки, а для показа того как из потянутых звезд они вдруг стали круглыми как при хорошем гидировании.

Объясните мне пожалуйста как можно не дорисовав изображение сделать из потянутой звёзды круглую. Спорить не хочу ни с кем. Хочу понять.
Нарисовал маркером что я имею ввиду. Первый рисунок то, что было - потянутая звезда. Второй рисунок то, что нужно было мне сделать чтобы ушла потянутость - мне пришлось зарисовать чёрным маркером 9 пикселей потянутой звезды.

ну вот вы научились обрабатывать кривые звёзды.

[sunlover]

Объясните мне пожалуйста как можно не дорисовав изображение сделать из потянутой звёзды круглую.

Смасштабировав изображение соответствующим образом. Как пример: есть изображение круга скажем 100х100 пикселей; растягиваем иображение по вертикали в 2 раза, так что получается изображение овала размером 100х200 пикселей. Обратная операция снова сделает из овала круг. На мой взгляд тут рисования нет.

Точно также можно смасштабировать снимок со звёздами.

[Fatalik]

Скаймэну на подумать =)
а как ты обрабатывая Юпитер вместо размазни получаешь четкий иллюминатор например ?
ведь даже после разбирания его на куски и стекования кусочками получается мыльный стек.. ты чета там полунки крутишь и вместо размытого по размытому же поясу проявляется собирается деталь .. сжимается .. и там где был размытый иллюминатор появляется часть пояса.

со звездами .. можно их не отделять, а просто прикрывать маской и растягивать гистограмму на них меньше тогда их не расфигачит на полкартинки и удивительное дело тогда под ней видно настоящий фон не дорисованный, а зафиксированный камерой все честно и без рисования.

Поэтому истинный сторонник ни капли рисования или всех подозрительных моментов  все равно имеет возможность делать хорошие астроснимки.
а не корявые поделки с припиской - "космос он вот такой" =)

[Fatalik]

з.ы.
потянутые звезды лучше переснять =) и в сумму не кидать тянутые кадры..

[Дмитрий Маколкин]

Пока не было погоды, сделал небольшую лабораторную работу, чтобы прояснить себе некоторые моменты, связанные с работой плагина.

Взял серию из 314 кадров, сложил. Из этой серии взял каждый второй кадр и тоже сложил. Аналогичным образом сложил каждые четвертые и каждые восьмые кадры из исходной серии.

В итоге получил четыре суммы, состоящие из 39, 78, 157 и 314 кадров.
У каждой суммы вычел фон, без изысков, простым полиномом 4-й степени (ABE в Pixinsight).
К каждой сумме применил наш плагин с настройками по умолчанию.

Для анализа результата сделал в Пиксе два скриншота, на одном центральные части сумм в одинаковом масштабе, на втором – после применения плагина.

Исходные суммы:  https://cloud.mail.ru/public/RUxD/k988pojNy

После плагина: https://cloud.mail.ru/public/YkZY/JH5KFfQca

Помимо классической иллюстрации, что чем больше копишь, тем лучше, можно сделать вывод, что плагин не трогает области, где по его мнению отношение сигнал/шум мало. При блинковании двух этих скриншотов заметно, что по мере уменьшения количества кадров в сумме область улучшений как бы стягивается к центру галактики. Т.е. не копить не получится, плагин не сочтёт шумный снимок содержащим достаточно деталей для их выявления.

У кого ещё какие впечатления – предлагаю обсудить

[sunlover]

можно сделать вывод, что плагин не трогает области, где по его мнению отношение сигнал/шум мало.

Это, кстати, говорит и сам автор плагина. В интервью Адам Блок приводит пример изображения с низким отношением сигнал/шум, и они это обсуждают примерно в течение 4х минут, начиная отсюда: http://www.youtube.com/watch?v=6hkVBnYYlss&t=3100s

[#yuriy#]

У кого ещё какие впечатления – предлагаю обсудить

Дмитрий, вы своим тестом лишили аргументов всех негативных скептиков.

[поручик]

Обсуждать один пример нет смысла, их должны быть десятки, с разным настройками, и сравнение должнобыть не с исходной суммой, а классическими способами деконволюции, чтобы сделать какие-либо выводы.
Для меня критерий такой: если большинство обсерваторий с полутора-двух метровыми инструментами не имеющими систем адаптивной оптики, станут применять его (в качестве компенсации её отсутствия) для "улучшения" своих снимков перед научной обработкой, значит действительно есть смысл.
Ну а возвращаясь к "умной деконволюции", подождем когда появиятся ML-инструменты обученные на любых других данных, кроме снимков с больших телескопов. Думаю это лишь вопрос времени, причём ближайшего.

[Алексей Исаков]

У кого ещё какие впечатления – предлагаю обсудить

Дмитрий, вы своим тестом лишили аргументов всех негативных скептиков.

Да, и причём "без шума и пыли".)

[Дмитрий Маколкин]

У кого ещё какие впечатления – предлагаю обсудить

Дмитрий, вы своим тестом лишили аргументов всех негативных скептиков.

Спасибо!

Судя по продолжению скептицизма - нет.
Впрочем, никто не мешает скептикам привести контрпример, но контрпримеров пока что нет. 

Да, и причём "без шума и пыли".)

Вот шума-то на моих скриншотах предостаточно!
Всё же съёмка в широкой полосе в большом городе - оно такое...

[Дмитрий Маколкин]

Автор BlurXTerminator очень хорошо запрятал FAQ, признаться, не сразу его нашел.

Предлагаю перевод вопросов и ответов, полезный тем, кому затруднительно прочитать их в оригинале.
Источник: https://www.rc-astro.com/resources/BlurXTerminator/faq.php

Заменяет ли BlurXTerminator особенности моего изображения данными HST или JWST?

Нет.

HST и JWST - это два источника данных, которые используются во время обучения нейронной сети BlurXTerminator, а не во время инференции - технического термина для обработки изображений, которые она раньше не видела: ваших изображений. Сеть не учится повторять, копировать или имитировать свои обучающие данные: она учится деконволюции их размытых версий.

Данные HST и JWST - это только два из многих источников данных, используемых в процессе обучения, и они используются только потому, что 1) обучающие данные должны содержать достаточно подробные изображения, чтобы можно было научиться деконволюции их размытых версий на мелких пиксельных масштабах, и 2) они представляют типичные структуры и паттерны, встречающиеся в астрономических объектах. Изображения высокого разрешения HST и JWST являются наиболее удобными источниками обучающих данных с такими свойствами.

Изготавливает ли BlurXTerminator детали?

Нет.

Нейронные сети известны тем, что способны создавать чистые фантазии с удивительной детализацией. Существует множество примеров, таких как искусственная генерация лиц и создание произведений искусства по текстовым подсказкам. Известно, что популярные инструменты для повышения резкости фотографий могут сфабриковать мелкие детали ради "более резкого" изображения.

Нейронные сети менее известны тем, что способны приближенно решать сложные математические задачи.

Разница заключается в том, как их обучают. Нейронные сети будут делать все, чему их обучают. Чтобы обучить сеть выполнять деконволюцию, необходимо соблюдать строгие правила, гарантирующие, что сеть не приобретет "генеративные" свойства, которые приведут к выдуманной информации. Нельзя использовать так называемые генеративные адверсарные сети (GAN), диффузионные модели, перцептивные функции потерь и т.д. Архитектура сети BlurXTerminator и методология обучения придерживаются доказательств Универсальной теоремы аппроксимации, которая утверждает, что соответствующим образом построенная и обученная нейронная сеть может аппроксимировать любую непрерывную математическую функцию (например, деконволюцию) с произвольной точностью.

При оценке любого алгоритма усиления резкости или деконволюции следует внимательно следить за тем, чтобы отличить надуманные детали от артефактов. Все алгоритмы деконволюции могут создавать артефакты, то есть их приближение к идеальной деконволюции может не сработать при определенных обстоятельствах. Каждый из них дает сбой уникальным образом, который зависит от деталей реализации. Традиционные алгоритмы деконволюции известны тем, что создают темные ореолы вокруг звезд ("кольцо") и деконволюция шума в ложные "червивые" или " скрученные" паттерны.

BlurXTerminator также может генерировать артефакты в определенных обстоятельствах. Например, при применении к изображению, содержащему ошибки гидирования, кому или профили звезд, выходящие за рамки того, что было охвачено во время обучения, могут возникнуть странные или неточные результаты. Если используются настройки, которые слишком сильны для данных изображения, это может привести к артефактам, подобным традиционным алгоритмам.

Пользователь должен сам определить, не слишком ли далеко заходит тот или иной инструмент обработки изображений. Ни один инструмент никогда не заменит необходимость суждения и мастерства.

Действительно ли BlurXTerminator выполняет деконволюцию?

Да.

Технически говоря, нейронная сеть BlurXTerminator приближается к идеальной деконволюции. То же самое можно сказать о любом алгоритме деконволюции: все они являются приближениями к недостижимому идеалу.

Идеальная деконволюция невозможна. Во-первых, она ограничена шумом: чем выше шум в изображении, то есть чем ниже отношение сигнал/шум, тем меньше деталей может восстановить алгоритм деконволюции. Это фундаментальное ограничение, выраженное в теории информации, и это та же причина, по которой наши сотовые телефоны не могут принимать сигналы, когда они слишком слабы. Более совершенные алгоритмы могут восстановить больше информации из зашумленных сигналов, но всегда будет существовать фундаментальный предел, который нельзя превысить.

Другая причина заключается в том, что деконволюция является плохо поставленной задачей: для данного размытого входного изображения существует множество возможных более четких изображений, которые при повторном размытии дадут то же самое входное изображение. Задача любого алгоритма деконволюции - получить результат, который с большой вероятностью будет точным представлением исходной, не размытой сцены.

Приближение BlurXTerminator к идеальной деконволюции является точным для астрономических изображений, потому что именно эти данные включает в себя его обучение. Например, он не сможет выполнить деконволюцию размытого изображения кошки, потому что в его обучающих данных нет изображений с шерстью, усами и глазами.


Как насчет "чрезмерной подгонки" или "запоминания" обучающих данных?

Это проблема при обучении любой нейронной сети. Если набор обучающих данных слишком мал или если он недостаточно разнообразен в процессе обучения, нейронная сеть может " чрезмерно подогнать" данные, что можно представить как "запоминание" данных. Более точно это можно описать как специализацию на обучающих данных вместо того, чтобы учиться обобщать их на широком спектре изображений.

Результатом чрезмерной подгонки является не столько то, что сеть будет повторять или имитировать свои учебные данные, сколько то, что она будет хорошо работать только на изображениях, очень похожих на те, которые она видела в процессе обучения. Например, если бы сеть BlurXTerminator была обучена только на изображениях M51, галактики Водоворот, она, вероятно, дала бы точные результаты только при применении к другим изображениям M51.

Эта проблема решается с помощью стандартных методов машинного обучения, а именно: достаточно большого набора обучающих данных с достаточной вариативностью, относительно способности нейронной сети к обучению, чтобы не происходило чрезмерной подгонки. Набор обучающих данных BlurXTerminator намного больше, чем его способность к запоминанию. Обучающие изображения постоянно обновляются во время обучения, так что сеть видит определенную пару входных/выходных изображений только ограниченное количество раз, а затем никогда не видит ее снова. Стандартная практика мониторинга работы нейронной сети на наборе данных, которые она никогда не видела, также применяется для обеспечения обобщения и защиты от чрезмерной подгонки.

Делает ли BlurXTerminator ненужным высококачественное оборудование и хорошие навыки сбора данных?

Нет.

BlurXTerminator может частично скорректировать ряд оптических и механических проблем: кома, астигматизм, ошибки гидирования и т. д. Это лишь частичная коррекция: всегда будет верно, что лучшие входные данные приведут к лучшим выходным данным. Оптические и механические проблемы в идеале должны решаться оптически и механически, и астрофотограф, который это сделает, получит более качественные и точные результаты, независимо от того, будет ли проведена деконволюция или нет.

Является ли BlurXTerminator научно достоверным?

Неизвестно.

Нейронные сети, как говорят, непрозрачны, то есть точные вычисления, которые приводят к определенному результату в конкретных обстоятельствах, трудно отследить. Значение любого пикселя в обработанном изображении может быть результатом сотен или тысяч вычислений, разбросанных по всей сети. Это контрастирует с традиционными алгоритмами деконволюции, которые довольно просты по сравнению с ними, и могут быть построены так, что сохранение потока фотонов и центроидов звезд достигается легче. В результате BlurXTerminator не следует использовать для научных приложений, таких как астрометрия и фотометрия. Удивительные или потенциально важные результаты всегда следует перепроверять с помощью традиционных алгоритмов.

Действительно ли это "искусственный интеллект"?

Термин "искусственный интеллект" охватывает широкий спектр систем, которые приближаются к человеческому интеллекту или выполняют сложные задачи, которые трудно или невозможно решить с помощью традиционных алгоритмов. Нейронные сети, выполняющие распознавание речи, перевод языка, функцию автокоррекции на наших мобильных телефонах и другие - это примеры того, что принято называть искусственным интеллектом, в большей или меньшей степени.

Действительно ли эти алгоритмы являются интеллектуальными?

Нет.

Машинное обучение - это более точное описание. Искусственный интеллект можно рассматривать как желаемое описание: нынешние технологии ИИ удивительны, но они не являются интеллектуальными. Нейронные сети не знают, что они делают. У них нет собственных суждений. Они просто выполняют любую сложную задачу, которой их обучили.

[Smirnov Andrey]

Наткнулся в сети на фирму, предлагающую услуги по оплате заграничных сервисов
https://oplata.guru/?utm_source=yandex&utm_medium=cpc&utm_campaign=%D0%9E%D0%BF%D0%BB%D0%B0%D1%82%D0%B0%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2%20%2F%20%D0%A0%D1%81%D1%8F&utm_content=cid|80857693|gid|5082861344|aid|13117764392|adp|no|dvc|desktop|pid|42481011143|rid|42481011143|did|42481011143|pos|none0|adn|context|crid|0|&utm_term=%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1%D1%8B%20%D0%BE%D0%BF%D0%BB%D0%B0%D1%82%D1%8B%20%D0%B7%D0%B0%D1%80%D1%83%D0%B1%D0%B5%D0%B6%D0%BD%D1%8B%D1%85%20%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2&yclid=1305083173275762004
Поинтересовался возможностью оплаты именно этого сервиса с указанием нужного e-mail.
Довольно приличные проценты они берут - в данном случае вышло бы 9715 руб с их комиссией.
У меня есть беспроцентная возможность оплаты через знакомых в Испании, интересовался лишь для публикации здесь для тех, у кого такой возможности нет и кому это не покажется грабительским.

[Юрий Торопин]

Наткнулся в сети на фирму

Ещё альтернатива по оплате http://www.unlock-money.com , оплачивал через них пару лицензий софта, наценка, думаю, будет сравнима с приведённой Андреем выше.

[Fatalik]

Поинтересовался возможностью оплаты именно этого сервиса с указанием нужного e-mail.
Довольно приличные проценты они берут - в данном случае вышло бы 9715 руб с их комиссией.

фишка в том что какой бы емэйл ты не указал... там привязывается к емэйлу пэйпалки с которой оплачено..

[Smirnov Andrey]

фишка в том что какой бы емэйл ты не указал... там привязывается к емэйлу пэйпалки с которой оплачено..

А если не палкой, а картой?

[leviathan]

Нельзя.

[Ivan7enych]

Наверно можно завести несколько гугл емейлов, на каждый создать пейпал аккаунт и ко всем привязать одну карту. Но все они должны иметь привязку к стране банка карты, правильные физ адреса и номера сотовых телефонов этой же страны. В общем заморочек много...

Да, к когда-то созданному российскому пейпал аккаунту привязать карту выпущеную в другой стране невозможно, надо заново делать аккаунт.

Кстати, ничто не мешает группе астрономов договориться, купить на один общий комп лицензии пикса, всех плагинов и по очереди (удаленно) пользоваться. Все упирается лишь в умение договориться друг с другом...