Прорыв в обработке любительской Астрофотографии. (Плагин AI BlurXTerminator)

[Pilgrim]

Прорыв или пробитие дна, с какой стороны посмотреть.

Результат применения сильно зависит от обучающей стратегии и набора данных, размера и структуры самой сети (емкости относительно переобучения, вероятности попадания в локальную яму, "субъективные" ошибки в применении заученных паттернов). Это с философской точки зрения можно ещё спорить, возможен ли полноценный осознающий себя ИИ. А с практической, узко специализированные нейросети, уже не уступают (а порой превосходят, особенно в скорости) применению человеческого мозга для конкретной задачи.

Так вот, если коротко, то нет никакой разницы, ты сам "взял в руки" фотошопную кисть, и на большом зуме начал рисовать тонкие детали, перерисовывать каждую звёзду в точку поменьше на астрофото (исходя из собственных убеждений как будет "правдоподобно" на основе твоих знаний и заблуждений в астрономии), либо это делает нейросеть на основе её опыта по обучающей выборке, составленной кем-то другим на основе его знаний и заблуждений. Точнее разница в том что человеку понадобилось бы колоссальное киличество времени обрисовать так большой кадр, а у нейросети на это уходят считанные минуты.

Прошу отдельно заметить, это не риторическая аналогия, это эквивалентность механики и математики процесса.

Так что для меня ответ однозначный, это "дорисовка". Она имеет право на жизнь только в той области, в которой живёт космический художественный арт, коллажи, около-космические иллюстрации "для медитации" и на рабочий стол. В области технического астрофото это обман и читерство. Это как снять "призрак Меропы" и дорисовать в нём детали по памяти с хаббловского снимка - нет разницы какой кистью это делаешь или по твоей памяти или по "памяти" нейросети у которой было её хаббловское фото в обучающей выборке.

Сама тема не новая, до BlurXTerminator был Topaz Photo AI, а раньше это всё пошло от опубликованной лет шесть назад Гуглом свёрточной нейросети Super Resolution, которую начали переобучать на свой лад и продавать в виде разных продуктов. Сейчас дошло и до астрономии.

[Pilgrim]

Тут по-моему как раз ловушка и кроется, что хорошие сетки могут очень *правдоподобно* дорисовать. Выглядеть это будет при правильном применении и должном развитии софта просто супер, как-будто ничего не дорисовано, а вытянуто из материала. Однако объективность данных теряется и результат зависит от версии софта больше чем от исходного снимка.

Например если научить сетку разбивать галактики на звёзды, она будет это делать очень "реалистично", но звёзды эти будут фейковые, и сетка может ошибочно принять туманность за галактику и тоже "разбить на звёзды". Это не добывание данных как деконволюция и другие детерминированные алгоритмы, это именно субъективная фантазия AI на тему данных, какой бы красивой и правдоподобной она кому-то не казалась, но это именно художественное рисование. Даже если в малых дозах оно не бросается в глаза.

Вот на астробине пример, когда тонкие детали явно придуманы нейросетью (предположительно Topaz AI, или возможно одна из опенсорсных в МатЛабе судя по описанию):
https://www.astrobin.com/07a46i/?q=IC5148

А вот фото того же объекта здорового человека (Привет Стас)
https://www.astrobin.com/iokfgl/?q=IC5148

[GraY25]

всё пошло от опубликованной лет шесть назад Гуглом свёрточной нейросети Super Resoltion, которую начали переобучать на свой лад и продавать в виде разных продуктов

Новые алгоритмы у них чудеса творят на порядок лучше тех. https://ai.googleblog.com/2021/07/high-fidelity-image-generation-using.html

[Pilgrim]

Новые алгоритмы у них чудеса творят на порядок лучше тех. https://ai.googleblog.com/2021/07/high-fidelity-image-generation-using.html

Да уж, и это всё еще только начало, прогресс нейросетей набирает обороты.
Пожалуй для классического конкурсного астрофото это начало конца, так как для реализации запретов не представляется возможным надёжно установить факт использования конкретных инструментов (список которых будет со временем расти). Если конечно автор имеет хоть какое-то чувство меры (если не имеет, работа в топ не выйдет)

Наверное будущее за работами, выдающимися не техническим, а композиционно-смысловым содержанием (собственно это уже происходит)

[Night Sky]

 

Вот на астробине пример, когда тонкие детали явно придуманы нейросетью (предположительно Topaz AI, или возможно одна из опенсорсных в МатЛабе судя по описанию):
https://www.astrobin.com/07a46i/?q=IC5148

А вот фото того же объекта здорового человека (Привет Стас)
https://www.astrobin.com/iokfgl/?q=IC5148

первая в ссылке   по сути   чистая фантазия ИИ .  Как то это даже печально , ибо фактический результат почти ничего общего с реальностью не имеет.
Однако  при наличии  должного опыта  и навыков у оператора  ,  ИИ видимо  сможет   нести пользу.
Но только в случае  получения просто красивой картинки, для  отображения точных данных он совершенно непригоден

[Дмитрий Маколкин]

для  отображения точных данных он совершенно непригоден

Ни одно астрономическое изображение, опубликованное здесь, не является точными данными. Искажение информации происходит сразу же как только производится первое нелинейное преобразование.
"Гамму тронул - теперь женись!"

[Темный]

Вот на астробине пример, когда тонкие детали явно придуманы нейросетью (предположительно Topaz AI, или возможно одна из опенсорсных в МатЛабе судя по описанию):
https://www.astrobin.com/07a46i/?q=IC5148

Да там вся галерея - "обнять и плакать" (давно известного на Астробине человека с какими-то странными картинками).
Можно "всех посмотреть":
https://www.astrobin.com/users/Alex_Woronow/


Если у человека в голове какое-то сильно свое чувство прекрасного ему и старых инструментов хватит. Достаточно просто в поиск М42 вбить:
https://www.astrobin.com/81797/?q=M42

А тут, кстати, открыли новый тип объектов (сейчас уже, вроде, много где такие находят) UMlGPS (Ultraviolet Medusa-Like Giant Proplyd Structure) :
https://www.astrobin.com/full/343343/0/?q=M42

Это не добывание данных как деконволюция и другие детерминированные алгоритмы, это именно субъективная фантазия AI на тему данных

Кроман в описании пишет-то как раз про деконволюцию в основе работы BlurXTerminator. Для пользователей основная "головная боль", что кроме как верить/не верить вариантов особо не видно (узнать как именно работает этот "черный ящик" нам не суждено, пока).
Если судить только по выходным данным, то и стандартной деконволюцией можно наворотить ого-го

Новые алгоритмы у них чудеса творят на порядок лучше тех

Хвала Юпитеру, что они пока в деталях копают, а глобально - неплохо так лажают.

[GraY25]

Хвала Юпитеру, что они пока в деталях копают, а глобально - неплохо так лажают.

Зато честно.
В любом случае это издержки не модели а недостаточного обучения.
Мало очкариков ей показали.

[Forte]

Наверное будущее за работами, выдающимися не техническим, а композиционно-смысловым содержанием (собственно это уже происходит)

Кошмар какой...
А Алекс Воронофф известный "жестянщик" на АБ . Меня больше поражают лайки под его работами и куча подписчикофф

[Темный]

Зато честно.
В любом случае это издержки не модели а недостаточного обучения.
Мало очкариков ей показали.

Тотально согласен.

[Fatalik]

Топаз в астрофото вообще дичь =) (хотя я на одном снимке его использовал .. был грех.. но тока на одном ))))
А вот в среде Птице-фотоловов интересно его обсуждали вообще ? он же вроде под них заточен и должон там пулять как у нас BlurX чотко и каждая ворсинка на перышке блестит.

По поводу дипов. Плагин этот если использовать, то и указывать его в параметрах к снимку как минимум )

На планеты его и не тренировали ... он там наверное как топаз с дипами ... еду как могу 


Я пока проверил плагин на суммах 30% от накопленных (и отобранных) фитов и из 100% ... и никак оно не помогает из 30% сделать такую же хорошую картинку как из 100% кадров. даже с такими плагинами надо копить и копить .. (большое накопление это лучший шумодав и улучшайзер, детали сами лезть начинают)

[ma][im]

На планеты его и не тренировали ... он там наверное как топаз с дипами ... еду как могу 

Вполне нормально он там ездит но работает только с круглыми планетами, Сатурн, МКС и лунные ландшафты - не умеет.
https://astronomy.ru/forum/index.php/topic,4408.msg5727685.html#msg5727685
С учетом того что в плагине есть кнопка выбора бинарника весов ИНС, думаю если автору будет интересно - он сделает разные целевые применения.

[Sharkу]

большое накопление это лучший шумодав и улучшайзер, детали сами лезть начинают

Ъ стори. Тоже сравнил разные сеты, детализация обеспечивается только накоплением. Более того, плагин достаточно туповат, чтобы "наивыгоднейшим" образом подчёркивать косяки матрицы и прочие артефакты.

[sky-man]

Картинки теперь дорисовывает за вас машинка-программа, смех, да и только. Ждем чтобы на телефон кнопочку жать и сразу фото как Хаббл, вот и будет ,"прорыв" в обработке... Да.. Никогда не понимал фотографов, которые любят эти раскрашивания ии.

Очень тяжело признать что ты рисовал свои фотки в графических редакторах, 10-ти людям скажи правду что фотки это чистой воды фотошоп, 9 из 10 скажет нафиг это надо. Ну из-за уважения чтобы не обидеть скажут да это классно.
Терминатор классный, но это ещё больше рисование, фотки становятся еще более не настоящими. Силиконовыми что ли. Тут много ума не надо, нажал и готово. Сложнее снять мелкие звёзды, настроить оптику, рабочий отрезок. Исправление в фотошопе или в терминаторе размера звёзд это уже не фотосъемка.

Так что для меня ответ однозначный, это "дорисовка". Она имеет право на жизнь только в той области, в которой живёт космический художественный арт,

Конечно 👍

[Fatalik]

очень тяжело признать, что ты не умеешь обрабатывать астрофото. лучше выложить фото с обработкой новичкового уровня и пару фоток пробирок с газом.
а потом сказать что все рисуют, а я вот молодец. )) а все что лучше моих картинок - это нарисовано ))))

про плагин еще да. тут есть почва для того что бы сказать - это не тру. для этого и тему завели.
но про то что тут все много лет рисовали )) вызывает улыбку ))

[sky-man]

Ребят если кого-то задевает правда, успокойтесь никто не против ваших фотошопов и терминатора. Но если у тебя фотки жёсткий фотошоп ты должен понимать это. Да я думаю это все понимают.
Вопрос зачем это. Для побед в конкурсах по другому никак. Сейчас кругом нарисованные фотки, по другому по любому никак.
Я уже тут показал на пальцах что например, звезда сфоткана большой, но программа её уменьшила и дорисовала фон, прошлась кистью по краям, все это рисование.
Не стоит отпираться, вы рисуете фотки в этих мощных плагинах типа терминатора.

[Fatalik]

Ребят если кого-то задевает правда, успокойтесь никто не против ваших фотошопов и терминатора. Но если у тебя фотки жёсткий фотошоп ты должен понимать это. Да я думаю это все понимают.
Вопрос зачем это. Для побед в конкурсах по другому никак. Сейчас кругом нарисованные фотки, по другому по любому никак.

еще раз говорю вам . пишите за себя .. не "все считают" а "я считаю" не все понимают, а я понимаю и т.д.

[ma][im]

Я думаю надо делать то что нравится, либо использовать все средства для достижения намеченной цели.
Если начать играть в тру/нетру (селедка/силикон  ) это надо идти в тему ЕАА ...
зы мне например больше интересны принципы, на которых работает этот плагин, и попробовать свое похожее что-то склепать (до этого использовал нейронки только в задачах классификации и распознавания образов).

[Pluto]

Вопрос, который висит в воздухе. А как,  собственно, купить это чудо 

[Smirnov Andrey]

работает только с круглыми планетами, Сатурн, МКС и лунные ландшафты - не умеет.

У меня вчера лунный ландшафт вполне взял!