Сложение кадров. Сверхразрешение.

[mrbus]

Как-то пару раз складывал Юпитер из видеоролика. Вообще-то, я наивно рассчитывал, что столько-то сотен кадров с низким разрешением после сложения дадут высокое разрешение. Не вышло.
По всей видимости, методика сверхразрешения (получения фото более высокого разрешения из серии фото с низким разрешением) не используется в программах сложения.
А может, используется? Кто может пояснить? Я складывал несколько тысяч (согласен, очень хренового качества), и сверхразрешения не получал.

[Smirnov Andrey]

Наверное на это есть три причины: или действительно отвратная атмосфера, или инструмент неотъюстирован/термостабилизирован, либо опыта в обработке меловато.
Посмотрите на этой страничке
https://astronomy.ru/forum/index.php/topic,8654.10700.html
фрагмент ролика (пост #10710) и что из этого получилось путём сложения и последующей обработки (пост #10706)/
Да, ещё надо сказать, что если вы сложете несколько сот хороших кадров, результат сложения будет выглядеть хуже лучших одиночных кадров. Но... одиночные кадры почти нельзя подвергать деконволюции/вейвлетам, а результат сложения (стек) можно и нужно,  и делается это с большим успехом.

[mrbus]

Таки не вижу причин не воспользоваться соответствующими матметодами (бикубической, скажем, интерполяцией "увеличиваем" разрешение, а уже затем складываем). Хуже быть не может просто в принципе, при любых условиях.
Вообще-то, все это уже можно сделать вручную, но чтобы все в одной программе - вроде не встречал. Может и есть такое, поправьте.

[Fantom]

На самом деле сверхразрешения не будет. По логике разрешение растет при кол-ве кадров ->inf , но в реальности во первых бесконечность недостижима и кроме того качество все равно будет ограниченно атмосферой. Выход: лезть в горы, складывать тысячи и тысячи кадров, ну и конечно совершенствовать саму обработку. Сравните снимки в горах и на нашей равнине, вопросы отпадут.

[kryptonik]

Разрешение ограничено оптикой. В идеальных условиях предельное разрешение получается на одиночном кадре. Сколько не складывай больше не получишь. В реальных условиях программы позволяют уменьшить шум и приблизиться к пределу. Вроде всегда говорят об уменьшении шума, а не получении высокого разрешения из кадров с невысоким.

[Забелин Илья]

Постоянная ошибка в терминах. Топикстартер путает "сверхразрешение" и "видимость" деталей.
Детали проявляются при сложении, но разрешение этих деталей ограничено изначально оптикой и частично атмосферой.

 С уажением Илья

[p.v.]

Но... одиночные кадры почти нельзя подвергать деконволюции/вейвлетам, а результат сложения (стек) можно и нужно,  и делается это с большим успехом

все в точности наоборот. у одиночного кадра psf вполне конкретно определена - это или смаз или дефокус или их комбинация. деконволюция одиночного кадра проходит на ура, если он не совсем безнадежный. а вот к кадру, сложенному из видео применять ее с теоретической точки зрения бессмысленно, потому как psf уже не psf, а некая сумма общих для всех кадров искажений. они и убираются, т.е. достигается некий усредненный результат, характерный для данных условий. и ни к какому предельному разрешению он не стремится, в отличие от одиночного кадра. так что товарищ прав в своем подходе.
по вашему ролику: по мне так грех жаловаться - сиинг вполне приличный. у меня обычно редкая реальная колбасня, с вашей, при ваших фокусных, не сравнимая. но даже при ней один кадр из 5-10 выходит вполне сносным. один из сотни тянет на не стыдный для моей апертуры.  что до видео, практика показывает, что с увеличением фокуса, многократно возрастает трудоемкость покрытия больших площадей, по той же луне. одиночные фото тут выигрывают, хотя подобная стрельба и смахивает на лотерею с редким выигрышем. но, тут уж каждому свое - кому что нравится. кому снимать, кому складывать.

[mrbus]

Топикстартер путает "сверхразрешение" и "видимость" деталей

Я бы сказал, сверхразрешение с целью получить видимость деталей. Ибо какие детали могут быть на объекте 70х70.
Когда еще не было барлухи, экспериментировал с Юпитером - на фокусном 1 м получился юп размером где-то 70х70, я ролик в VirtualDub ресайзил 3х (насколько я понимаю бикубическая интерполяция), уже потом складывал. Толкового результата не получил. Но это вполне может быть и из-за дефокуса (тогда мало было опыта и не было маски Бахтинова) и др. причин.
В общем, я так понимаю, большинство против таких извращений, но видимо, пока не попробуешь - не узнаешь. Надо будет еще поэкспериментировать. Просто я думал, у кого-то есть подобный опыт.

[bigol]

деконволюция одиночного кадра проходит на ура, если он не совсем безнадежный. а вот к кадру, сложенному из видео применять ее с теоретической точки зрения бессмысленно,

Ага, расскажите это поподробнее местным "планетчикам" Практика - критерий истины

Я бы сказал, сверхразрешение с целью получить видимость деталей. Ибо какие детали могут быть на объекте 70х70.

Не понятно. Сверх - чего? Если просто кадр мелкий, но детали на нем есть, то улучшить видимость деталей конечно можно. А улучшить _разрешение_ суммированием кадров не получится. Правда, была тут где-то ссылка на бразильских "кудесников", которые детали на Хароне демонстрировали и т.д., но это явная лажа.

[kryptonik]

деконволюция одиночного кадра проходит на ура, если он не совсем безнадежный. а вот к кадру, сложенному из видео применять ее с теоретической точки зрения бессмысленно,

Ага, расскажите это поподробнее местным "планетчикам" Практика - критерий истины

Да, похоже, наши одиночные кадры для деконволюции безнадежные. Несколько раз пробовал, но режим подобрать не удалось, хотя от вейвлетов толк был. А деконволюция, похоже, шумы матрицы сильно выделяет. Наземные одиночные кадры хорошо деконволючатся, на предмет дефокуса в основном, попадались в интернете примеры обработки.

[DzmitryK]

Как я понял, топикстартера интересует вот это.

[mrbus]

А улучшить _разрешение_ суммированием кадров не получится

Изучая тему блочных методов оценки оптического потока, натолкнулся на вот это: ftp://ftp.unilib.neva.ru/dl/local/NTV/2006/5(47)_1/24.pdf
Стр. 10 рис. 3 посмотрите. Не думаю, что это лажа.

Как я понял, топикстартера интересует вот это.

Оно самое!

[bigol]

I found an interesting data-set of a tiny video containing several frames of a moving car.

Фишка в этом, как я понимаю. То же самое, что и мы делаем с планетными роликами. А вот из одного кадра, на котором номер не виден, его не вытянуть. К тому же, хорошо, когда кадры с сильным undersampling, да еще и со смещением ракурса, а у нас ситуация обратная.
"Если изображения не undersampling - как это имеет место для большинства изображений с высоким астрофотографии разрешение - первый кадр будет содержать ту же информацию, как и любой другой кадр. Помимо немного шума, конечно. Сложение изображений, конечно, увеличит соотношение сигнал-шум, и вы даже можете отказаться от кадров, которые являются слишком размытыми или немного компенсировать движение , но вы никогда не сможете выйти за рамки дифракционного предела оптики. Вы будете нуждаться в большей апертуры для получения более подробно."

[bigol]

Стр. 10 рис. 3 посмотрите.

Это та же ситуация, как и по ссылке Дмитрия. Они сами пишут
"Результат достигается за счет использования информации от нескольких последовательных кадров из видеопоследовательности, содержащих похожие, но не идентичные данные".
Итоговое изображение планет примерно так же отличается от одиночных кадров как и в этом примере. Выше уже не прыгнешь пока. При отличных условиях ограничение - оптика, атмосферные ограничения при "средних" условиях возможно наверное побороть с помощью АО.

[mrbus]

вы никогда не сможете выйти за рамки дифракционного предела оптики. Вы будете нуждаться в большей апертуры для получения более подробно

Понятно...

1) Я снимал без часовика, Юпитер смещался сам собой - drizzling есть.
2) на ТОЙ же апертуре (200 мм) с барлоу получают кадры, где намного больше деталей. Т. е. в моем случае "предел апертуры" не был достигнут, вот я и хотел компенсировать отсутствие барлухи сверхразрешением. И не получилось.

А в общем, вопрос можно считать закрытым, понятно, что такая метода есть и используется, но при качественной съемке по сути бесполезна. Но при применении drizzling и если не достигнут предел для данной апертуры, попытаться можно.

[p.v.]

Да, похоже, наши одиночные кадры для деконволюции безнадежные.

Ваши снимки впечатляют, никто не умаляет Ваших достижений. Но речь о том, что деконволюция, якобы, ничего не дает для одиночного кадра. На рис. слева родной кадр, в центре LR Moffat, справа LR экспонента.
Новых деталей при деконволюции не добавляется, но резкость реально возрастает за счет сжатия размытого пятна в точку при обработке. При обработке видео работают другие процессы - идет сложение общих для кадров деталей на плавающих туда-сюда кадрах. Отсюда повышение качества при увеличении кол-ва кадров. Таким же образом сложенные одиночные кадры, предварительно подвергнутые деконволюции перед сложением, дадут в идеале качество, максимально высокое для данной сессии, если снимки "не безнадежны". Разрешение снимка на фото выше, чем при видео. На моей зеркалке это 4968x3264 против 1980x1080. Оптика одна и та же. Результат разный. Ролик дает устойчивое и нешумное изображение, но с меньшим разрешением, чем фото. Для достижения такого же разрешения нужно увеличивать фокус, но при этом уменьшается поле и растут затраты. На форуме много раз поднималась эта тема(video vs. foto) и многие склонялись к мысли, что пределом обработанного видео является лучший одиночный кадр из него.

[DzmitryK]

1) Я снимал без часовика, Юпитер смещался сам собой - drizzling есть.

Дриззлинг это не совсем то, что вы имеете ввиду...
А методика на самом деле очень полезная. Я, например, ей активно пользуюсь при обработке лунных видеороликов (снятых, как раз, в условиях андерсемплинга).

[mrbus]

Дриззлинг это не совсем то, что вы имеете ввиду...

Да, с терминологией у меня туговато, дизеринг. А undersampling - что за словечко?

[bigol]

почитайте раздел 5. http://www.frankbrandl.com/htm/webcam.htm

[p.v.]

еще по теме http://prozarium.ru/PhotoDetails.aspx?PhotoID=2528