Вычислительная фотография

[nolv]

Она называется "аппаратная". В своей программе РОС я вводил опцию по созданию аппаратной маски объектива телескопа с целью дальнейшей обработки ею снимков. Эта версия называется матРОС: https://yadi.sk/d/7uOuTIa1ehihp.
Но у местных "знатоков" эта работа не нашла поддержки, а у меня у самого нет возможности практиковать астросъёмку. Потом  на эту тему встречалось несколько публикаций, в которых с помощью такой маски астрономы получили на своих снимках заметный эффект в повышении контраста.
Здесь, как и во всём, требуется система, упорство и даже фанатизм.

Вот я с аппаратной маской не могу понять один момент. Аппаратная функция ведь строится для определенной длины волны, ну или для модели с определенной спектральной характеристикой (например "белой"). Но ведь спектральные характеристики звезд не обязательно "белые", есть звезды "голубые" и "красные". ФРТ для них будет отличаться, соответственно будет отличаться аппаратная функция. Это как-то учитывается при создании аппаратной маски объектива? Или это несущественно?

[Laplase]

Как известно, Воронцов-Вельяминов приводил пример, как в 1930е один любитель, сложив 100 негативов Андромеды, полученных им с помощью одиночной линзы Ф100х500 мм, разрешил эту туманность на звёзды.

Л.Л. Сикорук и М.Р. Шпольский. Любительская астрофотография. С. 188. Работа выполнена астрономом М.П. Леонтовским.

на звезды он ее все-таки не разрешил. Он увидел тусклые участки и только.

[Boris Green]

Она называется "аппаратная". В своей программе РОС я вводил опцию по созданию аппаратной маски объектива телескопа с целью дальнейшей обработки ею снимков.

Аподизация?

[ysdanko]

Но есть надежда, что и до телескопов дело дойдет. И Вам, молодым, жить в "эту пору прекрасную..."

Но при этом астрофото умрет, как вид хобби 

[Boris Green]

Но при этом астрофото умрет, как вид хобби

Просто к камере придется чип покупать.

[ekvi]

не могу понять один момент.

Если Вы занимались астрофото, то наверняка знаете, что съёмка ведётся на трёх линиях (3х фильтрах). Вы получаете 3 серых (ч/б) снимка, с которыми далее работаете.
В РОС Вы "заказываете" маску для тех же, заданных линий (длин волн), которые далее используете для обработки кадров, полученных с фильтрами с той же длиной волны.
Если Вам нужна маска для "белого" света, Вы просто складываете 3 маски, разработанные в РОС, в одну, учитывая спектральный диапазон своего фотоприёмника.

Аподизация?

Нет. Аппаратная маска в РОС изготавливается так. Из ФРТ, которую даёт Ваша ОС, вычитается ФРТ, которую имеет идеальная ОС. Остаётся только то, что даёт Ваша ОС на фото как  дополнительный фон и что и составляет, собственно, аппаратную маску Вашего объектива. Затем масштабируете полученную маску по снимку, который желаете улучшить.
Обрабатывая снимок попиксельно, Вы из снимка вычитаете этот дополнительный фон (он ведь там появился конкретно от Вашего объектива) и, таким образрм, очищаете снимок от шума родного объектива.

Конечно, там ещё остался атмосферный шум, но от него - аналогично только что описанной технологии, но по более изощрённому алгоритму - поможет избавиться Вычислительная фотография, о которой идёт речь в обсуждаемой статье.

к камере придется чип покупать.

Этот чип будет уже встроен в камеру.

[ekvi]

Работа выполнена астрономом М.П. Леонтовским.

Сегодня можно дополнить подробности об этой работе (см. Леонтовский М.П. Опыт фотографирования Стеббинсовских областей туманности Андромеды и перспектива метода суммирования астрографий. - Бюллетень астрономического института. Ленинград, 1939, № 46, с. 153 - 165).
Леонтовским был сооружён специальный инструмент (см. илл. 1), состоящий из двух деревянных ящиков, в которые были вмонтированы по 100 очковых линз Ф48х436 мм, отделённых друг от друга картонными перегородками.
В качестве светоприёмника в одной коробке использовалась плёнка изопан 710 ХД, в другой - изопан 1000 ХД. Плёнки не были чувствительны к синей и красной областям спектра.
Для получения углового поля 7 градусов линейное поле в фокусе линз ~ 50 мм.
Инструмент был смонтирован на механизме 5-дюймового рефрактора.

Плёнка 1000 ХД подверглась 15-часовой экспозиции, плёнка 710 ХД - 11-часовой экспозиции.
Из отснятых кадров были отобраны по 80 лучших снимков и просуммированы. Т.е. всего 160 снимков. После сложения вокруг звёзд образовывались чёрные круги.
На илл. 2 приведён полный тест линз Леонтовского, оптимизированных на минимум размаха волновой ошибки.

[anovikov]

Я вот думаю что появится сенсор, способный измерять энергию каждого упавшего на него фотона. И сбрасывать по шине данных инфу о моменте прихода оного и энергии, таким образом картинка будет сразу содержать спектр каждого пиксела и всю информацию, необходимую дли гидирования (из анализа всей совокупности будет легко установить, как смещался центр тяжести картинки в процессе съёмки). Изображение стенет "тяжелее" в 16K раз (если считать что кусок данных будет 16 бит длиной, и сравнивать с 16-битной ПЗС, и помнить что снимают обычно 3 канала цветности и 1 яркостный, а тут понятия о фильтрах не будет в принципе). Но тут закон Мура или то что от него осталось, поможет - рама подешевела в 16K раз с 1990 года, процы - с 2002 года, винты - с 1995, то есть плюс-минус лапоть с 1995-1996 г. в среднем - а в те времена большие астро ПЗС уже существовали и обработка данных с них не была неразрешимой проблемой.

[Boris Green]

Я вот думаю что появится сенсор, способный измерять энергию каждого упавшего на него фотона. И сбрасывать по шине данных инфу о моменте прихода оного и энергии, таким образом картинка будет сразу содержать спектр каждого пиксела и всю информацию

Похоже на ФЭУ со сцинтилляционным кристаллом для спектрального анализа ИИИ. Там тоже каждый квант и его энергия анализируется.

Из отснятых кадров были отобраны по 80 лучших снимков и просуммированы.

Владимир Ильич, спасибо за интересные подробности! А как суммировали фотоснимки? Совмещали слайды по звездам и в фотоувеличитель закладывали весь пакет?

[ekvi]

Я вот думаю что появится сенсор

Если не читали тему "Адаптивный фотоприёмник", - посмотрите здесь сообщение #15.
Конечно, информацию с главного сенсора необходимо координировать информацией с гида: именно в паре с гидом становится возможным устранение искажений, вносимых турбуленцией атмосферы.
В технике избыточность информации всегда приводит к рождению принципиально нового знания об объекте.
Тут уместно будет вспомнить С. Лема "Сумма технологии".

как суммировали фотоснимки?

Негативы по 10 штук спаривались проколами 4 иголками по звёздам и делался позитив, который переснимался в негатив.
Полученные 8 негативов обрабатывались аналогично.

[anovikov]

Конечно, информацию с главного сенсора необходимо координировать информацией с гида: именно в паре с гидом становится возможным устранение искажений, вносимых турбуленцией атмосферы.

Не,гид такому сенсору будет совсем не нужен. Зачем гид, если мы знаем точный момент прихода каждого фотона? Мы можем гидировать по всем звездам на снимке одновременно, по всему снимку в целом, причём с идеальной точностью и постфактум, уже получив снимок.

[ekvi]

Зачем гид, если мы знаем точный момент прихода каждого фотона?

Боюсь, фотоны будут "шлёпать" по матрице чаще, чем с неё будет считано хотя бы одно изображение ...

Мы можем гидировать по всем звездам на снимке одновременно, по всему снимку в целом, причём с идеальной точностью и постфактум, уже получив снимок.

Скажу более того - и это буквально в данную тему: обрабатывая полученные одновременно снимки с разных телескопов, разнесенных в пространстве и оптически не связанных между собою, можно с высокой точностью учесть наклон волнового фронта к каждому из них, т.е. учесть ФАЗУ волны, и тем самым повысить разрешающую способность составного телескопа.

Вот это для меня сегодня понятнее предыдущего Вашего утверждения и технически выполнимо.

[ekvi]

На 1й илл. - полный тест линзы Леонтовского, оптимизированной в узком диапазоне спектра 0.45 - 0.66 мкм на минимальный размах волновой ошибки. Первая поверхность линзы асферизована, входной зрачок вынесен вперёд.

Сегодня есть возможность снимать на матрицу Canon через два одинаковых разнесённых объектива 2я (илл.)
Только в этом случае, чтобы воспроизвести результат М.П. Леонтовского, придётся делать 50 снимков (светосила утроена) по 11 - 15 часов каждый - то есть всю осень и зиму. Если ISO поднять в 2-3 раза, можно и время уменьшить до 4-5 часов на снимок.

[anovikov]

Боюсь, фотоны будут "шлёпать" по матрице чаще, чем с неё будет считано хотя бы одно изображение ...

АЦП современных CMOS камер - 12-16 бит. Какова средняя выдержка (саб) при современной астросъёмке? От нескольких секунд до нескольких минут. Скорость считывания? От нескольких fps до нескольких десятков fps. Даже без изменений электроники это разница в 100-1000 раз, выходит что нам нужно на пиксел хранить значения 10-100 фотонов, то есть грубо иметь килобит памяти на пиксел, в чём проблема? Плотность транзисторов в современных чипах 160 млн на mm2 уже достигнута. Пиксел в 10 микрон организовать уже не проблема. А учитывая что сигнал можно сливать по колонке по мере его появления (используя ее как нормальный канал связи, собирая байты на конце) - еще меньше, можно иметь буфер всего на несколько фотонов на уровне пиксела и простейшую логику коммутации для избежания коллизий. Напоминаю - в чип размером как у типичных современных астро CMOS (3.8 мк) влез бы при современной плотности транзисторов целый микропроцессор 70-х, с АЛУ, ПЗУ дешифратора команд, регистрами, и всем остальным - а подобной навернутости логики абсолютно не требуется.

[anovikov]

Продолжая мою мысль - сенсор может реагировать на упавший фотон, регистрировать момент его прихода и энергию и сбрасывать эту инфу на пиксел ниже (в цифровом виде), а если тот не готов принимать сигнал (буфер полон) - на соседние пикселы слева или справа, чтобы они передали дальше вниз. Несложно смоделировать на питоне такую систему, взяв за основу реальный астроснимок и выделив в нём тепловые шумы, шум от фона неба и собственно фотонный шум объектов... чтобы понять tradeoff между скоростью передачи и объёмом хранимых данных в каждом пикселе, так чтобы все данные успевали передаваться.

[ekvi]

Продолжая мою мысль

У нас тема: "Вычислительная фотография". В моём, например, понимании фотон - это волновой импульс, имеющий сферическую форму и расширяющийся в бесконечном пространстве. Считать фотоны ... Чтобы поддержать или оппонировать Вашу мысль, нужно в деталях знать её содержание и направление её развития и возможные средства для её реализации.

В моём понимании оптический прибор - не счётчик Гейгера, а средство для визуализации объекта, излучающего фотоны. Наиболее актуальное применение "Вычислительной фотографии", как мне представляется, это попытаться "выгладить" изображение, устранив искажения, вносимые турбуленцией. Мне приходилось обрабатывать изображения и наблюдать, как турбуленция "корёжит" изображения.
Вы говорите о минутных выдержках - это то, что действительно требуется для слабых объектов. Но высшие частоты, на которых "работает" атмосферная турбуленция - это килогерц. Вряд ли в реальном времени можно справиться за 1 мс с изображением в несколько Мбайт без регистрации турбулентных колебаний, приходящих с гида (возможно, даже с нескольких).

[ASheff]

фотон - это волновой импульс, имеющий сферическую форму и расширяющийся в бесконечном пространстве

Т.е. фотон летит сразу во все направления?

[ekvi]

"выгладить" изображение, устранив искажения, вносимые турбуленцией

Сегодня это успешно решается с помощью адаптивной оптики. Но - только в пределах "апланатизма", т.е. очень узкого поля зрения.
Задача Вычислительной фотографии здесь состоит в том, чтобы попытаться обойтись без механики, внося в реальном времени коррекцию в записываемый сигнал (или записывая с гидов эту динамику, но исправляя снимок пост-обработкой?).

[anovikov]

Вряд ли в реальном времени можно справиться за 1 мс с изображением в несколько Мбайт без регистрации турбулентных колебаний, приходящих с гида (возможно, даже с нескольких).

Я говорил именно о том чтобы каждый пиксел сенсора был активным, имел свой собственный АЦП и накапливал данные о моменте прихода КАЖДОГО фотона (и его энергии), и сбрасывал их по шине данных по мере наличия в ней пропускной способности. Таким образом вопроса о временном разрешении вообще не будет вставать - точность момента прихода фотона будет наносекундной, и понятия "справиться с изображением" в целом просто не будет. Мы развертываем картинку скажем в 1 мпикс с колодцем в 64к фотонов, в массив из отдельных фотонов, для каждого из которых знаем номер пиксела в который он прилетел, момент прилета и энергию. Редукция этих данных позволяет точно восстановить данные для гидирования, вариации чувствительности отдельных пикселов (как раз из-за того что были ошибки гидирования и те же самые пикселы приходились на разные области неба - и мы точно знаем какие), и свернуть их обратно в массив из 1 мпикс где каждый пиксел - это спектр.

[ekvi]

Теперь несколько проясняется.

мы точно знаем, какие

На матрице - да.
Но откуда нам известно - без наличия "третейского судьи" в виде дополнительного объектива (которым может выступать объектив гида), - из какой точки неба (точнее, объекта) пришёл тот или иной фотон в данный пиксель? Не спутала ли "карты" турбуленция?
Где цепочка обратной связи между излучающей точкой объекта и пикселем матрицы?

Как верно отметил Boris Green, каждый пиксель, накапливая энергию, работает, как фотоумножитель. И в этой части Ваша модель срабатывает.
Но это - только часть работы всего комплекса. Остаётся тот же вопрос: у нас не стоит задача исследовать распределение световой энергии по матрице; наша конечная цель - по матрице точно воспроизвести распределение яркости на ОБЪЕКТЕ, т.е. представить точное пространственное изображение объекта.
А такое возможно лишь при наличии трафарета, созданного без турбулентных искажений.