Камеры светового поля (Lytro и иже с ними)

[slowpoke]

Когда появилась первая литра, то у меня сразу возникла мысль -- а ведь складывание картинок из мозаики на таком сенсоре можно использовать не только для отображения фокуса на разных точках, но и для компенсации аберраций без деконволюции со свойственным ей ростом шумов, и что в перспективе, когда разрешение сенсоров станет выше, произведет сильное влияние на оптикостроение. Можно будет сэкономить в объективе массу стекла за счёт усложнения сенсора. Необходимо, конечно, согласовывать сенсор с выходным зрачком, но как мне кажется, выгода от компенсации будет больше. Можно даже, ожидая, что тангенциальные аберрации будут сильнее сагиттальных, изготавливать сенсоры в которых выходной зрачок делится только танценгиально, а не сагиттально.
То ли время ещё не пришло, то-ли я где-то ошибаюсь... Пожалуйста, ваши мысли.

[slowpoke]

Lytro -- это фирма, которая выпустила потребительский продукт, ориентированный на хипстеров, имхо негодный маркетинг.
Raytrix -- фирма, занимающаяся чем-то более серьезным.
вот популярное изложение технологии:
http://www.computerra.ru/63822/chto-budet-posle-3d-plenopticheskoe-video/
моё изложение: берётся обычный плоский фотоприёмник с N пикселями, на небольшом расстоянии (микроны) от него ставится массив микролинз таких, что перебрасывают выходной зрачок объектива на плоскость сенсора. В результате каждый пиксель видит только то, что отображает часть выходного зрачка главного объектива. Т.е. была одна картинка из N пикселей, а стало K картинок из M пикселей (N = M*K ессно). В пикселях мы потеряли, зато приобрели способность делать такие штуки, как:
* менять перспективу (в пределах апертуры), для этого просто берется одна из K картинок
* менять положение фокусировки при работе полной апертурой: все K картинок складываются со сдвигом, величина сдвига -- произведение сдвига по фокусу и индекса картинки
* ну и аберрации: картинки складываются со сдвигом, непостоянным по полю.

>но как при этом использовать "сагитты-тангитты"?
Ну это может быть только для обхода того, что у базовых сенсоров недостаточная мегапиксельность. Так-то можно просто порезать выходной зрачок на квадратики и всё, но мы же хотим экономить пиксели.

[ekvi]

берётся обычный плоский фотоприёмник с N пикселями, на небольшом расстоянии (микроны) от него ставится массив микролинз таких, что перебрасывают выходной зрачок объектива на плоскость сенсора.

Кроме того, массив микро-линз изменит светосилу исходного объектива и масштаб изображения (+/- в зависимости от силы микро-линз).

[slowpoke]

Кроме того, массив микро-линз изменит светосилу исходного объектива и масштаб изображения (+/- в зависимости от силы микро-линз).

массив линз близфокальный или вообще в фокальной плоскости главного объектива, так что фокусное не меняется

[Gleb1964]

ставится массив микролинз таких, что перебрасывают выходной зрачок объектива на плоскость сенсора.

судя по картинке не совсем так, они все-таки перебрасывают изображение, а не зрачок. они, кстати об этом и пишут - "relay optics"

В результате каждый пиксель видит только то, что отображает часть выходного зрачка главного объектива.

вот здесь я согласен - каждый пиксел видит изображение, создаваемое частью зрачка. Получается много картинок с разных позиций в пределах входной апертуры, соответственно, каждое изображение имеет значительно меньшее относительное отверстие и меньший фокус. Т.е. разрешение падает и от уменьшения фокуса и от уменьшения относительного отверстия. Уровень освещенности фокальной плоскости тоже должен упасть так как свет распределяется на большую площадь и, очевидно, есть потери части лучей на стыках микролинз и полей микролинз

[slowpoke]

судя по картинке не совсем так, они все-таки перебрасывают изображение, а не зрачок. они, кстати об этом и пишут - "relay optics"

Если я правильно понимаю, то камера может работать в нескольких режимах и relay режим нужен как раз для того, чтобы приблизить поведение камеры к обычной для максимального разрешения на плоских объектах. Если ведь линзы просто перекидывают изображение с уменьшением его, то и никаких "хороших" новых свойств не возникает, хроматизм только сильнее.

Уровень освещенности фокальной плоскости тоже должен упасть так как свет распределяется на большую площадь

Этот эффект невелик, а если главный объектив телецентричен в пространстве изображений, то и вовсе отсутствует (у типичного объектива для зеркалки выходной зрачок находится на 60-90 мм впереди сенсора, диагональ которого 28 мм)

и, очевидно, есть потери части лучей на стыках микролинз и полей микролинз

А, кстати, вот в вики упоминается, что кто-то использует это для коррекции аберраций:
http://en.wikipedia.org/wiki/Light-field_camera#Light-field_microscope
 The addition of a light-field illumination system both allowed for additional types of illumination (such as oblique illumination and quasi-dark-field) and correction for optical aberrations.[18]
но мой вопрос не снимается -- здорово ведь, можно исправлять аберрации, почему так мало энтузиазма? Мегапикселей мало -- так их число постоянно растёт. А вот оптика не развивается с такой же скоростью.
С другой стороны, это астрономический форум, а в телескопах главными аберрациями являются СФА и кома, для коррекции которых плентооптические камеры значительно менее пригодны.

[Gleb1964]

очевидно, что за счет меньшего относительного ответстия увеличивается глубина резкости, об этом и авторы упоминают.
однако хочу обратить внимание на картинке, что приведена выше, что апертура объектива разбита дискретно - там примеры разбиения на 4 и на 3, и, соответственно, приведены  точки изображения, которые соответствуют именно такому разбиению. Однако, если взять соседние точки поля - шаг вправо, шаг влево - и разбиение не совпадает с апертурой, возникают затененные пикселы. Или, апертуру надо делать больше, с запасом.

[Gleb1964]

А, кстати, вот в вики упоминается, что кто-то использует это для коррекции аберраций:
http://en.wikipedia.org/wiki/Light-field_camera#Light-field_microscope
 The addition of a light-field illumination system both allowed for additional types of illumination (such as oblique illumination and quasi-dark-field) and correction for optical aberrations.[18]
но мой вопрос не снимается -- здорово ведь, можно исправлять аберрации, почему так мало энтузиазма? Мегапикселей мало -- так их число постоянно растёт. А вот оптика не развивается с такой же скоростью.

у меня этот метод создает больше вопросов, чем ответов. Метод требует большого относительного отверстия, светосила которого растранжиривается для разбиения по зонам. Из за завышенной светосилы объектив имеет больше аберраций, чем мог бы иметь. А затем эти аберрации хотят корректировать, разбив апертуру(?!). Все это, чтобы на одном большом сенсоре (который стоит дорого из за размера) одним дорогим объективом создать множество фрагментов изображения объекта снятых как бы из разных зон апертуры, чтобы потом сшивать эти изображения в трехмерные или в двухмерные с эффектами параллакса или перефокусировки. Причем, такая сшивка фрагментов в одно изображение требует предварительной калибровки камеры, иначе будут погрешности. Погрешности по глубине растут квадратично по расстоянию, эффекты параллакса ограничены разрешением и размером входного зрачка - т.е. возможности создания объема применимы к небольшим расстояниям - студийная съемка, индустриальные приложения, при съемке удаленных объектов камера теряет свои свойства!

[библиограф]

 Идея-то старая! Габриэль Липман получил в 1908 году Нобелевскую премию за цветную интерференционную
и за интегральную фотографию. Так это она и есть! См. главу VI.
https://books.google.ru/books?id=ulH_AgAAQBAJ&printsec=frontcover&hl=ru#v=onepage&q&f=false

[slowpoke]

очевидно, что за счет меньшего относительного ответстия увеличивается глубина резкости, об этом и авторы упоминают.

какие авторы упоминают?
в режиме работы без промежуточного изображения ("галилеевский") микролинзы, наоборот, подобны редукторам фокуса

Однако, если взять соседние точки поля - шаг вправо, шаг влево - и разбиение не совпадает с апертурой,

Этого нельзя сказать по этому грубому рисунку. Хотя этого легко избежать, сделав главный объектив телецентричным в области изображений. А если он не телецентричен, то шаг расположения микролинз выбирается не кратным по отношению к размеру пикселя

возникают затененные пикселы. Или, апертуру надо делать больше, с запасом.

Если возникают затененные пикселы, то за счет перераспределения света и на других пикселях будет его больше, так что отношение сигнал/шум изменится мало. А делать апертуру с запасом нельзя -- тогда какие-то другие пиксели будут принимать свет от более чем одной зоны выходного зрачка.

при съемке удаленных объектов камера теряет свои свойства!

поправка 1: при съемке крупных объектов
поправка 2:Это если считать игрушки от маркетологов Lytro единственным смыслом
для съемки удаленных объектов как раз будет полезным возможность компенсанции аберраций, вносимых турбулентностью воздуха

Причем, такая сшивка фрагментов в одно изображение требует предварительной калибровки камеры, иначе будут погрешности

Конечно. Но ведь фильтр Байера и микролинзы вполне себе ставят на матрицы с микронными пикселями, и получается вполне массово и дешево.

[Gleb1964]

очевидно, что за счет меньшего относительного ответстия увеличивается глубина резкости, об этом и авторы упоминают.

какие авторы упоминают?

на страничке параметров Raytrix камер http://www.raytrix.de/index.php/r29-273.html есть такая строчка:

Depth of field factor - Up to 6 times of standard cameras, software refocus

здесь, как я это понимаю - depth of field - глубина резкости в пространстве предметов, т.е. говорят о коэффициенте увеличения глубины резкости по сравнению со стандартными камерами и возможности программной перефокусировки изображения

в режиме работы без промежуточного изображения ("галилеевский") микролинзы, наоборот, подобны редукторам фокуса

да, масштаб изображения меньше (и разрешение), но относительное отверстие каждой субапертуры все равно меньше меньше, поскольку коэффициент редукции фокуса меньше, чем коэффициент разбиения апертуры на сегменты

Однако, если взять соседние точки поля - шаг вправо, шаг влево - и разбиение не совпадает с апертурой,

Этого нельзя сказать по этому грубому рисунку. Хотя этого легко избежать, сделав главный объектив телецентричным в области изображений. А если он не телецентричен, то шаг расположения микролинз выбирается не кратным по отношению к размеру пикселя

возникают затененные пикселы. Или, апертуру надо делать больше, с запасом.

Если возникают затененные пикселы, то за счет перераспределения света и на других пикселях будет его больше, так что отношение сигнал/шум изменится мало. А делать апертуру с запасом нельзя -- тогда какие-то другие пиксели будут принимать свет от более чем одной зоны выходного зрачка.
ных объектов камера теряет свои свойства!

да, согласен, при телецентрическом ходе лучей есть возможность разбить апертуру без смещения и затенения пикселов, например как на рисунке ниже

[slowpoke]

здесь, как я это понимаю - depth of field - глубина резкости в пространстве предметов, т.е. говорят о коэффициенте увеличения глубины резкости по сравнению со стандартными камерами и возможности программной перефокусировки изображения

так а при чём тут относительной отверстие? это же достигается в результате программной обработки только

да, масштаб изображения меньше (и разрешение), но относительное отверстие каждой субапертуры все равно меньше меньше, поскольку коэффициент редукции фокуса меньше, чем коэффициент разбиения апертуры на сегменты

это о чем вообще? общее количество света в штуках фотонов, падающее на сенсор уменьшится только из-за потерь на микролинзах, т.е. не коэффициент разбиения на сегменты тут не при чем.

да, согласен, при телецентрическом ходе лучей есть возможность разбить апертуру без смещения и затенения пикселов, например как на рисунке ниже

условие телецентричности вовсе не является обязательным.