Сенсор от Сони imx224, возможно новый шаг вперед в сенсорах КМОП

[Aleksandrrr]

НО В ЛИНИЮ ВЫ ЕГО КАК ЗАСУНЕТЕ? НА КОМПЕ ОН КАК ХРАНИТСЯ? ОТКУДА ВЫРАСТЕТ РАЗРЕШЕНИЕ? В КАКОМ ФОРМАТЕ ВЫ ПЕРЕДАЕТЕ СИГНАЛ С КАМЕРЫ В ФАЙЛ? Вопросы то хоть понятны?

Неа, не понятны. Я уже вообще не понимаю, о чем тут речь. Однако, между делом отмечу, что разрешение записи с байеровской матрицы восстанавливается поканальным дриззлингом без проблем (в том же AS2) до 100%.

[Дмитрий Маколкин]

Нет, ну давайте тогда по порядку.

Вот байеровские фильтры на матрице. У каждого пикселя свой фильтр, пикселей с зелеными фильтрами в 2 раза больше, чем с красными или синими.
Привожу картинку, на которой эти фильтры нарисованы, а пиксели пронумерованы для дальнейших выкладок.

Что происходитв камере: сигнал, накопленный каждым пикселем оцифровывается АЦП, при этом получаемая разрядность будет такой какова разрядность АЦП: 8, 10, 12, 14 или 16 бит, в разных камерах по-разному.
Далее эти данные передаются в компьютер по тому интерфейсу, который выбран производителем камеры, USB 2.0, 3.0, FireWire, Ethernet, CameraLink или ещё какой.

Очень часто этот поток данных уже можно записать в файл, выбрав для этого какой-нибудь формат. Это бывает что-то распространенное типа BMP, Tif, FITS или проприетарный для производителя камеры формат, бывает и такое.

Что у нас получено в результате? Черно-белая картинка, для каждого пикселя мы знаем интерсивность сигнала, при этом мы знаем фотонами какого цвета эта интенсивность получена. Является ли это цветной картинкой? Пока нет, так как пиксели сейчас у нас не цветные, в каждом из них сигнал только одного цвета.

Дальнейшая задача - сделать пиксели, в которых есть сигнал всех трёх цветов. Этот процесс у нас тут принято называть дебайеризацией.
Сделать это можно двумя способами.
Первый способ - разбить все пиксели на группы 2х2 пикселя. В каждой такой группе у на будут 2 зеленых, один красный и 1 синий пиксель.
На нашей иллюстрации это могут, к примеру, быть пиксели 1,2,5 и 6. Их значения яркости соответственно I1, I2, I5 и I6.
Поступим по-простому. Объединим всю информацию с этой четверки в один пиксель, имеющий информацию о всех трёх цветах. Тогда значение R для результирующего пикселя будет равно I2, G=(I1+I6)/2, B=I5.
Этот способ простой, можно сказать - примитивный, и он не использует полностью всю информацию, зарегистрированную пикселями матрицы, так как в этом методе вычислений мы теряем различие в яркости двух зеленых пикселей, а значит и часть разрешения.
При этом для картинки нашего примера итоговое изображение будет иметь размер 2х2 пикселя.

Второй способ, который используется в подавляющем большинстве случаев наших камер и программ обработки несколько сложнее.
При этом методе для каждого пикселя, имеющего информацию только об одном цвете недостающие цвета берутся с соседних пикселей, при этом недостающие значения интерполируются.
Так, например, синий сигнал для пикселя с номером 6 можно вычислить как B6=(I5+I7)/2, а красный сигнал как R6=(I2 + I10)/2.
В результате мы имеем зеленый сигнал для пикселя с номером 6 полученный напрямую, а синий с красным - интерполяцией от соседних синих и красных.
Математика такого метода есть разная, используются разные виды интерполяции, но суть дела  от этого не меняется.
При этом для нашего примера мы будем иметь картинку 4х4 пикселя.

Какие есть вариации в этом процессе? Операцию интерполяции для вычисления цветного изображения из массива данных, полученных оцифровкой сигналов с пикселей можно проводить в разных местах.
Иногда это делается процессором самой камеры, как, например, в цифромыльницах, тогда на карту памяти записывается готовое RGB изображение, не важно какой при этом формат используется - вадно что уже проведена необходимая интерполяция недостающих цветов. Часто это делается в веб-камерах, причём процессор камеры дополнительно использует сжатие JPEG чтобы пропихнуть большой поток видео через медленный интерфейс, а в охранных IP-камерах исползуется кодек i.264, дающий ещё большее сжатие.
Иногда дебайеризацию делает драйвер камеры чтобы программа записи видео в компьютере получиля уже цветное изображение RGB.
Иногда при съёмке в файл записывается недебайеризированное изображение, которое потом дебайеризуется в программе обработки, уже после калибровки дарками, флетами, биасами и пр., об этом хорошо расскажут те, кто снимает дипскаи на цифрозеркалку.

Надеюсь, это простое изложение позволит придать обсуждению более стройный характер, или я хочу слишком многого?

[Pafnutiy]

А почему эту камеру сравнивают с ASI120, а не с ASI174? 

[Александр (AnDom)]

Сложно все у вас, как-то. Простым смертным, пугающимся слова ДЕБАЕРИЗАЦИЯ, нужен простой ответ - менять кхупятэльдвацэ на эту камеру или не стоит.

[mo]

Слушайте, братья по разуму. Как вы можете передать 2 по 2 байта зеленого (2х16bpp)в одном пакете цветного сигнала, передаваемого кодеком? Вы всерьез полагаете, что кодек передает RGGB? Вы в своем уме? И еще вопрос. Кто мне скажет название 16-битного цветного кодека? RAWvideo?

Вы таки про видео-поток? Или про одиночный кадр?
Если про видео, там нет RGGB, вы правы на 115% .

Если про одиночный сырой кадр с камеры, там именно они - 4 пикселя по 10..16 бит (в зависимости от камеры).

А кто знает на цифрах, что он передает? 8 бит на канал не хотите? Какая программа пишет цветной 16 битный сигнал пакетом? FireCapture? Перекреститесь. SER изначально ч/б. Варианты есть?

Точно о видео говорите. Так это уже 115я ступень преобразования от сенсора к потребителю. Вы просто чуток пропустили. Так это нормально! Я тоже знать ничё не хочу про дебаеризацию .

Или мы говорим о специализированном рукописном firmware, умеющем на низком уровне парсить матрицу. Пакет в студию. С рассуждениями о высоком давайте завязывать, а демагогию заканчивать. Напокупали дипломов, блин.

С дипломами беда, согласен. Мне тоже впарили его зачем-то в универе. Так ни разу никому не показал пока.

Таки к делу. Вы, как я понимаю, больше по планетам мастер? Я в планетах не очень, поэтому уж извините, не совсем родные Вам программы. А термины, вроде как, одни.

Вот скажите мне, слева и справа - это что за картинки?
hint: https://astronomy.ru/forum/index.php/topic,9045.msg3282312.html#msg3282312

Верно, слева тот самый чб-рав с цветной камеры (QHY8L). До дебаеризации. А справа - выделенный 3й (красный) канал. Разрешение упало вдвое, это я максима попросил дать мне каждый четвёртый пиксель из 2х2 сетки. Классная красняшка? Мне нравится. Но вот жешь, что интересно, получена именно из RGGB чб-рава. Вы же не будете отрицать, что моя QHY8L даёт 4 х 16 бит на каждый блок из 2х2 чб рав-пикселей?

Давайте перейдём к зелёному, раз о нём сыр-бор. Зелёные у нас... верно, кометы! Ищу-ищу lovejoy
Ежли не засматриваться на почти что сгоревший (кроме красного) центр, то на раве отчётливо видны такие вот полоски
\\\\\\\\
\\\\\\\\
\\**\\\
\\\\\\\\
\\\\\\\\
Почему? Верно, потому что зелёных два. Один слева-сверху, второй справа-снизу.

[Дмитрий Маколкин]

А почему эту камеру сравнивают с ASI120, а не с ASI174? 

Размер в пикселях одинаков, размер пикселя, если память не изменяет - тоже.

[Александр (AnDom)]

По моему скромному мнению moscow побеждает!!!

[p.v.]

Олег, мы с тобой в привате давно на ты были. Давно не общались, как там будка?)
Ты прав на все 120. Когда мы говорим р специализированном софте типа максима, дербанящего матрицу самостоятельно через собственные драйвера все именно так и обстоит. Матрица читается попиксельно, а дебайеризация делается программно уже в максиме. Это если речь идет об одном кадре.
И ты прав, я действительно говорил о видео и о приложении вопроса к планетам. Вот с видео все обстоит не так замечательно. Там "сырые" кадры передаются в файл на компе в некоем формате, определяемом кодеком. Кодек - кодирует. Он делает пакеты "эффективных" пикселей, а не дебайеризированных. И эти пакеты для RGB идентичны. И мы имеем либо пониженное разрешение в G, либо интерполированное в R и B. НО ОДИНАКОВОЕ.
Как это происходит? Это происходит на стадии чтения кадра драйвером. От драйвера зависит как он прочитает байер, создаст пакет, запихнет его в кодек и запишет в файл. Так вот на входе драйвер имеет 2G пикселя и по одному R и B. А на выходе - в кодеке мы имеем либо R, G, B * разрядность канала, либо N*SER каналов, передаваемых куда? В 4 файла R, G1, G2, B? У кого на компе есть набор этих файлов, поднимите руки?! Ни у кого его нет. А что есть?
А есть либо видео в формате RGB, либо RAWvideo, либо цвет, разложенный на монохромные каналы, где один G, а не два.
Допустим, камера гонит сырой поток в прогу типа FireCapture. Допустим, что FireCapture настолько умный, что делит G на 2 подканала. Что он с ним делает - его дело, но куда он девает второй G, когда заливает поток в файл?

[mo]

Олег, мы с тобой в привате давно на ты были. Давно не общались, как там будка?)
Ты прав на все 120. Когда мы говорим р специализированном софте типа максима, дербанящего матрицу самостоятельно через собственные драйвера все именно так и обстоит. Матрица читается попиксельно, а дебайеризация делается программно уже в максиме. Это если речь идет об одном кадре.
И ты прав, я действительно говорил о видео и о приложении вопроса к планетам

Да кошмар с будкой. Я две недели РАБОТАЛ и на сарай забил
Сейчас меня отпустило, завтра, если не увезу мелких на море, двину за досками.

Таки всё становится на свои места. Просто о разном говорили.
Подтверждаю, что кроме RAW-видео (например с кэнона через MagickLatner... или с любой киношной dng-raw камеры, типа BlackMagick Pocket или какого-нить Red вовсе) мне не известен видеокодек, способный передать видео в исходном формате с "двумя зелёными свистками".
Но это и не кодек вовсе, а набор dng-raw файлов в едином флаконе. Без обработки и сжатия. Лишь с маааахоньким заголовком метаданных.

Любое же видео, в т.ч. адобовский loseless 8:8:8 - жуткие потери, в т.ч. того самого "второго зелёного". Да и кучи остального.

Я вообще не понимаю, как вы получаете такие классные снимки планет .
Сам пробовал в RAW снимать планеты, да барлуха попалась бр....

[Дмитрий Маколкин]

Допустим, камера гонит сырой поток в прогу типа FireCapture. Допустим, что FireCapture настолько умный, что делит G на 2 подканала. Что он с ним делает - его дело, но куда он девает второй G, когда заливает поток в файл?

Зачем такие сложности? Зачем что-то делить?
Если есть желание, то можно просто писать в SER файл результаты оцифровки пикселей, 8 или 16 бит по вкусу и потребности, оставив интерполяцию на потом. SER с этим прекрасно справится. Фактически, FireCapture в этом случае работает с цветной камерой абсолютно так же, как и с ч.б., если ему не указано иное, и пишет ч.б. картинку из которой цвет делается уже потом, при обработке. Говоря иными словами, мы пишем RAW данные, вся исходная информация с матрицы там сохранится без изменений.
Если же есть желание писать цвет, то FireCapture поток дебайеризует и пишет уже цветной AVI. Конечно, тут уже будут вопросы с разрядностью, не факт, что FireCapture умеет писать 16бит AVI, но это уже детали.

[p.v.]

Я конвертировал монохромный 16bpp pgm в RAWvideo через FFMPEG с предоставлением FFMPEG возможности выбрать юлижайший кодек самостоятельно. Так вот на выходе он выдал RGB555 (или что то около - точно название не помню), т.е. RGB 8 бит на канал. Вот и все, что выдает RAWvideo. Не думаю, что MagickLantern умеет что-то большее, чем передать те же несжатые 8 бит.
http://magiclantern.wikia.com/wiki/Unified/RU
Вас там не залило? Беда, говорят, совсем..

[p.v.]

.. можно просто писать в SER файл результаты оцифровки пикселей, 8 или 16 бит по вкусу и потребности, оставив интерполяцию на потом. SER с этим прекрасно справится. Фактически, FireCapture в этом случае работает с цветной камерой абсолютно так же, как и с ч.б., если ему не указано иное, и пишет ч.б. картинку из которой цвет делается уже потом, при обработке. Говоря иными словами, мы пишем RAW данные, вся исходная информация с матрицы там сохранится без изменений.
Если же есть желание писать цвет, то FireCapture поток дебайеризует и пишет уже цветной AVI. Конечно, тут уже будут вопросы с разрядностью, не факт, что FireCapture умеет писать 16бит AVI, но это уже детали.

Об  том и речь, что никто не делает этого, пока его не попросят. А попросить = написать собственный софт, который будет поднимать  2G вместо одного. Таким боком, теоретически мы можем поднять разрешение в G, а практически нет. Вот и все. Дипскай с покадровой обработкой это умеет делать. Планетный софт не умеет.

[Виниту]

От драйвера зависит как он прочитает байер, создаст пакет, запихнет его в кодек и запишет в файл. Так вот на входе драйвер имеет 2G пикселя и по одному R и B. А на выходе - в кодеке мы имеем либо R, G, B * разрядность канала, либо N*SER каналов, передаваемых куда? В 4 файла R, G1, G2, B? У кого на компе есть набор этих файлов, поднимите руки?! Ни у кого его нет. А что есть?
А есть либо видео в формате RGB, либо RAWvideo, либо цвет, разложенный на монохромные каналы, где один G, а не два.
Допустим, камера гонит сырой поток в прогу типа FireCapture. Допустим, что FireCapture настолько умный, что делит G на 2 подканала. Что он с ним делает - его дело, но куда он девает второй G, когда заливает поток в файл?

Пора вводить предупреждения и/или какие-то другие модераторские действия за голословное утверждение голимого бреда.

Firecapture или там EZPlanetary для цветной камеры имеет RAW моду, которая неизвестна видимо одному только p.v. Не надо там никаких 4 каналов. Просто попиксельно считывается как будто кадр черно-белый. На выходе 1 файл в 8 битах или в 16 если гигантам мысли эти 16 требуются в планетной съемке. Но файл один, просто попиксельнеый. Потом его можно слать на дебайеризацию множеством различных методов. Хотя можно и RGB считывать. Заниматься несколько лет планетной фотографией и не знать такого очевидного факта - это двойка в журнал. Ну и блин обсуждать эту тривиальность уже три страницы - это нечто.

Вопрос уже философский: когда некто постоянно лепит бред, можно количество этого бреда как-то ограничить? Вместо осмысленного общения на форуме получается постоянное перемывание каких-то азбучных истин про дважды два. Если это не идиотизм, то это троллизм. ХВАТИТ УЖЕ!!! НЕЛЬЗЯ ОПУСКАТЬ УРОВЕНЬ ФОРУМА НИЖЕ ПЛИНТУСА! Помню, в студенческой юности читал эху с анекдотами. Там за анекдот "про снесла курочка яичка" был бан. Может пора и нам уже за одну и ту же бредятину банить?

[Дмитрий Маколкин]

Об  том и речь, что никто не делает этого, пока его не поросят. А попросить = написать собственный софт, который будет поднимать  2G вместо одного. Таким боком, теоретически мы можем поднять разрешение в G, а практически нет. Вот и все.

Ну всё же не совсем так. При дебайеризации по методу интерполяции как я описывал выше пространственная информация от каждого пикселя в том, что что Вы называете "пары зеленых пикселей" никак не теряется.

[mo]

Я конвертировал монохромный 16bpp pgm в RAWvideo через FFMPEG с предоставлением FFMPEG возможности выбрать юлижайший кодек самостоятельно. Так вот на выходе он выдал RGB555 (или что то около - точно название не помню), т.е. RGB 8 бит на канал. Вот и все, что выдает RAWvideo. Не думаю, что MagickLantern умеет что-то большее, чем передать те же несжатые 8 бит.
http://magiclantern.wikia.com/wiki/Unified/RU
Вас там не залило? Беда, говорят, совсем..

В Сочи беда. У нас всё ровно. Да и сложно мой холм затопить чему-то поменьше, чем конец света .

Не, MLV (magic latner video) файл содержит именно 14бит на пиксель чб-рав. 14 - потому что canon больше не может. А сам формат, наверное, 16bpp. Не изучал, ибо не актуально. Я обработал пару роликов в RAW и понял, что на моём халтурном уровне "кинотворчества" - это перебор. Ушёл обратно на 4:2:0 mp4, чутка оттюнив его.

[p.v.]

Об  том и речь, что никто не делает этого, пока его не поросят. А попросить = написать собственный софт, который будет поднимать  2G вместо одного. Таким боком, теоретически мы можем поднять разрешение в G, а практически нет. Вот и все.

Ну всё же не совсем так. При дебайеризации по методу интерполяции как я описывал выше пространственная информация от каждого пикселя в том, что что Вы называете "пары зеленых пикселей" никак не теряется.

Она таки теряется. Просто посчитайте размер файла в байтах и извлеките корень(для квадрата). Получите свою матрицу без удвоенных сигналов.

Винниту, вы не могли бы свои идеи продвигать в другом месте? Напишите модератору например, что вам тут прохода не дают, затроллили вас и пр. У вас с адекватностью напряженка, что-ли? Или поругаться так хочется?

[Дмитрий Маколкин]

Я конвертировал монохромный 16bpp pgm в RAWvideo через FFMPEG с предоставлением FFMPEG возможности выбрать юлижайший кодек самостоятельно. Так вот на выходе он выдал RGB555 (или что то около - точно название не помню), т.е. RGB 8 бит на канал.

Если в Вашем методе обработки произошла нежелательная потеря разрядности, то наверное стоит использовать другой метод?

[Дмитрий Маколкин]

Она таки теряется. Просто посчитайте размер файла в байтах и извлеките корень(для квадрата). Получите свою матрицу без удвоенных сигналов.

Не очень понимаю Ваш метод. Свой алгоритм я изложил, не могли бы Вы детально изложить свой? Пошагово, для понятности.

[p.v.]

Я тоже уже все сказал. Повторяться нет смысла. Не поняли и ладно. Закончим. Вы сказали я поспорил. Тут вон какая бурная реакция у некоторых. Смешно, право.

[Дмитрий Маколкин]

Я тоже уже все сказал. Повторяться нет смысла. Не поняли и ладно. Закончим. Вы сказали я поспорил. Тут вон какая бурная реакция у некоторых. Смешно, право.

Очень жаль, что Вы не хотите (или не можете? Впрочем, не буду гадать.) показать свои аналитические выкладки. Было бы интересно сравнить математику и алгоритмы, думаю, что многим.

Знание внутренней кухни работы железа и софта - что может быть полезнее для плодотворного астрофото? Особенно в наших условиях, когда ясного неба для экспериментов так не хватает...