Работаем в IRISe. Вопросы и ответы

[astroeyer]

Вот, только что конвертанул двумя разными версиями - на обеих есть.
Даже и не задумывался раньше, может все же это не страшно, т.к. в итоге все равно приходится делать win после registration?

[NKV]

Вот, только что конвертанул двумя разными версиями - на обеих есть.
Даже и не задумывался раньше, может все же это не страшно, т.к. в итоге все равно приходится делать win после registration?

Может и не страшно, но:
1) stat работает по полному кадру и выдаёт всегда Maxi.: 16006.0 для 16bit CFA файла т.е. из белой полосы что в рамке вокруг кадра.
2) find_hot работает по урезанному кадру, т.е. не видет этой белой полосы и соответственно Cosmetic Correction замешяя найденные горячие пиксели захватывает значения из этой белой полосы, если битый пиксель расположен рядом с ней. Проверено - после Cosmetic Correction появляются новые горячие по краю кадра рядом с белой полосой!

window2 для всех кадров или может где в настройках програмы надо галочку поставить?

Кстати в MaxIm DL и AIP4Win такая-же лажа...

[astroeyer]

Может и не страшно, но:
1) stat работает по полному кадру и выдаёт всегда Maxi.: 16006.0 для 16bit CFA файла т.е. из белой полосы что в рамке вокруг кадра.

после соответствующего кропа можно не опасаться этой полосы. И еще,насколько я помню, CFA - это 48-бит файл изображения.

2) ...Проверено - после Cosmetic Correction появляются новые горячие по краю кадра рядом с белой полосой!

Тогда ваша мысль верна: "window2 для всех кадров!"

может где в настройках програмы надо галочку поставить?

Не встречал такого места.

Всегда делел как написано у автора Iris - резал края после складывания субэкспозиций.
Вообщем, для надежности, после конвертации RAW в CFA запускаем пакетную(или ручками в окне команд) обработку window2... и получаем причесанные нижние края.

[astroeyer]

Проверил то, как выглядит нижний край кадра, если изображение отличное от астрофото(дневная съемка),- там все нормально,.. хм... интересно как....

[NKV]

И еще,насколько я помню, CFA - это 48-бит файл изображения.

Смущает что сразу после конвертации RAW в CFA получаем 16bit - в углу снизу написано...

если изображение отличное от астрофото(дневная съемка),- там все нормально

Неможет быть... фотику пофиг...

Вообще погуглил 3908 2602 40D... вобщем всем писарям переписывать RAW в CFA... нефиг служебные пиксели в конечный кадр выводить...

[astroeyer]

Смущает что сразу после конвертации RAW в CFA получаем 16bit - в углу снизу написано...

Все верно, я напутал, 48 бит будет после конвертации CFA в Color.

Вообще погуглил 3908 2602 40D... вобщем всем писарям переписывать RAW в CFA... нефиг служебные пиксели в конечный кадр выводить...

Может они нужны для каких-то маневров? Не думаю, что Кристиян не получил кучу писем от пользователй по поводу этих полос....

[NKV]

Может они нужны для каких-то маневров?

Возможно...

Ещё альтернатива window2 - галка Zone в Decode RAW files...

А какая соманда в Iris соответствует Decode RAW files ? И как определить колличество файлов в дириктории ? Хочу скрипт написать ...

[astroeyer]

А какая соманда в Iris соответствует Decode RAW files ? И как определить колличество файлов в дириктории ? Хочу скрипт написать ...

Не нашел такой в списке у Кристьяна: http://www.astrosurf.org/buil/iris/tutorial17/doc30_fr.htm
похоже что RAW в PIC можно преобразовать только из меню, определение количества файлов тоже нет, поэтому нужно заведомо знать сколько файлов в последовательности...
Конвертация http://www.astrosurf.org/buil/iris/tutorial9/doc25_us.htm

Таким образом:
1. ручная работа по конвертации RAW->CFA
2. пакетная обработка командой window2 для соответствующих последоветельностей
3. пакетная обработка и получение "master offset", "master dark",...
4. ручками FIND_HOT
5. пакетная обработка раздельно на: "Remove offset",..., "Divide by a flat-field", "Cosmetic correction"
6. пакет CFA->CRG
7. пакет "Stellar registraion"
8. пакет "Add a sequence" (опиционально выбираем модель сложения)
9. ручками пост обработка

[NKV]

А какая соманда в Iris соответствует Decode RAW files ?

Не нашел такой в списке у Кристьяна

Есть такая LOADCFA [NAME] , но она у меня как-то странно работает - выдаёт "Digital camera bad definition", но файл открывает...
Проверил на 40D и 1DsMk2

[astroeyer]

Есть такая LOADCFA [NAME],,..

Я имел ввиду команду работающую с последовательостью, одиночная не решает задачу оптимально.
Придется писать скрипт cоздающий нужный пакет:
1. определение кол-во файлов, запуск цикла на п.2
2. создание пакетного файла вида:
  loadCFA <filename_1>
  save <newfilename_1>
  ...
  loadCFA <filename_N>
  save <newfilename_N>

[NKV]

Есть такая LOADCFA [NAME],,..

Я имел ввиду команду работающую с последовательостью, одиночная не решает задачу оптимально.

Это я понял, но какого она (LOADCFA) ругается
Ещё LOADRAW выдаёт "Not enough memory" 3Gb мало

Проверьте пожалуйста у себя.

[astroeyer]

Это я понял, но какого она (LOADCFA) ругается

Ума не приложу..

Ещё LOADRAW выдаёт "Not enough memory" 3Gb мало

Проверил на трех версиях(5.30, 5.53, 5.55) - "Not enough memory", мдя... чего-то в "супе" не хватает, чего..?
Версия есть такая: команда старая и не модифицирована под RAW, условно, последних версий камер.
Так например, "Not enough memory" возникает, если через меню загрузить raw файл от 40D в версии 5.30.

[astroeyer]

Вот более удобный интерфейс просмотра команд Iris:
http://www.astrosurf.org/buil/iris/nav_pane/CommandsFrame.html

[StasV]

Вот более удобный интерфейс просмотра команд Iris:
http://www.astrosurf.org/buil/iris/nav_pane/CommandsFrame.html

Отмечу, что тут не все команды. Список давно не обновлялся. Необходимо смотреть списки дополнений, выходящих к новым версиям

[astroeyer]

Юрий, пожалуйста, поясните: почему лучше?

"Температура" источника освещения экрана, применяемого при получении флэтов, на практике выражающаяся в весах, коэффициентах, которые необходимо применить в R, G, B каналам, чтобы получить "белый" (нейтрально серый) флэт, может сильно отличаться от температуры (тех же весовых коэффиентов) для снимка deepsky.

Да. Это хорошее замечание!
Но вопросов только больше... см. ниже..

Применяя "не серый" флэт Вы попутно несогласованно растягиваете/сжимаете динамический диапазон в разных каналах пропорционально тем самым "температурным" коэффициентам флэта.

Бесспорно, он имеет отличие от некоего, если таковым был бы калиброванный источник под соответствующую комбинацию матрицы и ПО, которое укладывает изображение в файл.

Для примера - преобразуйте Ваш CFA флэт в цветную картинку... Будут потеряны полутона в одном или нескольких цветовых каналах, ухудшится соотношение сигнал/шум, при этом - несогласованно в разных каналах.

Сложно сказать потеряны, а вот искажены, скорее,- да! (вопрос формулировки, не более..)

Согласно этой модели (Jim Solomon's Astrophotography Cookbook):
             Light - (Dark + Offset)
(2) Signal = -----------------------
                   Flat Signal
я считаю, что flat является картой градиента распределения света(мат.матрицей амплитуд  распределения света по некой площади). Где для каждого пикселя известна некая средневзвешенная(for a master flat only) величина амплитуды и цвет(RGB) вообще не при делах.
(ну я так пока еще думаю...)

Iris(автор), я полагаю, знает об этом(о спектральной чувствительности) и в таком случае, если бы это было существенно, указал бы о необходимости приведения к "серой карте" прежде  чем создавать master flat. Может я самонадеян и смотрю, как бы, в рот авторитету? Развейте мои заблуждения, please?!

Для того, чтобы избежать этих дополнительных "наведённых" ошибок лучше и проводить "нейтрализацию" флэта перед нормировкой кадров.

Есть глубокий, я чувствую, смысл во всей этой кухне, что надо бы избавиться от спектральной чувствительности при получении master flat. Ведь, кто его знает, что за источник в очередной раз будет для получения flat: вечернее/утреннее небо, простыня с лампочками накаливания, софт бокс, лист ватмана и городская засветка,.. белая стена от бани соседского участка на даче в купе с галогеновой лампой на столбе...

Есть еще один вопъёс (см. аттач), какие по вашему мнению должны(лучше, адекватнеее) быть коэффициенты, метод decoding raw file для камер canon?

Мой однократный эксперимент на версии 5.53 не вскрыл влияние на конечный результат(возможно все нивелируется командой «black»).

З.Ы. если адмитистрация сочтет не уместным пост в сторону iris, прошу перекинуть в соответствующую тему.

[lazyBSD]

Есть еще один вопъёс (см. аттач), какие по вашему мнению должны(лучше, адекватнеее) быть коэффициенты, метод decoding raw file для камер canon?

IMHO, наиболее правильный метод конвертации сырых кадров — вообще отключить любую работу с цветом, а цветокоррекцию делать уже на готовой сумме.

[Юрий Торопин]

Сложно сказать потеряны, а вот искажены, скорее,- да! (вопрос формулировки, не более..)

Пусть есть изображение, в котором соседние пиксели имеют следующие значения сигнала
    200, 201, 202, 203, 204, 205, 206, 207, ...
Деление на 4 (с округлением до целых) с последующим умножением на 4 даст следующий ряд
    200, 200, 204, 204, 204, 204, 208, 208, ....,
это я и имел в виду под "потерей полутонов", растеризацией.

Согласно этой модели (Jim Solomon's Astrophotography Cookbook):
             Light - (Dark + Offset)
(2) Signal = -----------------------
                   Flat Signal
я считаю, что flat является картой градиента распределения света(мат.матрицей амплитуд  распределения света по некой площади). Где для каждого пикселя известна некая средневзвешенная(for a master flat only) величина амплитуды и цвет(RGB) вообще не при делах.
(ну я так пока еще думаю...)

Картой реальной чувствительности индивидуальных пикселов для конкретной фотографической системы, где отражаются как особенности приёмника (индивидуальная чувствительность пикселов), так и оптической системы - виньетирование, пыль и т.д.

Деление на плоское поле происходит по формуле наподобие
  Intensity_ij = Intensity_ij⁰/Flat_ij*<Flat>/<Intensity>*K_Norm,
соответственно, если используется не "серый" флэт (а в автоматической последовательности нормировки используется именно он, см. ниже), то в том случае, если соотношение сигнал/шум в разных каналах флэта разное (а так оно зачастую и есть, сигнал и, соответственно, соотношение S/N  в синем канале зачастую ниже, чем в красном и зелёном), то этот больший шум наложится и добавится на и без того плохой синий канал, сделав его ещё хуже.
Это второй отрицательный фактор, присутствующий наравне с дальнейшим искажение баланса цветов при делении на не серый флэт. Количественные оценки легко получить, воспользовавшись командой Divide Sequence и разделив исходник на "цветной" и "серый" флэты.

Iris(автор), я полагаю, знает об этом(о спектральной чувствительности) и в таком случае, если бы это было существенно, указал бы о необходимости приведения к "серой карте" прежде  чем создавать master flat. Может я самонадеян и смотрю, как бы, в рот авторитету? Развейте мои заблуждения, please?!

Christian Buil, без сомнения, "в теме", о чём свидетельствует вот эта цитата со странички о работе с CFA изображениями:
A mention also about the flat-field division: is it even adapted to CFA structure. Before carrying out division by the flat-field, IRIS normalize the level of the pixels of this flat. The result is that the pixels red, green and blue the same weight in the flat-field has, exactly as if the screen on which point the telescope is absolutely white and as if the response of the pixels is perfectly identical according to the color. So the flat-field division is no dependant of the temperature color of the screen. To see the effect of the normalize of the flat-field made the following experiment:
LOAD FLAT
GREY_FLAT
All the preceding operations are carried out in once and automatically from the Preprocessing dialog box of Digital photo menu.
Нормализация цвета флэта делается автоматически, если Вы пользуетесь соответствующими пунктами меню. Иначе об этом надо помнить, ну и забывать о том, что это происходит в автоматическом режиме, не стоит.
А помнить об этом приходиться потому, что из-за наличия дефектов в софте "автоматический режим" не всегда отрабатывает корректно, и приходиться обработку делать в ручном режиме.

Есть еще один вопъёс (см. аттач), какие по вашему мнению должны(лучше, адекватнеее) быть коэффициенты, метод decoding raw file для камер canon?

Мой однократный эксперимент на версии 5.53 не вскрыл влияние на конечный результат(возможно все нивелируется командой «black»).

Различие в спектральной прозрачности атмосферы от качества атмосферы (меняется от ночи к ночи, пыль, туман и т.д.), от зенитного расстояния и т.д. сводят на нет попытки поиска универсальных коэффициентов, лучше проводить калибровку каждой финальной суммы индивидуально, либо по звёздам Солнечного типа, принимая их за белые, либо менее надёжными средствами, считая цвет спиральных ветвей галактик белым и т.д.

Сначала - нормализация фона через Black, потом - баланс белого через умножение на соответстсвующие коэффициенты.

[astroeyer]

это я и имел в виду под "потерей полутонов", растеризацией.

Понятно. Нет возражений.

Согласно этой модели,..я считаю, что flat является картой градиента распределения света по некой площади.

Картой реальной чувствительности индивидуальных пикселов для конкретной фотографической системы,..

Мне кажется, за карту распределения чувствительность же отвечает offset?

Деление на плоское поле происходит по формуле наподобие

Ок!

Количественные оценки легко получить, воспользовавшись командой Divide Sequence и разделив исходник на "цветной" и "серый" флэты.

Выберу время сравню два flat.

Нормализация цвета флэта делается автоматически, если Вы пользуетесь соответствующими пунктами меню.

Пока всегда пользовался этим способом - через меню.

А помнить об этом приходиться потому, что из-за наличия дефектов в софте "автоматический режим" не всегда отрабатывает корректно, и приходиться обработку делать в ручном режиме.

Во как! Даже и не догадывался...

Сначала - нормализация фона через Black, потом - баланс белого через умножение на соответстсвующие коэффициенты.

Понял.

Юрий, спасибо за обстоятельный разбор - очень важная инфо!

[astroeyer]

Начало: https://astronomy.ru/forum/index.php/topic,6361.2820.html

Юрий, пожалуйста, поясните: почему лучше?

...Применяя "не серый" флэт Вы попутно несогласованно растягиваете/сжимаете динамический диапазон в разных каналах пропорционально тем самым "температурным" коэффициентам флэта.
Для примера - преобразуйте Ваш CFA флэт в цветную картнику в IRISe, скорее всего, на переделанном фотике, он будет достаточно красным.

Вот два flat переведенные в цвет:
1. master flat, что был использован для получения серии обработанных субэкспозиций
2. grey_flat, полученный из master flat и конверченый в цвет

Для сравнения flats (master flat и grey_flat), выполнил sub flat grey_flat, результат в третьем кадре. Видно, что между ними есть разница*: пик в левой части и небольшой бугор(см. гистограмму).

*Примечание - регулярная сетка, получилась в результате изменения размера и похожа на интреференционную картину наложения нескольких сеток, до изменения размера изображения ее не было.

[Юрий Торопин]

Согласно этой модели,..я считаю, что flat является картой градиента распределения света по некой площади.

Картой реальной чувствительности индивидуальных пикселов для конкретной фотографической системы,..

Мне кажется, за карту распределения чувствительность же отвечает offset?

Из Christian'a Buil'a
"...2) In addition to the useful signal, there is a DC offset that has a value that is independent of the integration time and somewhat independent of detector temperature. This offset is induced by the characteristics of the detector output amplifier and of the video electronics. This signal can easily be eliminated by subtracting an offset map from the images to be processed.  This map is obtained by averaging several images acquired with a minimum integration time in total darkness."

Оффсет - это не чувствительность, это паразитный сигнал, генерируемый электроникой и усилителем, слабо зависящий от времени экспозиции.