PixInsight

[OMI]

Хорошо, спасибо 

[NKV]

Обновил CosmeticCorrection module
v 1.2.0 build 2
+ Defects List: Вносить битые строки/колонки ручками или тыкая мышкой в картинку, загружать из txt файла, выгружать в txt и fits(через RTP Snapshot). Можно метить всю строку/колонку или часть, в RTP наблюдая эффект.

Хотя AutoDetect метод даёт схожие результаты ( см. картинки ), зато DefectList и MasterDark методы работают в 10 раз быстрее.

Пожалуйста погоняйте модуль - отпишитесь - и я пну Хуана публиковать его под другие оси.

PS Рекомендую запускать RTP только на маленьких превьюшках. Иначе придётся ждать пока модуль генерирует пачку полно размерных картинок для внутреннего использования ( особенно при задействованном AutoDetect методе ).

[Anton]

Про калибровку. Кейворд FLIPSTAT пиксом никак не учитывается, поэтому, если с телескопа идут картинки всегда с одной ориентацией, те если он их переворачивает автоматом в зависимости от того с какой он стороны от колонны, то при последующей калибровке часть кадров, а именно перевернутые, не калибруются, нужно крутить руками.

Порванный боян?

[Anton]

Еще про калибровку.
Что-то пробило сегодня с пристрастием потестировать ее в пиксе.
Результат, честно говоря, отрицательный.
Специально для эксперимента взял 50 байесов и 50 дарков по 3 минуты и калибровал 3-х минутные же сырые кадры.
Сделал мастер байес и мастердарк без вычитания байеса, все как хочет пиксовая калибровалка.
Специально сохранил все мастеркадры в 16 бит int, чтобы можно было с максимдлом сравнивать и не морочиться нормализацией.
Целью эксперимента была проверка хваленого волшебного оптимизатора масштабирования дарка по минимуму шумов в результирующем кадре, которому и температура якобы пофиг и время экспозиции.... Хихи три раза. Лажа этот оптимизатор. Как он ни пыжился, так и не смог побить кадра, тупо калиброванного 1:1. И это на кадрах идеально совпадающих и по времени экспозиции и по температуре. Чего уж там будет при более сложных условиях даже представить трудно.

Основной недостаток видится в том, что в настройкам нет ROI для подсчета статистики. В результате, если в центре кадра большое голактеко, то крыша у него уезжает полностью. Меняя Optimization window можно наблюдать как весовой коэффициент хаотически мечется от практически 0 до 1. Конечно, там где много сигнала шум определяется преимущественно сигналом, а не тепловым током.

Еще загадка с пъедесталом.
Имеем статистику:

MasterBias:
Average       869.396
Std Dev        62.909

MasterDark:
Average       869.458
Std Dev       122.496

Калибруемый кадр:
Average      1051.611
Std Dev       517.350

При калибровке без оптимизации с пъедесталом 0 результатом является жестоко зарезанная снизу гистограмма.
Для того чтобы вытащить фон приходится ставить пъедестал 1000, только тогда фон вылезает на уровень Average=313.777
Как оно это делает и из каких соображений? Загадка....
И еще грабли, если выход не 16 битный, а например 32 int, то все равно пишет в хедер тысячу, ничего не масштабирует.

Такое ощущение, что никто этой калибровкой толком не пользуется чтоли... Ну невозможно не обратить на такие косяки внимание.
Или все тупо доверяют волшебникам?

[Юрий Торопин]

Я бы для начала предложил сохранять "мастера" в 8 бит int , особенно, когда у тебя среднее по биасу и дарку почти совпадает...

Антон, ты не шуми, я калибруюсь Пиксом уже года 3, всё нормально, надо просто "быть аккуратным".

И куда без пьедестала, когда у тебя
   MasterBias: Average       869.396
   MasterDark: Average       869.458
когда "мастердарк без вычитания байеса, все как хочет пиксовая калибровалка.", в то время, как StDev отличается в 2 раза?

Было бы удивительно, если бы "оптимизатор" серьёзно побил калибровку без оного дарками той же экспозиции, особенно - на термостабилизированной камере...
Ты попробуй "более сложные условия", а потом уж делай выводы

[Anton]

Я бы для начала предложил сохранять "мастера" в 8 бит int

Не понял хумора. Вот этого "8 бит int"
Сохраняю специально в 16 бит, чтобы все как в максиме привычно было [0-65535]

надо просто "быть аккуратным".

Аккуратнее просто некуда. Я полдня старательно утюжил эти картинки, перепроверяя все разными способами.

И куда без пьедестала, когда у тебя
   MasterBias: Average       869.396
   MasterDark: Average       869.458
когда "мастердарк без вычитания байеса, все как хочет пиксовая калибровалка.", в то время, как StDev отличается в 2 раза?

Я не говорю, что пъедестал не нужен. Просто калибровка с нулевым пъедесталом не проходит элементарную проверку на вшивость.
Вычитая 1051-869  я вообщем то ожидаю медиану в районе 182, а не -700.
Но тут вопрос знатокам: какой мастердарк нужен пиксу? dark+bias, как оно реально получается с камеры? Или же чистый dark, те (dark+bias)-bias?
Я давал ему dark+bias. Да и из описания никак не следует, что bias нужно самому вычитать.

Было бы удивительно, если бы "оптимизатор" серьёзно побил калибровку без оного дарками той же экспозиции, особенно - на термостабилизированной камере...

Хех, я был бы спокоен, если бы были просто близкие результаты. А когда результаты случайно зависят от размера окошка, что, впрочем, легко объяснимо, то, пардон, автомат этот это - полная лажа.

[Anton]

А впрочем c пъедесталами то все понятно.
Еще раз взглянув на цифры очевидно, что пикс тупо вычитает из картинки и мастердарк и мастербайес.
Те в качестве мастердарка нужно давать чистый темновой ток, те то, что с камеры (dark+bias)-bias.
Тогда все эти медианы сходятся.
И в мануале написано:

It is also very important to have a bias library, because thermal noise must be bias-subtracted: only thermal noise must be rescaled in the master dark to match the thermal noise in the light frame.

Упс.... 
Ладно, тут придраться не получилось.
Но оптимизатор сейчас замучаю еще раз.
 

[Юрий Торопин]

Не понял хумора. Вот этого "8 бит int"
Сохраняю специально в 16 бит, чтобы все как в максиме привычно было [0-65535]

какой мастердарк нужен пиксу? dark+bias, как оно реально получается с камеры? Или же чистый dark, те (dark+bias)-bias?
Я давал ему dark+bias. Да и из описания никак не следует, что bias нужно самому вычитать.

Всю работу лучше вести в 32bit float, и сохранять в нём же.
Давать можно и "чистый" дарк и "дарк + биас", но тогда в окне калибровки для лайтов не забыть сказать, что "мастер дарк" должен быть откаллиброван.
Ссылка на подготовку "мастеров".  Лайты калибруются также, как и флэты из описания по ссылке, добавляется только калибровка и на (откаллиброванные) флэты.

[NKV]

Сделал мастер байес и мастердарк без вычитания байеса

В зависимости от того какие подсовывать мастер файлы, нужно включать определённые галочки.

Антон, всё что ты описал произошло потому что ты не включил вот это галку. См.картинку.
Из за этого, из МастерДарка не был вычтен биас. Поэтому оптимизация полетела к чертям.
Далее ещё хуже... калибровка ушла в отрицательные значения, т.к. из лайта был вычтен биас дважды, со всеми вытекающими последствиями.

PS А пьедестал лучше включи. И в Максиме и ПИ он поддерживается.

[Anton]

Антон, всё что ты описал произошло потому что ты не включил вот это галку. См.картинку.

Да, я уже въехал сам, спасибо.
Читал подсказки именно к этим галкам, там все с оверскана начинается, так до конца ни одну и не дочитал. А там оказывается все написано.

Ладно, другая загадка:
С вычитанием байеса все понятно.
Получаются без оптимизатора калиброванные кадры с правильной статистикой. Нет вопросов.
Пересложил все мастера.
При этом старой статистики уже никак получить не могу.
Avg мастербайеса на 1(единичку) больше чем мастердарка.
Отчего, хрен его знает. Снималось это в разное время, возможно температура окружающей среды отличалась итп, вообщем какие то тонкие эффекты, неважно.
Ну так вот, калибруюсь без мастербайеса мастердарком(dark+bias) с оптимизацией, получаю коэффициент масштабирования близкий к единице, как и должно быть.
Подключаю мастербайес (та галка в дарке включена естественно), получаю коэффициент ~0.3  при прочей адекватной статистике.
WTF?

[NKV]

получаю коэффициент ~0.3  при прочей адекватной статистике.

Вот она, хвалёная оптимизация в действии! У тебя в дарке тепловых шумов накоплено в 3 раза больше чем в лайте.

Этой фигнёй Кеноны страдают( Недавно тема пробегала): Кеноны масштабируют сигнал в зависимости от количества упавших фотонов. См. пост №30

[Anton]

Вот она, хвалёная оптимизация в действии! У тебя в дарке тепловых шумов накоплено в 3 раза больше чем в лайте.

Неа.
Это  SBIG STL11K и, как я уже говорил, экспозиция и температура везде одинаковая: 180 сек и -20 град.

[NKV]

Неа.
Это  SBIG STL11K и, как я уже говорил, экспозиция и температура везде одинаковая: 180 сек и -20 град.

А пьедестал включил? Антон, ты скринов с настройками накидать можешь? Ну или логи... а то о многом можно только догадываться.
Ну тогда калибруй серию в Максиме и в ПИ (только не надо Integer), складывай и сравнивай SNR, FWHM.

[Anton]

Обновил CosmeticCorrection module
v 1.2.0 build 2

А чегой то не компилится:

g++ -c -pipe -m64 -fPIC -D_REENTRANT -D__PCL_LINUX -I"/home/user/PCL/include" -O2 -mtune=generic -mfpmath=sse -msse2 -minline-all-stringops -ffast-math -fvisibility=hidden -fvisibility-inlines-hidden -fnon-call-exceptions -Wall -Wno-parentheses -MMD -MP -MF"x86_64/Release/CosmeticCorrectionInterface.d" -MT"x86_64/Release/CosmeticCorrectionInterface.d" -o"x86_64/Release/CosmeticCorrectionInterface.o" "../../CosmeticCorrectionInterface.cpp"
../../CosmeticCorrectionInterface.h: In constructor ‘pcl::Interface::Interface()’:
../../CosmeticCorrectionInterface.h:264:9: warning: ‘pcl::Interface::coldQty’ will be initialized after
../../CosmeticCorrectionInterface.h:260:9: warning:   ‘double pcl::Interface::Mean’
../../CosmeticCorrectionInterface.cpp:89:1: warning:   when initialized here
../../CosmeticCorrectionInterface.h:261:9: warning: ‘pcl::Interface::StdDev’ will be initialized after
../../CosmeticCorrectionInterface.h:258:28: warning:   ‘pcl::View::histogram_container pcl::Interface::H’
../../CosmeticCorrectionInterface.cpp:89:1: warning:   when initialized here
../../CosmeticCorrectionInterface.h:258:28: warning: ‘pcl::Interface::H’ will be initialized after
../../CosmeticCorrectionInterface.h:255:8: warning:   ‘pcl::Rect pcl::Interface::geometry’
../../CosmeticCorrectionInterface.cpp:89:1: warning:   when initialized here
../../CosmeticCorrectionInterface.h:255:8: warning: ‘pcl::Interface::geometry’ will be initialized after
../../CosmeticCorrectionInterface.h:249:13: warning:   ‘pcl::Interface::GUIData* pcl::Interface::GUI’
../../CosmeticCorrectionInterface.cpp:89:1: warning:   when initialized here
../../CosmeticCorrectionInterface.cpp: In member function ‘virtual bool pcl::Interface::GenerateRealTimePreview(pcl::UInt16Image&, const pcl::View&, int, pcl::String&) const’:
../../CosmeticCorrectionInterface.cpp:909:14: warning: unused variable ‘avrFlag’
../../CosmeticCorrectionInterface.cpp:910:14: warning: unused variable ‘medFlag’
../../CosmeticCorrectionInterface.cpp:911:14: warning: unused variable ‘bkgFlag’
../../CosmeticCorrectionInterface.cpp: In member function ‘void pcl::Interface::UpdateDefectListItem(pcl::size_type)’:
../../CosmeticCorrectionInterface.cpp:1443:26: error: expected primary-expression before ‘(’ token
../../CosmeticCorrectionInterface.cpp:1443:28: error: expected primary-expression before ‘unsigned’
../../CosmeticCorrectionInterface.cpp:1446:27: error: expected primary-expression before ‘(’ token
../../CosmeticCorrectionInterface.cpp:1446:29: error: expected primary-expression before ‘unsigned’
../../CosmeticCorrectionInterface.cpp:1447:27: error: expected primary-expression before ‘(’ token
../../CosmeticCorrectionInterface.cpp:1447:29: error: expected primary-expression before ‘unsigned’
make: *** [x86_64/Release/CosmeticCorrectionInterface.o] Error 1

[NKV]

А чегой то не компилится:

g++

Версия только под Win. Для других осей надо в коде всякие добавки прописывать. Типа этих:

Код: [Выделить]

String ImageCalibrationModule::OriginalFileName() const
{
#ifdef __PCL_LINUX
   return "ImageCalibration-pxm.so";
#endif
#ifdef __PCL_FREEBSD
   return "ImageCalibration-pxm.so";
#endif
#ifdef __PCL_MACOSX
   return "ImageCalibration-pxm.dylib";
#endif
#ifdef __PCL_WINDOWS
   return "ImageCalibration-pxm.dll";
#endif
}
Таких мест в коде несколько. Обо всех таких местах и правилах их написания я не знаю, поэтому увы. И линукха под рукой нет чтоб отладить.

Антон, скажи, под виртуалкой ( например VMWare) для линуха компилировать в принципе реально? Если да, то попробую. Ткни где скачать линуксовый минимальный дистрибут, чтоб сразу с компилятором и чтоб без интернета всё поставилось.

[Anton]

под виртуалкой ( например VMWare) для линуха компилировать в принципе реально?

Да. И компилить и работать. Я собственно, под VmWare и работаю.
Не знаю как на счет минимального дистрибутива, я использую Ubuntu Desktop, например http://mirror.yandex.ru/ubuntu-releases/10.04.4/ubuntu-10.04.4-desktop-amd64.iso ~700 мегов, попробуй.
Вот только есть ли там g++ из коробки не знаю, сейчас проверю.

[Anton]

Проверил.
Компилятора из коробки нет.
Cтавится так (потребуется интернет):

Код: [Выделить]

aptitude update
aptitude install g++
На все вопросы ответить Yes (просто нажать Enter)

Для облегчения страданий скрипт для установки переменных окружения:

Код: [Выделить]

PCLDIR=$HOME/PCL
PCLBINDIR32=$PCLDIR/bin
PCLBINDIR64=$PCLDIR/bin
PCLBINDIR=$PCLBINDIR64
PCLLIBDIR32=$PCLDIR/lib/linux/x86
PCLLIBDIR64=$PCLDIR/lib/linux/x86_64
PCLLIBDIR=$PCLLIBDIR64
PCLINCDIR=$PCLDIR/include
PCLSRCDIR=$PCLDIR/src
export PCLDIR PCLBINDIR32 PCLBINDIR64 PCLBINDIR PCLLIBDIR32 PCLLIBDIR64 PCLLIBDIR PCLINCDIR PCLSRCDIR

Нужно скопировать его тупо в файл, например vars, и перед запуском пикса или make жмакнуть

Код: [Выделить]

. ./vars

[Anton]

А, вообще, хочешь я сделаю настроенную и готовую к компиляции исходников виртуалку?
Придется скачать 3-5 гигабайтовый файл, но сразу все запустишь и покомпилишь.

[Anton]

У тебя что за вмварь?
Полноценная Workstation или Player?

[Юрий Торопин]

"хотелки" принимаешь?
Нельзя ли забацать модуль для автовыравнивания серии кадров по ядру кометы?

Начал бацать.
PS Модуль пока не готов, это только заготовка.

Николай, супер!
Скинь тестовую версию "помацать", как будет готова