Python для любителей астрономии

[krussh]

в общем есть такая программа - astrometry.net. написана для линукса, запускается как solve-field ........ name.fits. один хитрый финн (кажется) засунул ее в cygwin и собрал это все в .exe. Обозвал astrotortilla.exe и свободно распространяет. после установки мы имеем эмулятор линукса (cygwin), программу для астрометрии в нем (astrometry) и win приложение (tortilla) которое все это дело запускает с помощью типичного для win интерфейса. но беда в том, что там скрыты некоторые параметры и нет пакетной обработки файлов.
собственно для этого костыль и написан.

[Андрей Курилов]

в общем есть такая программа - astrometry.net. написана для линукса, запускается как solve-field

Ясно. Интересная программка. Только вот её вполне можно собрать под винду.
http://ru.wikipedia.org/wiki/MinGW

[krussh]

продолжаем складывать кирпичи.

вроде как сделали калибровки и астрометрическую шапку. пора переходить к фотометрии и астрометрии всех объектов на кадре.
в папочке http://optlab.astro.usu.ru/Python/photometry/
лежит скрипт который ищет звезды на кадре. для тестов можно взять кадры из папки для астрометрии. добавлен кадр полученный сложением. для него немного другие методы оценки шума.

имя файла для обработки прописывается в 105-й строке, в 107-й параметры функции - массив с данными (изображение), уровень насыщения ПЗС, пороговый сигнал/шум, грубая оценка FWHM в пикселях и показать/не показать картинку.

функция создает массив с приблизительными (+-0.5пикс) координатами X-Y найденных объектов. для уточнения надо будет посчитать центроиды изображений (это чуть позже выложу).
можно использовать для автоматизации измерения координат или/и блеска всех объектов на кадре

[krussh]

новые функции по адресу http://optlab.astro.usu.ru/Python/photometry/

search_stars(Data, Saturation, SN, FWHM_e)
ищем звезды на кадре.
Параметры: массив с изображением, порог линейности ПЗС, порог сигнал/шум, грубая оценка FWHM.
Выход: массив с грубыми координаты XY, значение максимального пикселя в апертуре.

get_PSF(Data, PSF_stars, FWHM_e)
ищем PSF для кадра. Используется эллиптическая функция Моффата.
Параметры: массив с изображением, массив с координатами XY, грубая оценка FWHM.
Выход: параметры модели PSF.

PSF2FWHM(PSF_model)
Вычисление FWHM по двум осям (XY), угла и фона неба по модели PSF.

PSF_phot(Data, all_stars, PSF_model, FWHM, Gain, Rnoise)
Фотометрия звезд из списка.
Параметры: массив с изображением, массив с координатами XY, модель PSF, FWHM, gain для ПЗС-камеры, шум считывания ПЗС-камеры.
Выход:
список из массивов содержащих: точные XY координаты, инструментальную звездную величину, ошибку зв. величины, поток в ADU, отношение сигнал/шум.

Чтобы все это запустить для одного кадра можно использовать функцию auto_phot.py
Там же лежат кадры для тестов.

[krussh]

добавил функции для чистки от космиков и горячих пикселей. алгоритм LACosmic.
http://optlab.astro.usu.ru/Python/fits_utils/Pix_and_cosmic_cleaner/

функция list_cosmo_cleaner(dir_name, list_name, out_list_name) позволяет запустить очистку для списка файлов.
там же пример кадра с all-sky камеры с горячими пикселями и почищенный.

[SERIV]

Любопытно весьма. Не планируете ли  сделать автоматическую фотометрию всех переменных звезд на данном снимке?

[krussh]

так уже сделано. все кирпичи лежат. надо просто сложить из них пирамидку)
как будет свободное время - допишу в один скрипт все.

[xd]

Главное чтобы пирамида сложилась, а не куча

[krussh]

Главное чтобы пирамида сложилась, а не куча

если и куча, то лишь бы не пахла))

вообще то уже все сделано и прошло тесты. остается причесать.

[krussh]

скрипты для ленивого фотометриста
http://optlab.astro.usu.ru/Python/photometry/

star_extractor.py / search_stars(Data, Saturation, SN, FWHM_e)
ищем звезды на кадре.
Параметры: массив с изображением, порог линейности ПЗС, порог сигнал/шум, грубая оценка FWHM.
Выход: массив с грубыми координаты XY, значение максимального пикселя в апертуре.

get_PSF(Data, PSF_stars, FWHM_e)
ищем PSF-модель для кадра. Используется эллиптическая функция Моффата.
Параметры: массив с изображением, массив с координатами XY, грубая оценка FWHM.
Выход: параметры модели PSF.

PSF2FWHM(PSF_model)
Вычисление FWHM по двум осям (XY), угла и фона неба по модели PSF.

PSF_phot(Data, all_stars, PSF_model, FWHM, Gain, Rnoise)
Фотометрия звезд из списка.
Параметры: массив с изображением, массив с координатами XY, модель PSF, FWHM, gain для ПЗС-камеры, шум считывания ПЗС-камеры.
Выход:
список из массивов содержащих: точные XY координаты, инструментальную звездную величину, ошибку зв. величины, поток в ADU, отношение сигнал/шум.
добавляет данные о фоне неба и FWHM в шапку файла.

simple_WCS
простые преобразования из экваториальных координат в декартовы и обратно

auto_phot
объединяет все модули в общий скрипт.
выполняет фотометрию для одного изображения либо с использованием списка экваториальных координат звезд, либо просто ищет все звезды на кадре.

phot_gui - запускается именно этот файл!
графический интерфейс для auto_phot.
позволяет выбрать один файл или директорию для обработки и список звезд для фотометрии.
необходимо задать параметры:
границу линейного диапазона ПЗС
сигнал/шум для поиска звезд
примерное значение FWHM в пикселях
Gain ПЗС-камеры
Шум считывания ПЗС-камеры
Процент звезд на кадре для построения PSF-модели (выбираются самые яркие звезды без перекопа)

если задан список звезд, то формируются файлы содержащие:
время начала экспозиции (time.txt)
инструментальные звездные величины (magnitudes.txt)
ошибки (errors.txt)
поток в ADU (flux.txt)
сигнал/шум (SN.txt)

если нет списка звезд, то для каждого файла выполняетя фотомтерия всех звезд с блеском выше порога С/Ш и формируется один файл с экваториальными и декартовыми координатами, блеском и т.д. Файл совместим с Aladin.

[ekvi]

В начале 1990х, когда все операционные системы были беременны графическими интерфейсами, и я увлекался ОС/2 и линюксом. Тогда же познакомился и с питоном.
С тех пор минуло четверть века. Венда (по слову Андрея Курилова) стала стандартом. А питон продолжает упорствовать, катаясь на шее ДОСовского командного интерпретатора. Что это: лень, самодовольство или убогость? Только сейчас в интерфейсе питона появились зачатки интегрированной среды разработчика, которая в совершенстве была обустроена в Дельфи ещё в середине 1990х.
Слов нет: фанаты линюкса вспахали глубоко и обширно, но всё это - хаотично и любительски. В винде же графика - в фундаменте ОС, а от добра добра не ищут.
Сегодня я нехотя вернулся к питону: а вдруг? Нет: всю графику придётся решать за лодыря.
Много математического жемчуга, но начинаешь прокапывать математику - в хитросплетённой  паутине сам бес ногу сломит.
Вот пусть он сам и путается в ней!

[xd]

PyGTK чем не угодил?

PS: Не путайте язык программирования и графические библиотеки.

[ekvi]

PyGTK чем не угодил?

И что, Вы предлагаете взять эту "рассыпуху" glade, picairo, pygobject и pygtk, установить её под Винду и, засучив рукава, начать бороться с ветряными мельницами?! Ничуть не сомневаюсь в их "оконечной" работоспособности, но они идут путями, пройденными Дельфи ещё в середине 1990х. После 50 лет программирования на нормальных, "человеческих" языках? Нет уж, увольте!
Лучше скачайте одним файлом Delphi7Lite (http://yadi.sk/d/N4u6GIV23pgYs), установите и наслаждайтесь зрелым продуктом, готовым к употреблению под Виндоуз. (В скобках замечу: обратите внимание на говорящие названия сопоставляемых программ).

Единственное, на что я рассчитывал в Питоне, так это на исходники - мат. и др. модули. Но они так написаны, что ... - см. предыд. пост.

[Самодуров Владимир]

Дилетантский (пока, только приступаю к Питону) вопрос - а есть ли какие-нибудь стандартные сайты с библиотеками всяко-разных (в первую очередь, конечно, астрономических) функций на Питоне? Ну, типа как  у Perl существует CPAN , там только поройся - почти все найдешь нужное...

[xd]

Как правило графические средства гвоздями прибиты к операционной системе. Любая кроссплатформенная среда представляет собой обёртку поверх системных вызовов к графическим функциям операционной системы. Пример - GTK. У него есть биндинги на многие языки программирования, в том числе Python (зовётся PyGTK).
Но тут есть всего три варианта:
1. используется общее подмножество средств графики, и оно будет урезанным для любой платформы, поскольку не включает функционал, отсутствующий на других платформах
2. полностью свой рендеринг всех элементов управления, что будет медленно на любой платформе и скорее всего будет выглядеть неродным для любой платформы
3. абстрагируемся от операционки, делая часть функций прямой проекцией на средства операционной системы, а недостающий функционал делаем собственным рендерингом. Такое решение сочетает в себе достоинства и недостатки первых двух пунктов, плюс несогласованность внешнего вида интерфейса.

Поэтому если хотите использовать кроссплатформенный язык и кроссплатформенную графическую библиотеку - см. выше. GTK, насколько мне известно, использует третий путь. Python изначально не затачивался под винду. К слову, можно из него импортировать функции WinAPI и писать "родные" Windows-приложения

Ещё одно извращение - берёте .NET Framework версии не ниже 4.0, берёте любой основной язык (C#, VB.NET или всё что придёт в голову), а Python заменяйте на IronPython - это реализация Python для .NET.

[xd]

Dephi7 - это, простите, немножко анахронизм, особенно для вычислительных задач. Отсуствие поддержки перегрузки арифметических операторов чего стоит.

[xd]

Дилетантский (пока, только приступаю к Питону) вопрос - а есть ли какие-нибудь стандартные сайты с библиотеками всяко-разных (в первую очередь, конечно, астрономических) функций на Питоне? Ну, типа как  у Perl существует CPAN , там только поройся - почти все найдешь нужное...

https://pypi.python.org/pypi
https://pypi.python.org/pypi/pip

[ekvi]

Как правило графические средства гвоздями прибиты к операционной системе.

Это понятно. Но умиляет главное: у Питона нет даже собственного текстового редактора: иди, мол, к дяде, напиши там на бумажке черновик   и т.д., в том же духе.

Dephi7 - это, простите, немножко анахронизм, особенно для вычислительных задач. Отсуствие поддержки перегрузки арифметических операторов чего стоит.

Это - сопоставление идеологий Паскаля и Си. Как пишет Финогенов, в Си сделано всё, чтобы алгоритм сделать неочевидным. А всякая перегрузка - ещё один способ запутаться. Всё должно быть прозрачным.
Но тут - дело вкусов и склада характеров.

[xd]

Как правило графические средства гвоздями прибиты к операционной системе.

Это понятно. Но умиляет главное: у Питона нет даже собственного текстового редактора: иди, мол, к дяде, напиши там на бумажке черновик   и т.д., в том же духе.

Под Питон существует несколько (десятков?) IDE c подсветкой синтаксиса, автодополнением и отладкой - выбирай любой. Потому что не может быть одной и той же IDE на разных плаформах.

Это - сопоставление идеологий Паскаля и Си.

Ну зачем же сразу Си.
Возьмите любую вычислительную задачу, где есть манипуляции числами, векторами, матрицами и т.п. Например то же преобразование Фурье, и напишите реализацию на разных языках. Реализация на паскалеподобных языках будет самой многословной. Это не плохо и не хорошо - просто факт. Перегрузка операторов делает семантику вычислений более естественной.

[xd]

(PS: я на Питоне не пишу и сам его немного недолюбливаю по разным причинам, но необоснованные наезды выглядят немного странными)