Софт для сортировки FITS файлов

[StasV]

Кто знает, если в природе софт для сортировки FITS фалов на основе их заголовков?
Стоит задача для облегчения сортировки  исходников мозаик собрирать в одну папку все изображения, к примеру,  в красном фильтре или в H-a. Отсортировать все файлы снятые при одной температуре и т.д.

[mo]

Кто знает, если в природе софт для сортировки FITS фалов на основе их заголовков?
Стоит задача для облегчения сортировки  исходников мозаик собрирать в одну папку все изображения, к примеру,  в красном фильтре или в H-a. Отсортировать все файлы снятые при одной температуре и т.д.

Пока не приходит мысли, кроме как написать своё с использованием cfitsio

[Юрий Торопин]

CCDInspector может показывать некоторые параметры (экспозиция, фильтр), по ним можно сортироваться, и потом копировать выбранные файлы в выбранную папку.
Не идеальное решение, но хоть что-то.

[StasV]

CCDInspector может показывать некоторые параметры (экспозиция, фильтр), по ним можно сортироваться, и потом копировать выбранные файлы в выбранную папку.
Не идеальное решение, но хоть что-то.

С ручной сортировкой проблемы нет. CCDCommander позволяет забивать многие параметры прямо в название файла. Вопрос именно в автоматизации сортировки. Задаешь параметры и целевую папку и получаешь нужные фалы. Или даже получаешь несколько папок, каждая со своими данными.
Реальную проблему сортировка будет представлять при работе с LRGB мозаикой фреймов в так в 25. Это уже 100 типов фалов. На такую мозаику уйдет при нормальном проницании несколько мес. В этот период возможна чистка фильтров. И следовательно, разные флеты. Вот мы уже имеем 200 типов фалов.   И на каждый фрейм кадров так по 10. В результате 1000 фалов и 200типов....

[StasV]

Пока не приходит мысли, кроме как написать своё с использованием cfitsio

Было бы здорово!!!

[mo]

Пока не приходит мысли, кроме как написать своё с использованием cfitsio

Было бы здорово!!!

Оказывается, есть рабочий интерфейс у cfitsio под C#. Я просто под винду не очень пишу, так что только в C#.
Набросал простую прогу для чтения каталога файлов и fits заголовков из них.

Продумай, что тебе надо как сортировать (составь простое ТЗ, в общем), сделаю на след. неделе в будни.
http://astro.milantiev.com/fitsSorter/

Для работы проги нужен .NET, вероятно 4 и 2. Четвёртый для самой проги, второй для cfitsio обёртки.

[lazyBSD]

http://heasarc.gsfc.nasa.gov/docs/software/fitsio/cexamples.html

listhead - list header keywords

      listhead infile[ext]

      This program will list the header keywords in the specified HDU (Header Data Unit) of a file. If a HDU name or number is not appended to the input root file name, then the program will list the keywords in every HDU in the file.

      EXAMPLES;
      listhead file.fit        - list all the headers in the file
      listhead 'file.fit[0]'   - list the primary array header
      listhead 'file.fit[2]'   - list the header of 2nd extension
      listhead file.fit+2      - same as above
      listhead 'file.fit[GTI]' - list header of the 'GTI' extension

      This program is very short. It simply opens the input file and then reads and prints out every keyword in the current HDU in sequence. If a specific HDU was not specified as part of the input file name, it then trys to move to the next HDU in the file and list its keywords. This continues until it reaches the end of the file. (See a listing of listhead).

sh/grep/awk/sed...

Под винду: http://www.mingw.org/wiki/msys

[StasV]

Олег, лови ТТ!

курсивом, комментарии по каждому разделу

Забор данных.
Данные берутся из указанной пользователем папки включая все вложенные папки.

Программу предполагается запускать несколько раз при калибровки одного массива данных. после каждого запуска файлы будут сортироваться по папкам. При последующем запуске необходимо забирать файлы из нескольких папок.

Варианты сортировки

1. Сортировка по температуре и длительности экспозиции.
Программа ищет все возможные комбинации температуры и длительности экспозиции. Создает отдельную папку для каждой комбинации, автоматически присваивает ей имя и копирует/переносит в нее файлы.
Для определения температуры используется тег «CCD-TEMP». Пользователь определяет диапазон температуры. Файлы у которых данный тег отличается менее, чем на указанную величину считаются снятыми при одинаковой температуре и относятся в одну папку.
Для определения длительности экспозиции используется тег «EXPOSURE»

Данную сортировку предполагается использовать для калибровки Дарками.
Поскольку матрица может не выйти на температуру, необходимо использовать именно тег «CCD-TEMP», а не «SET-TEMP»
Вопрос Необходимости задавать допуск по «EXPOSURE» остается открытым


2.   Сортировка только по температуре.
Можно реализовать в рамках Варианта 1 путем включения/выключения галочки

Данную сортировку предполагается использовать для калибровки Биасами.


3.   Сортировка по фильтру.
Программа сортирует файлы по тегу «FILTER», создает для каждого фильтра отдельную папку, автоматически присваивает ей имя и копирует/переносит в нее файлы.

Данную сортировку предполагается использовать для калибровки Флетами


Дополнительно для каждого варианта сортировки по логическому «И» накладывается дополнительное условие совпадения начала имени фала с заданным пользователем префиксом

Пусть мы отсортировали файлы по температуре  и длительности. Откалибровали их дарками и присвоили откалиброванным файлам префикс «dark_». Откалиброванные фалы сохранили в той же папки, что и исходные
Для последующей калибровки флетами нам необходимо брать только фалы с префиксом «dark_»

[mo]

Принято.

Осознаю, сделаю что понял. Что не понял переспрошу.

[mo]

Забор данных.
Данные берутся из указанной пользователем папки включая все вложенные папки.

Сделал рекурсивное получение файлов, пока по маске *.fit

Программу предполагается запускать несколько раз при калибровки одного массива данных. после каждого запуска файлы будут сортироваться по папкам. При последующем запуске необходимо забирать файлы из нескольких папок.

То есть, копирование, не перенос. Оригинал удаляешь сам.

1. Сортировка по температуре и длительности экспозиции.
Программа ищет все возможные комбинации температуры и длительности экспозиции. Создает отдельную папку для каждой комбинации, автоматически присваивает ей имя и копирует/переносит в нее файлы.
Для определения температуры используется тег «CCD-TEMP». Пользователь определяет диапазон температуры. Файлы у которых данный тег отличается менее, чем на указанную величину считаются снятыми при одинаковой температуре и относятся в одну папку.
Для определения длительности экспозиции используется тег «EXPOSURE»

Температуру усреднять до какого значения? До целых градусов или грубей?
А то у меня (qhy8l), к примеру, значения китаец пишет очень уж точно.

Хм... что-то моя библиотека фитов под c# (CSharpFITS_v1.1) не хочет читать тег CCD-TEMP. Буду ставить другую, правда она 2003 года...

Данную сортировку предполагается использовать для калибровки Дарками.
Поскольку матрица может не выйти на температуру, необходимо использовать именно тег «CCD-TEMP», а не «SET-TEMP»
Вопрос Необходимости задавать допуск по «EXPOSURE» остается открытым

Допуск по температуре тоже должен быть.

2.   Сортировка только по температуре.
Можно реализовать в рамках Варианта 1 путем включения/выключения галочки

Данную сортировку предполагается использовать для калибровки Биасами.

Угу, проще всего так и реализовать.

Дополнительно для каждого варианта сортировки по логическому «И» накладывается дополнительное условие совпадения начала имени фала с заданным пользователем префиксом

Пусть мы отсортировали файлы по температуре  и длительности. Откалибровали их дарками и присвоили откалиброванным файлам префикс «dark_». Откалиброванные фалы сохранили в той же папки, что и исходные
Для последующей калибровки флетами нам необходимо брать только фалы с префиксом «dark_»

Что сделать - понял. Зачем это делать, не очень . Если есть возможность устанавливать нужные префиксы-суффиксы, то может проставить их и вовсе не оперировать фитс-заголовками? Хотя нет, не подходит... температуру в имя файла не внесёшь.

[mo]

http://fits.gsfc.nasa.gov/fits_libraries.html

[NOTE: this library is no longer supported]. FitsLib aims to provide an interface to the FITS file on the Dot Net Platform. It is built as an object oriented wrapper around the CFITSIO library's interface to the FITS files. Even though this library should be accessible in all the Dot Net Languages, the main focus is on making it available for C-Sharp. The documentation also emphasizes C-Sharp. This library is intended to assist astronomers in writing webservices utilizing the immense amount of data available in the FITS files. The library provides an interface to the FITS files using a set of active and passive objects. Active Objects access the file and passive objects contain the data accessed from the file. The FitsLib namespace provides all the neccessary interfaces to access the FITS files.

http://skyservice.pha.jhu.edu/develop/Fitslib/

Thursday, January 08, 2003 : version 1.3 released . Added internal support to read and write long string header keywords. Also includes memory leak fixes in FitsTable. Added CreateColumnCells method in FitsTable interface. This can be used in writing columns of data into newly created tables.

Но чёт запустить его на Win7x64 не получилось.

Так что разобрался с той библиотекой, получил температуру.
Во всех камерах делают вид, что температуру считывают с такой точностью? Вот из случайного кадра: -32.817504212267437

[NKV]

Могу PI скрипт накропать... надо?
Всего-то делов - из аниматора лишнее выкинуть

[mo]

Могу PI скрипт накропать... надо?
Всего-то делов - из аниматора лишнее выкинуть

Сдаётся мне, подход более верный и быстрый. А главное, можно поправить на лету под нужды.
Как думаешь, "заказчик"? .

[NKV]

Сдаётся мне, подход более верный и быстрый. А главное, можно поправить на лету под нужды.

Ну тогда начнём с заготовки: FITSKeyword sequential utility

[StasV]

Температуру усреднять до какого значения? До целых градусов или грубей?

Олег, я думаю, самый простой вариант, значение +-, которые задаются пользователем.

По поводу названий файлов, действительно с температурой не все так просто. В лучшем случае, можно забить Setpoint. Но фактическую температуру не удастся. Кроме того, заголовок -это по определению более правильно и универсальность достигается

Как думаешь, "заказчик"? .

Теперь как раз у меня, запара, и нет времени пока ковырять это. Пока не могу сказать, что лучше. На вскидку, в идеале в PI должна создаваться библиотека калибровочных фалов. Пользователь просто выбирает вообще все файлы с разными температурами, фильтрами, выдержками и т.д. одним махом, а PI подбирает в соответствии с заголовками нужные калибровочные файлы. Но пока это только смелое пожелание. Уверен, пока не вижу всех подводных камней

[NKV]

Забор данных.
Данные берутся из указанной пользователем папки включая все вложенные папки.

Готово.

Варианты сортировки

Готово полностью и даже больше: Возможны любые комбинации всего что есть в тегах. На выходе куча вложенных директорий с файлами.

[StasV]

Забор данных.
Данные берутся из указанной пользователем папки включая все вложенные папки.

Готово.

Варианты сортировки

Готово полностью и даже больше: Возможны любые комбинации всего что есть в тегах. На выходе куча вложенных директорий с файлами.

Отлично!
как доберусь до след. астрофото, протестирую

[NKV]

V0.04
Добавил:
кнопку Copy(раньше было только Move)
кнопку FITS to txt - это генератор таблицы по отмеченным FITS записям в выбранных файлах.

Брать там же.

[Юрий Торопин]

Кто знает, если в природе софт для сортировки FITS фалов на основе их заголовков?

Наткнулся вот на FITS4Win2.
Он, судя по описанию, встраивается в Windows Explorer и позволяет сортировать/фильтровать по любому "свойству" из заголовка.
Сам пока не пробовал.