Сайт FitsBank (банк фитов и их обработок)

[mo]

Давно витала в воздухе идея кооперации усилий нескольких астрофотографов для получения лучших результатов, нежели при одиночном подходе.

Иногда это получалось, чаще - нет. А в то же время накоплено ой как немало сумм того же М<любого>, да и NGC<многие> тоже снимал почти каждый .

Это есть идея номер 1: создать место, где я могу разместить свой суммарный fit, Вася Пупкин может залить свой, мы можем скачивать и обрабатывать суммы или просто чужие фиты.

Идея номер 2: создать место, где можно будет размещать жпеги вариантов обработок этих самых фитов. Причём много вариантов, именованных по автору и дате создания.

Итак, велкам . Думаю, идея постепенно получит распространение и даст "выхлоп" в виде отличных обработок, сопоставимых с коллективной обработкой М51 у соседей.

http://astro.milantiev.com/fitsBank/
email для тестов (используется в качестве логина): ivan@ivanov.ru , пароль: ivan

Основные правила хранилища:

    * обязательная регистрация (пока не сделал страницу регистрации, только через меня. Сделаю на днях). Без регистрации доступен только просмотр списков и мелких (200х200 точек) превьюх жпегов;
    * заливаемый фит - это сумма калиброванных и регистрированных (выравненных) кадров до какой-либо обработки, не считая кропа и выравнивания фона, да косметики. Никаких уровней, кривых, деконволюций и других обработок!
    * фиты пакуются zip'ом и заливаются на сервер;
    * фиты должны быть 32 бит дробные. Можно цветные, можно чб, на выбор. Если проект предусматривает несколько файлов (к примеру: R, G и B), то заливаются в виде нескольких фит-файлов в одном зипе;
    * крайне желательно (в меру сил и возможностей), обрезать мусор, ровнять фон и всячески наводить порядок в заливаемом файле и снабжать комментариями, заполнять все понятные поля;

Информация о каждом залитом файле будет попадать к модератору (пока ко мне, а там посмотрим). Пока что публикация сразу после заливки, на совесть заливающего, если будут проблемы, переведу в премодерируемый режим.

Буду постепенно добавлять функции в интерфейс хранилища, но это мелочи, главное - идея .

Пока что недельку на тесты и доделки, потом базу почищу и можно будет заливать и работать с реальными файлами.

[mo]

Да, самое главное для подобного проекта - места будет достаточно, сервер стоит у меня на антресолях. Пока там ~50 гиг, добью, как закончатся.

[Opossum]

По информативности Хуббле Спаце Телесцопе завсегда круче будет, а авторское право чувство - слишком тонкая материя.
Смысл?

[mo]

По информативности Хуббле Спаце Телесцопе завсегда круче будет, а авторское право чувство - слишком тонкая материя.
Смысл?

А в чём был смысл сливать М51 в кучу? .
Примерно в этом же, я полагаю: https://astronomy.ru/forum/index.php/topic,74202.msg1272779.html#msg1272779

Добавить всяких замороченных лицензий и ограничений на права скачивания в систему не сложно, сделаю по мере возможностей (и по мере потребностей).

[Юрий Торопин]

По информативности Хуббле Спаце Телесцопе завсегда круче будет, а авторское право чувство - слишком тонкая материя.
Смысл?

А в чём был смысл сливать М51 в кучу? .
Примерно в этом же, я полагаю: https://astronomy.ru/forum/index.php/topic,74202.msg1272779.html#msg1272779

Добавить всяких замороченных лицензий и ограничений на права скачивания в систему не сложно, сделаю по мере возможностей (и по мере потребностей).

Олег, дай мне, плиз, логин (в личку) на новое фитсохранилище, залью туда мегасумму по М51. Или давай как-то по-другому загрузим суммы, а то пылятся на антресолях, пропадают...

[mo]

По информативности Хуббле Спаце Телесцопе завсегда круче будет, а авторское право чувство - слишком тонкая материя.
Смысл?

А в чём был смысл сливать М51 в кучу? .
Примерно в этом же, я полагаю: https://astronomy.ru/forum/index.php/topic,74202.msg1272779.html#msg1272779

Добавить всяких замороченных лицензий и ограничений на права скачивания в систему не сложно, сделаю по мере возможностей (и по мере потребностей).

Олег, дай мне, плиз, логин (в личку) на новое фитсохранилище, залью туда мегасумму по М51. Или давай как-то по-другому загрузим суммы, а то пылятся на антресолях, пропадают...

Логин дал, фиты залили.

[Grey_]

Попробовал скачать M1. Пришел файл 21.zip размером 132 байта. На самом деле там не zip, а сообщение об ошибке:

Fatal error: Out of memory (allocated 524288) (tried to allocate 142716929 bytes) in /var/www/html/fitsBank/models.inc on line 170

[artym]

Хорошая идея!Бывает после месяцев безпогодья получаешь кадры,а что с ними делать вспоминается с трудом А так будет возможность "держать себя в форме" и учиться чему-то новому в постобработке.

[mo]

Попробовал скачать M1. Пришел файл 21.zip размером 132 байта. На самом деле там не zip, а сообщение об ошибке:

Fatal error: Out of memory (allocated 524288) (tried to allocate 142716929 bytes) in /var/www/html/fitsBank/models.inc on line 170

Спасибо за feedback!
Переделаю скачивание на создание временной ссылки без участие php.

ЗЫ: Сам скачал, но если качать пару файлов сразу, вылетает, сервер хилый. Будет нормально на днях.

Хорошая идея!Бывает после месяцев безпогодья получаешь кадры,а что с ними делать вспоминается с трудом А так будет возможность "держать себя в форме" и учиться чему-то новому в постобработке.

Это раз.

А два - то, что можно создавать хоть каждый день (при приличном числе участников) обработки коллективно накопленного материала, как делали это по М51.
Вот Слава выложил М106, я нашёл у себя в raw-архивах съёмку этой же галактики. Калибрую, ровняю, складываю. Скоро выложу свой фит в хранилище и сложу с материалом Вячеслава.

[Malice]

Смысл?

Вот ведь, всегда найдутся противники благому делу. Почему нет то? Тогда человеку и из пещеры не стоило бы вообще выходить, а что, еда заготовлена, тепло и сухо. Смысл?
Извините, прорвало...

На днях то же присоединюсь к вам, только исходники в дробные переделаю.

[mo]

Попробовал скачать M1. Пришел файл 21.zip размером 132 байта. На самом деле там не zip, а сообщение об ошибке:

Fatal error: Out of memory (allocated 524288) (tried to allocate 142716929 bytes) in /var/www/html/fitsBank/models.inc on line 170

Переделал на случайные симлинки. Имена зипов будут достаточно странно и случайно именоваться, но сути не меняет. Зато появилась докачка и нет той нагрузки на сервер, не будет больше подобной ошибки о нехватки памяти.

Так же сделал страничку подробной информации о фите, где показывается поле "Описание" и остальные поля.

Спс за тестирование.

Смысл?

Вот ведь, всегда найдутся противники благому делу. Почему нет то? Тогда человеку и из пещеры не стоило бы вообще выходить, а что, еда заготовлена, тепло и сухо. Смысл?
Извините, прорвало...

На днях то же присоединюсь к вам, только исходники в дробные переделаю.

Оппозиция - это всегда хорошо, даёт взглянуть на рассматриваемый предмет с другой стороны .
Конечно, присоединяйся!

[mo]

Да... забыл уточнить. Теперь ссылка на скачивание доступна 1 день.

[Grey_]

Загрузил фит и jpeg для M1. Все работает, но непонятно как @todo использовать.

[mo]

Загрузил фит и jpeg для M1. Все работает, но непонятно как @todo использовать.

@todo: это мои пометки, что б я ещё доделал в системе, как будет время.
М1 не очень удачные исходники со слов автора. Но всё же, я сейчас перескладываю свои М106 и М1 для сложения с уже загруженными исходниками и получения лучшего результата.

[Grey_]

Олег, а хорошо бы еще сделать раздел с исходниками в raw, как предлагал  hard Noi 2 в https://astronomy.ru/forum/index.php/topic,81093.0.html
Готов для сего дела подарить пару двухтерабайтников.

[mo]

Олег, а хорошо бы еще сделать раздел с исходниками в raw, как предлагал  hard Noi 2 в https://astronomy.ru/forum/index.php/topic,81093.0.html
Готов для сего дела подарить пару двухтерабайтников.

Ага... Собственно эта тема и явилось одним из толчков к созданию фитсохранилища.
Возникает резонный вопрос, нужны ли именно сырые некалиброванные равы? Если нужны, то в каком количестве? По десятку с каждого инструмента + приёмника для оценки "как рисует" или полноценные сессии с калибровкой на длинные гиги?

От двухтерового вклада в общее дело не откажусь .

[Grey_]

Олег, а хорошо бы еще сделать раздел с исходниками в raw, как предлагал  hard Noi 2 в https://astronomy.ru/forum/index.php/topic,81093.0.html
Готов для сего дела подарить пару двухтерабайтников.

Ага... Собственно эта тема и явилось одним из толчков к созданию фитсохранилища.
Возникает резонный вопрос, нужны ли именно сырые некалиброванные равы? Если нужны, то в каком количестве? По десятку с каждого инструмента + приёмника для оценки "как рисует" или полноценные сессии с калибровкой на длинные гиги?

От двухтерового вклада в общее дело не откажусь .

Нужны, но небольшими сериями с дарками, оффсетами и флетами. Для сравнения скопов/камер/неба, для сравнения разных программ обработки и новичкам для тренировки. То что выложил hard Noi 2 хороший тому пример.
Приезжай за терабайтами завтра иль послезавтра. Звони. Телефон в ЛС.

[mo]

Переставил оборудование. Теперь нормальный проц, куча памяти и, главное, 2Тб места.
Спасибо коллеге-ЛАстроному, Grey_ за пару двухтеробайтных винтов и БП новому серверу!

Добабатываю интерфейс. Из последних доделок:

• отдельная страница фитов с подробной по ним информацией
• отдельная страница жпегов с подробной по ним информацией, в том числе по списку из каких фитов собран жпег
• визуальные улучшения

Сегодня продолжу.

Ещё одно важное изменение - в хранилище планируется теперь выкладывать не только готовые фиты, но и RAW+калибровку, чтобы начинающие могли тренироваться калибровать, складывать, а не только обрабатывать.
Плюс это даст возможность посмотреть "как рисует" тот или иной инструмент и та, или иная камера.

Пожелания и фидбеки приветствуются!

[mo]

Добавил превьюхи почти ко всем загруженным фитам, чтобы видеть что качаешь.
Превью делается вручную, загружая фит в fitStacker, сохраняя в PNG с гаммой 40..55, уменьшая до 400 точек и переводя в жпег в фотошопе.
БЕЗ обработки.

К примеру, страница сегодня добавленного мною фита трио галактик , включая М105:
---------------------------------------------------------------------------------
http://astro.milantiev.com/fitsBank/?action=object&fit=39

Трио галактик, включая M105 (объект: M105 NGC3384 NGC3389)

Скачать
Файл добавлен: 2011-01-28 09:50:56. Добавил: Милантьев Олег
Файл модифицирован: 2011-01-28 11:30:01
Размер файла: 10.7 MB
Время накопления: 100 мин.
Угловой размер пикселя: 0.8
Снято на: Sky-Watcher 250/1200 + Televue Paracorr / Canon EOS 450Da
Место съёмки: Удалённая обсерватория, 100 км от МКАД на юго-запад


Съёмка сквозь набегающие порой облака (запись погодника внутри.
Калибровка pixInsight, сложение fitStacker

[mo]

Сделал возможность заливать файлы по FTP, потом они попадают в интерфейс следующим образом:

1. заливается файл по FTP (с докачкой). В перспективе авторизация по тому же email / пароль, пока "заходи кто хочешь" . Заливаем готовый зип в папку upload. Работает докачка;
2. добавляем фит через интерфейс, как раньше, но вместо кнопки "обзор" и выбора файла с локального диска, файл выбирается из выпадающего списка рядом с кнопкой "обзор" под надписью "...или выберите файл, загруженный по FTP". Остальное без изменений.

Сделал эту фичу, так как заливал большие фиты M106: http://www.starlab.ru/showpost.php?p=385858&postcount=2606 . По HTTP у меня установлено ограничение в 250 метров на файл.