Вспышка звезды в созвездии Лисички!

[Karagy]

Зачем хранить именно петабайты снимков?!

Наверное не умеют сжимать. На снимках есть полезные сигналы и неполезные сигналы. Для сжатия надо отфильтровать неполезные сигналы и оставить только разницу между полезными сигналами.
Выражаясь бытовым языком - почистить шумы, оставить опорный стартовый снимок и далее хранить только то что меняет яркость, спектр и/или положение.

[KMM]

Зачем хранить именно петабайты снимков?!

Наверное не умеют сжимать. На снимках есть полезные сигналы и неполезные сигналы. Для сжатия надо отфильтровать неполезные сигналы и оставить только разницу между полезными сигналами.
Выражаясь бытовым языком - почистить шумы, оставить опорный стартовый снимок и далее хранить только то что меняет яркость, спектр и/или положение.

Ну, как выше была цитата, они сжимают, но не так, как вы говорите:

Images are stored in an FPACK-compressed format

Ну, просто gzip или нечто подобное я думал, что все используют по умолчанию, но не знал про этот вид архивации.

Профи обычно хранят и сами снимки проектов для повторной перекалибровки после выявления всякой новой систематики.

Это вы откуда взяли? Просто обычно я видел в статьях работы по учёту систематики не на снимках, а по уже измеренным блескам и цветах. Стандартная процедура, когда надо перевести из инструментальных в какие-то другие системы. Там нет необходимости в фотометрии по самим снимкам более одного раза за всю их историю.
Раньше была необходимость в хранении фотопластинок, потому что не было возможности их все массово промерить адекватно, и там в самом деле могла возникнуть необходимость снова перефотометрировать. Но не уже сразу из коробки с цифровыми снимками. Разве что кто-то придумает, как вытягивать нормальную фотометрию звёзд, которые попали в ореол от близкой яркой. А в остальных случаях проще и быстрее будет работать с уже полученными измерениями.

2.8.1. On-site Data Analysis Infrastructure
The Evryscope generates approximately 6500 55 MB science images each night. This data volume precludes transmitting the data for off-site processing with the current CTIO Internet link. All data is therefore stored and processed on-site. Images are stored in an FPACK-compressed format across multiple Synology DS-2415+ network storage appliances, each of which is equipped with twelve 8 or 12 TB drives. In addition to image storage, we have provisioned a separate data store exclusively for our photometry database, consisting of 12 helium-filled 8 TB drives directly attached via a SAS backplane to our database server.

А, ну, понятно, они решили не заморачиваться, а быть классическими "плюшкиными" в мире данных. Я был лучшего о них мнения. ))
Да уж... Для небольшого POC (proof-of-concept) ещё более-менее нормально, но не для функционирующего на постоянной основе проекта. Наверное, они не в курсе, сколько может стоить хранение и поддержание в рабочем состоянии этих их хранилищ в NAS, ну, или хранение в облаке. Вот накупили они дисков, но гарантия на диски обычно не больше 5 лет, потому, чтоб не потерять данные, принято менять их как раз где-то на границе этого срока, чтоб потом не бегать с выходящими из строя в срочном порядке. Но они, наверное, не собираются менять диски на регулярной основе. Потому рано или поздно эти и без того никому не нужные снимки (в отличии от измерений с них!) так и пропадут... Разве что кто-то таки договорится о спонсорской поддержке (бесплатном размещении архива) с каким-либо облачным провайдером.

В целом картина вырисовывается такая, что они больше сфокусированы на самом процессе наблюдений. Потому ожидать от них, чтоб кто-то сделал у них портал с доступом хоть к чему-либо (хотя бы к их фотометрии) не стоит, как из-за отсутствия рук, так и денег, а главное, наверное, представлении о том, что это вот прям необходимо сделать. Плюшкины, одним словом. )) И, выходит, совсем не конкуренты другим поисковым программам.

[Арон]

Это вы откуда взяли?

Мегапроекты как Панстраз и ZTF выкладывают в сеть даже сами снимки в петабайты общим объемом, а не только фотометрию. Большие телескопы, и финансирование там наверное побольше.
https://archive.stsci.edu/panstarrs/
https://www.researchgate.net/publication/332514600_Processing_Images_from_the_Zwicky_Transient_Facility

В целом картина вырисовывается такая, что они больше сфокусированы на самом процессе наблюдений. Потому ожидать от них, чтоб кто-то сделал у них портал с доступом хоть к чему-либо (хотя бы к их фотометрии) не стоит, как из-за отсутствия рук, так и денег, а главное, наверное, представлении о том, что это вот прям необходимо сделать. Плюшкины, одним словом. )) И, выходит, совсем не конкуренты другим поисковым программам.

Имхо, просто не хотят. Какие то свои планы на данные. Выложить на серверах NASA и чего то подобного петабайт снимков не проблема, Панстарз и ZTF тому примеры.

[KMM]

Это вы откуда взяли?

Мегапроекты как Панстраз и ZTF выкладывают в сеть даже сами снимки в петабайты общим объемом, а не только фотометрию. Большие телескопы, и финансирование там наверное побольше.

Мой вопрос был не про выкладывание, а про то, что вы назвали причиной хранение снимков - хранение для перекалибровки после выяснения наличия какой-то систематики. Вот именно в истинности этого вашего утверждения я и засомневался, указав на то, что такие вещи делают не по сырым снимкам, а по уже готовым каталогам.

[Арон]

Мой вопрос был не про выкладывание, а про то, что вы назвали причиной хранение снимков - хранение для перекалибровки после выяснения наличия какой-то систематики. Вот именно в истинности этого вашего утверждения я и засомневался, указав на то, что такие вещи делают не по сырым снимкам, а по уже готовым каталогам.

С чего сомнения? На любых снимках всегда полно брака - космики и тому подобное. Идеального ПО для компенсации всего этого не существует, профи вынуждены регулярно улучшать ПО, преобразующее снимки в фотометрию. Хранение сырых снимков крупными проектами есть следствие такого процесса.