Веб-приложение для астрофото

[TownAstro]

Здравствуйте!
Заинтересовался вопросом почему нет веб-приложений для астрофото. Ответ оказался простым — веб-браузеры не могут записывать несжатые и сжатые без потерь качества снимки и видеоролики.

Однако многие астрономы используют для съемки планетных видеороликов обыкновенные фотокамеры. И если камера обеспечивает достаточно большой bitrate, то получаются весьма приличные результаты.

Так что я решил попробовать, и набросал довольно простое веб-приложение.

На удачу в прошлые выходные в наших краях дали хорошую погоду и мне удалось протестировать программку по Луне. При съемке через SharpCap и мое веб-приложение разницы в результатах практически не видно.
Но у меня очень посредственная, купленная только для software/hardware экспериментов камера SV105. И разница в результатах может быть незаметна именно из-за этого.
Поэтому решил опубликовать это приложение в очень сыром виде. Интерфейс не просто спартанский, а вообще технический. Но мне нужна Ваша помощь в тестировании.
Было бы замечательно, если кто-нибудь сможет протестировать приложение на приличных камерах и на планетах. Юпитер скоро убежит за Солнце. А до меня приличная камера доедет наверно не скоро.
Идеальным вариантом было бы сравнение с результатами из SharpCap или FireCapture - снять ролик например в SharpCap, а потом не выключая камеру (чтоб остались настройки) в веб-приложении.

Ссылка на приложение:
https://town-astro-capture.netlify.app

Должно работать в браузерах: Chrome, Edge, Opera на настольных операционных системах. В Firefox и мобильной версии Chrome работать не будет (там нет возможности поточной записи видео в файл).
Проверял в Chrome, Edge, Opera под Windows и в Chrome под Raspbian OS (Arm Linux) на Raspberry 4.

Note: поставляется AS-IS без всяких гарантий и обязательств.

[TownAstro]

Если ваша камера не подключена, не распознается или используется другими программами, то изображение на экране будет выглядеть как на первом из приложенных фото.

Если камера успешно открылась приложением, то в верхней части экрана должно появиться видео.

Камеры не подключаются на лету. Если вы подключили камеру к USB, надо перезагрузить приложение (кнопкой Reload или клавишей F5).

При подключении к камере приложение запускает ее в максимальном разрешении. Через настройки, при необходимости, можно поставить меньшее.

Запись идет с длительностью установленной таймером. Но ее в любой момент можно остановить кнопкой Stop.

[p.v.]

1.Для программ есть раздел Астрономия и компьютеры https://astronomy.ru/forum/index.php/board,9.0.html. Тут больше про фотографию. Многие этим пренебрегают и засоряют раздел обсуждениями особенностей использования конкретного софта. Энтропия всегда побеждает, но правила форума и порядок в доме соблюдать надо всем? Я не пользуюсь пиксом, ниной, асиэйром, фитстакером, дсс и пр. Я тоже написал свою программу, она лежит в своей ветке раздела Астрономия и компьютеры. И многие другие жители форума пишут свой софт. Предлагаю имеющиеся ветки с обсуждением работы софта убрать туда же, а новые в этом разделе больше не заводить. Оставим его для фото.
2.Веб приложения не используются для съемки потому, что обычно там где есть хорошее темное небо, в норме отсутствует хороший интернет и потому, что во время съемки используется канал usb3 и raw сигнал с камеры пишется непосредственно на диск, желательно SSD, чтобы успевать слить отснятое.
3. Любое сжатие делает материал непригодным для астрофото. Пишется только raw в виде fits или ser. Сжатые форматы годятся для бытовых целей и пр.
3. Если софт в браузере пишет непосредственно на диск, в чем я сомневаюсь, то в чем его преимущество по сравнению с exe? Сервис то полюбому не бесплатный. Хотя бы за хостинг автору платить придется. Или вы предлагаете его запускать локально в браузере?
4. Софт можно разместить в интернете, в облаке и предлагать его в виде SAAS. Но в этом случае трафик будет огромный. Даже на быстром интернете скачивание туда сюда потребует времени, не говоря уже том, что в процессе обработки софтина часто задействует диск и доступную память на 100%. В облаке на таком сервисе разоришься.
Смысл задумки от меня ускользает.

[TownAstro]

Локально устанавливать ничего не предлагается. Софт размещен в интернете и на него в первом сообщении есть ссылка.
Трафик хостинга - это мое личное дело как автора но в принципе он небольшой. Браузер скачивает приложение и больше взаимодействий с сервером нет.
Приложение действительно пишет видео стрим в локальный файл через File System Access API которое реализовано в Chrome и базирующихся на Chromium браузерах (Edge, Opera), в бета версии Safari (Technology Preview) да и Firefox наверно на подходе.

[TownAstro]

Обработка результатов:

Видео пишется в формате WebM (Матрешка) с кодеком V9.
Думаю, что есть довольно много вариантов перевести это во что-то более удобоваримое для PIPP и Autostakkert.
Я использую утилиту FFMpeg (https://ffmpeg.org/) и конвертирую видео в серию PNG файлов.

ffmpeg -i Moon.webm -vf fps=15 ./Moon/Frame%05d.png

Значение FPS лучше выбирать немного большим, чем камера реально выдает в используемом вами режиме.

Это конечно неудобно, но это скорее всего временная мера.
Разработчики браузеров активно развивают WebCodecs API и в Chrome с базовой функциональностью оно уже вышло в релиз.
Если приложение получит развитие, то постараюсь сделать сохранение в удобных форматах непосредственно.

[p.v.]

Я использую утилиту FFMpeg (https://ffmpeg.org/) и конвертирую видео в серию PNG файлов.

Вот тут есть кое-что полезное по вашему вопросу https://prozarium.ru/TextDetails.aspx?TextID=2339
От себя добавлю. Бросайте это дело, пока не угробили на него 10 лет в никуда. Тут это не оценят, а там вам дури не хватит пробиться. Разве только самого процесса для.

[Ihtamnet II]

3. Если софт в браузере пишет непосредственно на диск, в чем я сомневаюсь, то в чем его преимущество по сравнению с exe?

Вот этот простой и ясный вопрос возникает сразу при прочтении и так и остался без ответа.

[TownAstro]

Вот тут есть кое-что полезное по вашему вопросу https://prozarium.ru/TextDetails.aspx?TextID=2339
От себя добавлю. Бросайте это дело, пока не угробили на него 10 лет в никуда. Тут это не оценят, а там вам дури не хватит пробиться. Разве только самого процесса для.

Спасибо за интересную информацию по конверторам

А проект - хобби, т.е. действительно больше ради процесса. Если будет заметен какой-нибудь интерес коллег по хобби, то процесс наверно будет активнее
Наверно стоит еще добавить, что приложение будет ориентировано только на планетную фотографию. Т.е. нет требования удаленности от цивилизации и абсолютной необходимости lossless записи как для дипов. Да и оно будет оформлено как PWA, и единожды загрузившись в online, при отсутствии интернета будет загружаться из кэша.

[Дмитрий Маколкин]

Т.е. нет требования удаленности от цивилизации и абсолютной необходимости lossless записи как для дипов.

А вот насчет ненужности lossless для планетной съёмки - это не правильно. Я специально проверял, брал несжатое видео (по Луне, это удобно т.к. там есть детали во всём диапазоне контрастов) и проверял сохранность мелких малоконтрастных деталей. Даже самая малая компрессия которая не lossless влияет на сохранность мелких деталей, так что лучше не рисковать данными и всё писать без сжатия.

Проверял чтобы определиться, можно ли для архивного хранения уменьшить размер файлов исходников (многие терабайты их...).

[p.v.]

Запись в движке браузера не новинка. Это используется во всех веб версиях мессенджеров, как-то skype, zoom, t.me и пр. Вопрос в том, что в систему, на уровень драйверов им никто не даст залезть. С этим у http все очень строго и плохо. Если ошибаюсь, поправьте. Отсюда вырисовывается безнадежность затеи в применении к астрофото. Дмитрий правильно указал на недопустимость искажения raw потока с матрицы. Это приводит к полной потере детализации, как в дипскае, так и, особенно, в планетном фото. Даже перевод в rawвидео - смерть для планеты. Ну и междометия, типа тут это не нужно, там нужно, говорят о том, что коллега больше теоретик, нежели что-то реально пробовал снимать и обрабатывать. Это никак не умаляет почетного стремления сделать мир лучше, но .. В общем, мои рекомендации, раз уж зашла речь о хобби, это дело не бросать, но изучить возможности и потребности. В очередную приложуху для наблюдения за котиками, оставшимися без присмотра, app никогда не поздно перевести. Там клиентура побогаче и поширше будет. Но и ниша забита.

[TownAstro]

3. Если софт в браузере пишет непосредственно на диск, в чем я сомневаюсь, то в чем его преимущество по сравнению с exe?

Вот этот простой и ясный вопрос возникает сразу при прочтении и так и остался без ответа.

Нативные и веб-приложения это разные подходы со своими преимуществами и недостатками.
Веб-приложения не требуют установки и обновлений. Когда вы онлайн, у вас всегда новая версия. Это же иногда и недостаток - можно неожиданно наткнуться на серьезные непривычные изменения). Но за то они точно не установят какой-нибудь проверяльщик обновлений, съедающий ресурсы компьютера без вашего ведома.
Они выполняются в контексе безопасности браузера. Проблемы с уязвимостями решаются квалифицированными коммандами разработчиков браузеров. Т.е. риск получить какую-нибудь заразу меньше.
Многоплатформеннось. Привычная для пользователя работа одного приложения под разными операциоными системами обеспечивается браузерами. Но здесь есть конкурентные варианты.
и.т.д.
Кому что нравится.

Это вообще довольно холиварная тема в разработке программного обеспечения. И наверно не имеет смысла подробно обсуждать ее на астрономическом форуме. Но веб-подход вроде постепенно побеждает.

[p.v.]

веб-подход вроде постепенно побеждает

Сильно сомневаюсь. Веб не имеет доступа к ОС, а хромиум не ОС и вряд ли ей станет. Это надстройка, работающая по http. ОС для него закрыта. Это фундаментальные основы. Драйвера - это прерогатива ОС. У http к ним нет доступа. Зато, у exe нет никаких препятствий что-то делать в веб. Используете веб сервисы и вперед. Хотите бинарники гоняете, хотите стринги. Никаких ограничений. Поэтому, от нормально зарегистрированного в ОС приложения не уйти. А  будет оно пользоваться браузером или нет - дело пятое и никого не волнует. Попробуйте в браузере прочитать содержимое папки на диске. Вам скажут, что так делать нехорошо.

[TownAstro]

Сильно сомневаюсь. Веб не имеет доступа к ОС, а хромиум не ОС и вряд ли ей станет. Это надстройка, работающая по http. ОС для него закрыт. Это фундаментальные основы. Драйвера - это прерогатива ОС. У http к ним нет доступа. Зато, у exe нет никаких препятствий что-то делать в веб. Используете веб сервисы и вперед. Хотите бинарники гоняете, хотите стринги. Никаких ограничений. Поэтому, от нормально зарегистрированного в ОС приложения не уйти. А  будет оно пользоваться браузером или нет - дело пятое и никого не волнует. Попробуйте в браузере прочитать содержимое папки на диске. Вам скажут, что так делать нехорошо.

Браузер, это программа запускающая код загруженный по http. Она предоставляет этому коду доступ к ресурсам OC. Возможности этого доступа сейчас активно расширяются - видео, аудио, файловая система, usb, bluetooth... Да, эти возможности будут всегда отставать от возможностей родных для OS приложений. Но в определенный момент они становятся достаточными что бы решить определенную задачу веб-приложением.

Файлы и папки прекрасно открываются браузером, единственное требование, что бы они были выбраны явным действием пользователя.
Например, само это приложение на сайте Netlify публикуется перетаскиванием папки Build из Windows проводника в окно Netlify Deploment в браузере.

p.v. давайте не раздувать этот флейм. Это не тема этого форума и не тема этого топика.
Я просто попросил коллег помочь, у кого есть возможность, проверить веб-приложение с лучшими камерами и/или в лучших условиях наблюдений.

[TownAstro]

Т.е. нет требования удаленности от цивилизации и абсолютной необходимости lossless записи как для дипов.

А вот насчет ненужности lossless для планетной съёмки - это не правильно. Я специально проверял, брал несжатое видео (по Луне, это удобно т.к. там есть детали во всём диапазоне контрастов) и проверял сохранность мелких малоконтрастных деталей. Даже самая малая компрессия которая не lossless влияет на сохранность мелких деталей, так что лучше не рисковать данными и всё писать без сжатия.

Проверял чтобы определиться, можно ли для архивного хранения уменьшить размер файлов исходников (многие терабайты их...).

Дмитрий, я не в коем случае не говорю о ненужности lossless записи.
Я говорю о не абсолютной его необходимости.
Несжатое или lossles видео безусловно лучший вариант.
За потери в кадрах конечно придется чем-то заплатить или это вообще может стать фатальной проблемой.
Например, по опыту уважаемого StarHunter. При съемке на Canon 550D в lossy формате MOV для обеспечения сравнимого качества с астрокамерами нужно просто снять на какое-то количество кадров больше.
А при съемке сериями отдельных кадров в Jpeg вместо Raw, как я наблюдал, количество кадров не помогает. Артефакты Jpeg довольно четкими паттернами вылезают при деконволюции стека.
Вот эти вещи интересно знать и при случае использовать.
Сейчас мне интересно узнать особенности кодека V9, который используют браузеры, с этой стороны.

[Ihtamnet II]

Я говорю о не абсолютной его необходимости.

Так Вам недвусмысленно намекают, что Вы в этом заблуждаетесь. Астрофото - не та сфера, где это проходит.

При съемке на Canon 550D в lossy формате MOV для обеспечения сравнимого качества с астрокамерами нужно просто снять на какое-то количество кадров больше.

Что такое "сравнимого"? Сравнимого в чьем понимании? Подзорная труба из туристического магазина тоже вполне сравнима с АПО-рефрактором.

[TownAstro]

Ok, не "сравнимого" а "близкого"

[Mangust82]

А я что то вообще не могу въехать в смысл этого вебприложения. Объясните "на пальцах"

Как я понял, это типа на камеру, подключенную к компу, я снимаю, но обработка, сложение и прочее происходит не на моем компе, а в веб-приложении, и я получаю потом итоговое изображение?

А смысл? Если я с таким же успехом и без проблем, могу снимать и обрабатывать на своем компе, на котором установлены эти приложения.

[Ihtamnet II]

Ok, не "сравнимого" а "близкого"

Что совой об пень, что пнем об сову. Для кого-то визуальные картинки кажутся "близкими" по качеству, для кого-то понимающего - страшно далекими. При планетной съемке используется так называемый "лаки-имэджинг", т.е. съемка большого количества коротких кадров с последующим отбором из них небольшого количества "удачных" и их сложения. В результате такого процесса удается получать разрешение значительно выше, чем позволяет атмосфера при обычной съемке и даже выше стандартного оптического предела (но с этим можно спорить  ). Погоня идет за мельчайшими деталями изображения. Поэтому любое искажение исходников (сжатие и т.д.) просто лишает смысла весь процесс - среди сжатых кадров просто не будет достаточно "удачных". Конечно, если условия наблюдений не позволяют получить достаточно качественные кадры, то нет разницы будет итоговая мазня получена из сжатого или несжатого материала. Но в таких условиях просто нет смысла снимать, за исключением погони за какими-то редкими явлениями, не связанными с высоким разрешением.

[TownAstro]

Ihtamnet II, Я завел эту тему не для того что-бы мне объясняли про метод удачных экспозиций. Я про него знаю.
Также мне известно, что бОльшая часть участников этого форума считает, что сжатие с потерями абсолютно недопустимо. Но есть и противоположная точка зрения - "у нас сжатие с потерями, ок, надо наснимать больше кадров". И то, что она имеет право на жизнь подтверждается качественными снимками получаемыми с помощью Canon DSLR камер. Например, снимками Руслана Ильницкого (StarHanter).
Если интересно, в который раз, обсуждать эти вопросы заведите отдельный топик.

В этой теме я не задавал вопрос, не просил научить меня жить и.т.д.
Я опубликовал приложение, даже не столько приложение сколько экспериментальный стенд.
И попросил коллег принять участие в эксперименте. И все

[TownAstro]

А я что то вообще не могу въехать в смысл этого вебприложения. Объясните "на пальцах"

Как я понял, это типа на камеру, подключенную к компу, я снимаю, но обработка, сложение и прочее происходит не на моем компе, а в веб-приложении, и я получаю потом итоговое изображение?

А смысл? Если я с таким же успехом и без проблем, могу снимать и обрабатывать на своем компе, на котором установлены эти приложения.

Это веб-приложение не делает никакой обработки на сервере. Оно снимает видео на диск компьютера как и другие Astro-capture программы.
Я выше описывал разницу между веб и нативными приложениями.
Но если совсем кратко, разница в удобстве установки и уровне безопасности.

А так, это просто еще одно приложение (да пока еще только макет)). Если дело пойдет, будет простое, удобное приложение заточенное под планетную съемку.