Телескопы покупают здесь


A A A A Автор Тема: Круглосуточный радио-обзор половины неба на 110 МГц на ПРАО ФИАН  (Прочитано 5119 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн IRINA-22

  • ****
  • Сообщений: 476
  • Рейтинг: +26/-3
  • Мне нравится этот форум!
    • Show only replies by IRINA-22
Коль антенна из проволочных диполей, то и увести её  в верх просто.Откусить одинаковые кусочки. И не терять те 10%.
Как распознать в женщине ведьму?

Оффлайн Retired

  • *****
  • Сообщений: 5 658
  • Рейтинг: +62/-34
    • Show only replies by Retired
Коль антенна из проволочных диполей, то и увести её  в верх просто.Откусить одинаковые кусочки. И не терять те 10%.

Это в теории, а на практике по-любому придется их всех (после откусывания) на сумматорах пересогласовывать по волновому сопротивлению - та еще работенка...
Не говори что еще молодой и время твое впереди,
Между землею, огнем и водой место найдется – иди!

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Увы, да... Это все равно что наполовину новую антенну построить.


Так. Спасибо всем, кто тестирует нагрузку на базу ;) Одновременно я еще ее продолжаю наполнять (рассчитываю еще 12 параметров для каждой временной  точки). И тестирую. И дописываю кое-какие функции. Вот, сегодня с утра написал функцию , выводящую статистику. Что получилось утром и сейчас:



            date            | volume | points  | images | im_tot | im_60 | im_360 | im_1440 | count_im | count_us
----------------------------+--------+---------+--------+--------+-------+--------+---------+----------+----------
 2015-02-04 10:48:23.585651 | 250 GB | 8075397 | 557708 |   9.07 | 12.77 |  48.59 |   69.17 |   184414 |      679

 2015-02-04 14:31:26.520685 | 251 GB | 8075397 | 557708 |   9.08 | 12.77 |  48.59 |   69.17 |   186014 |      692





Здесь:
date      - время съема информации (время сервера = UT+4 H)
volume - текущий объем базы данных в Гбт
points  - число временнЫх точек в базе (по 5 секунд)
images - число рисунков
im_tot - процент просмотренных рисунков (любого типа данных)
im_60 - процент просмотренных часовых рисунков (в данном случае - для медианных данных в общей полосе)
im_360  - процент просмотренных рисунков размером 6 часов (в данном случае - для медианных данных в общей полосе)
im_1440 - процент просмотренных рисунков размером сутки
(в данном случае - для медианных данных в общей полосе)
count_im - число всех просмотров рисунков
count_us - число смотревших рисунки гостей (уникальные ip-адреса, т.е. реально людей было раза в 2-3 меньше).
« Последнее редактирование: 04 Фев 2015 [16:31:46] от Самодуров Владимир »
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Одновременно я еще ее продолжаю наполнять (рассчитываю еще 12 параметров для каждой временной  точки).
- закончено вчера. Запущено создание новых рисунков на основе дополнительно обсчитанных данных.
Цитировать

И тестирую. И дописываю кое-какие функции. Вот, сегодня с утра написал функцию , выводящую статистику. Что получилось утром и сейчас:



            date            | volume | points  | images | im_tot | im_60 | im_360 | im_1440 | count_im | count_us
----------------------------+--------+---------+--------+--------+-------+--------+---------+----------+----------
 2015-02-04 10:48:23.585651 | 250 GB | 8075397 | 557708 |   9.07 | 12.77 |  48.59 |   69.17 |   184414 |      679

 2015-02-04 14:31:26.520685 | 251 GB | 8075397 | 557708 |   9.08 | 12.77 |  48.59 |   69.17 |   186014 |      692

Последние статистические данные:

2015-02-06 01:24:33.648964 | 251 GB | 8075397 | 557708 |   9.38 | 12.95 |  48.89 |   69.58 |   204001 |      715
2015-02-07 12:56:48.797251 | 251 GB | 8075397 | 557708 |   9.72 | 13.25 |  49.45 |   70.63 |   214781 |      735
2015-02-08 16:32:30.794382 | 252 GB | 8075397 | 557708 |   9.96 | 13.49 |  49.53 |   71.04 |   225504 |      749
2015-02-08 21:46:37.004505 | 252 GB | 8075397 | 557744 |  10.01 | 13.54 |  49.53 |   71.04 |   228496 |      752
2015-02-09 10:54:37.018624 | 252 GB | 8075397 | 579992 |   9.71 | 13.62 |  49.63 |   71.04 |   232358 |      756
                                                - соответственно, постепенно растет число рисунков.
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Ser100

  • *****
  • Сообщений: 752
  • Рейтинг: +10/-0
    • Show only replies by Ser100
    • Моделирование систем
Уже создана экспериментальная база данных с 6.07.2012 вплоть по 20-е октября 2013 г. Для этого периода рассчитаны более 20 параметров для каждого луча на каждые 5 секунд (всего более 8 млн. временных точек), построено более полу-миллиона рисунков (как раз сейчас строятся новые).

К сожалению, мне кажется, Вы делаете принципиальную ошибку создавая базу готовых рисунков, а не базу подготовленных для этих рисунков данных.
Во-первых, с чисто научной точки зрения картинки хороши в демонстрационных целях, а для научных расчетов нужны именно цифры.
Во-вторых, информативность таких рисунков может быть сведена к нулю, если мы не можем однозначно идентифицировать на картинке тот или иной луч, т.е. однозначно определить склонение для этого луча. Например, вот здесь http://astro.prao.ru/cgi/out_img.cgi?id=8800&interval=1440 совершенно нельзя определить какому склонению соответствует тот или иной луч.
В-третьих, все эти картинки только занимают лишнее место на Ваших дисках, т.к. мгновенно могут быть нарисованы с использованием уже подготовленных данных.
В-четвертых, не надо заранее по одним и тем же подготовленным данным рисовать и амплитудный график, упоминавшийся выше, http://astro.prao.ru/cgi/out_img.cgi?id=8800&interval=1440 и его аналог в цветовой интерпретации  https://astronomy.ru/forum/index.php?action=dlattach;topic=126330.0;attach=685246 , т.к. и то и другое может быть нарисовано одинаково быстро.

Таким образом, если остановиться на том, что Вы по первичным данным наблюдений подготовили исходные данные для построения графиков, т.е. суммировали по различным алгоритмам (для разных получающихся параметров) амплитуды принимаемого с различными шагами интегрирования (или 0,1 с или 0,0125 с) сигнала на всех лучах на интервалах по 5 с, то теперь Вам надо только вывести на графики эти данные. Итого, Вам нужна программа для визуализации этих данных, где пользователь сам может выбрать с какого и по какое время он хочет вывести данные, для какого отдельного луча или выбранной группы лучей и в каком виде (амплитудном или цветовом).

P.S. Как я понял, Вы все обработанные 5-и секундные данные для Ваши рисунков храните как четырехбайтовые, т.е. вещественные с одинарной точностью, но их с целью экономии места на дисках для рисунков можно вполне заменить и однобайтовыми данными. Ведь при сжатии данных в 2-а раза информация практически не теряется, а при сжатии в 4-е раза теряется только 5% информации, что на рисунках будет практически не заметно.

С наилучшими пожеланиями Сергей Юдин.

Оффлайн 1212Lupus

  • *****
  • Сообщений: 3 078
  • Рейтинг: +194/-4
  • Мне стал не очень нравиться этот форум...
    • Show only replies by 1212Lupus
    • http://belastro.net
Вы делаете принципиальную ошибку создавая базу готовых рисунков, а не базу подготовленных для этих рисунков данных.
Соглашусь, я привык в подобных БД видеть визаулизатор "на лету", который подхватывает запрос пользователя. Проблема только в том, потянет ли сервер такую работу? Хотя сомневаюсь, что даже местное сообщество так проникнется темой, что невольно устроит DDoS-атаку серверу. :)
Радиоастрономы-любители -- объединяемся!


Если утро наступает в три -
Через два часа уже зажгут фонари.
Уже кончился день, а я только встал,
А я только что встал и уже устал.
(с) НОЛЬ

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Подробно отвечу позже - сейчас немного занят.
Вкратце - будет и то (рисунки), и то (визуализатор). Кстати, рисунки места по сравнению с данными занимают не так уж и много.


Рисунки по всем 27 сортам данных сформированы несколько дней назад. Кстати, почему визуализатор пока не очень полезен: рисунки делаются после предварительной калибровки данных перед отрисовкой, при этом сами данные внутри базы на самом деле пока не откалиброваны (все еще аккуратно тестирую, как именно правильнее всего откалибровать).


Последняя статистика:
И тестирую. И дописываю кое-какие функции. Вот, сегодня с утра написал функцию , выводящую статистику. Что получилось утром и сейчас:



            date            | volume | points  | images | im_tot | im_60 | im_360 | im_1440 | count_im | count_us
----------------------------+--------+---------+--------+--------+-------+--------+---------+----------+----------
 2015-02-04 10:48:23.585651 | 250 GB | 8075397 | 557708 |   9.07 | 12.77 |  48.59 |   69.17 |   184414 |      679

 2015-02-04 14:31:26.520685 | 251 GB | 8075397 | 557708 |   9.08 | 12.77 |  48.59 |   69.17 |   186014 |      692

Последние статистические данные:
Цитировать
2015-02-06 01:24:33.648964 | 251 GB | 8075397 | 557708 |   9.38 | 12.95 |  48.89 |   69.58 |   204001 |      715
2015-02-07 12:56:48.797251 | 251 GB | 8075397 | 557708 |   9.72 | 13.25 |  49.45 |   70.63 |   214781 |      735
2015-02-08 16:32:30.794382 | 252 GB | 8075397 | 557708 |   9.96 | 13.49 |  49.53 |   71.04 |   225504 |      749
2015-02-08 21:46:37.004505 | 252 GB | 8075397 | 557744 |  10.01 | 13.54 |  49.53 |   71.04 |   228496 |      752
2015-02-09 10:54:37.018624 | 252 GB | 8075397 | 579992 |   9.71 | 13.62 |  49.63 |   71.04 |   232358 |      756
                                                - соответственно, постепенно растет число рисунков.



Журнал статистики с моими комментариями для самого себя.



2015-02-10 08:26:17.724029 | 252 GB | 8075397 | 611924 |   9.36 | 13.73 |  49.63 |   71.04 |   236625 |      763

2015-02-11 10:40:14.148839 | 252 GB | 8075397 | 645800 |   9.07 | 13.89 |  49.73 |   71.04 |   244921 |      781
2015-02-12 11:33:49.956287 | 252 GB | 8075397 | 680588 |   8.83 |  14.1 |  49.91 |   71.04 |   258018 |      790
2015-02-13 08:21:21.947239 | 252 GB | 8075397 | 695564 |   8.83 |  14.2 |  50.09 |   71.25 |   263555 |      796
2015-02-14 08:34:44.718973 | 252 GB | 8075397 | 702248 |   8.89 | 14.28 |  50.22 |   71.25 |   270254 |      804
2015-02-15 10:51:15.752793 | 252 GB | 8075397 | 710804 |   9.03 | 14.61 |  50.52 |   71.67 |   279428 |      814
2015-02-16 09:04:14.675632 | 252 GB | 8075397 | 715352 |   9.18 | 14.79 |  50.93 |   71.67 |   284976 |      820
2015-02-17 10:37:13.564512 | 252 GB | 8075397 | 716240 |    9.3 | 14.92 |  51.03 |   71.88 |   286788 |      830
2015-02-18 08:23:15.465609 | 252 GB | 8075397 | 716960 |   9.49 | 15.07 |  51.08 |   72.71 |   291899 |      841
2015-02-19 08:35:37.546631 | 252 GB | 8075397 | 717764 |   9.75 | 15.27 |  51.23 |   72.92 |   300069 |      850
- абсолютно все нужные рисунки сгенерированы! Базу осталось только откалибровать.

2015-02-19 12:31:20.081685 | 252 GB | 8075397 | 717764 |    9.8 | 15.28 |  51.23 |   72.92 |   301880 |      850
2015-02-19 21:46:18.850532 | 253 GB | 8075397 | 717764 |   9.95 | 15.38 |  52.84 |   72.92 |   308831 |      857
33 канал: введен 28 параметр (в него будет вбрасываться параметр качества данных)
2015-02-21 08:49:28.773428 | 262 GB | 8075397 | 717764 |  10.35 | 15.68 |  53.01 |   73.13 |   325928 |      870
33 - 37 канал (5 каналов) - введен 28-й параметр
2015-02-22 07:32:46.706998 | 267 GB | 8075397 | 717764 |  10.62 | 15.96 |   53.4 |   73.13 |   334232 |      881
- 39 канал: введен 28-й параметр
2015-02-23 08:41:19.853834 | 269 GB | 8075397 | 717764 |  10.76 | 16.11 |  53.42 |   73.13 |   344545 |      891
  - 40 канал - введен 28-й параметр. Продолжение непропорционального роста размеры базы! Поэтому пока останавливаю ввод новых параметров для остальных каналов...
2015-02-24 13:15:58.548518 | 269 GB | 8075397 | 717764 |  10.93 | 16.32 |  53.42 |   73.33 |   348844 |      908
2015-02-25 11:17:30.106096 | 269 GB | 8075397 | 717764 |   11.1 | 16.52 |   53.8 |   73.54 |   355145 |      911
2015-02-27 08:56:49.986758 | 269 GB | 8075397 | 717764 |  11.76 | 16.93 |  54.97 |   73.75 |   392667 |      930
« Последнее редактирование: 27 Фев 2015 [11:44:02] от Самодуров Владимир »
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Ser100

  • *****
  • Сообщений: 752
  • Рейтинг: +10/-0
    • Show only replies by Ser100
    • Моделирование систем
Рисунки по всем 27 сортам данных сформированы несколько дней назад. Кстати, почему визуализатор пока не очень полезен: рисунки делаются после предварительной калибровки данных перед отрисовкой, при этом сами данные внутри базы на самом деле пока не откалиброваны (все еще аккуратно тестирую, как именно правильнее всего откалибровать).

Таким образом, Вы и здесь хотите предугадать, что захочет увидеть пользователь на Ваших рисунках (если не запутается в этих 27 сортах данных). А может быть пускай пользователь сам занимается этим. Может быть он как раз и хочет увидеть рисунок в чрезмерно большом масштабе. Вот пускай и задает перед отрисовкой нужный ему масштаб. Тем более, мне не понятно зачем тогда вообще будут нужны заранее заготовленные рисунки, если у Вас будет визуализатор для произвольной отрисовки. Хотя, наверное, какие то заготовленные рисунки будут и нужны. Например, обзорные снимки требующие очень большого объема исходных данных. Можете выделить такие рисунки в отдельный раздел, а все типовые рисунки пусть пользователь отрисовывает сам, задавая различные нужные ему режимы отрисовки.

С наилучшими пожеланиями Сергей Юдин.


Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России

Отвлекусь еще на секунду от подготовки лекции.  ::) 
Рисунки по всем 27 сортам данных сформированы несколько дней назад. Кстати, почему визуализатор пока не очень полезен: рисунки делаются после предварительной калибровки данных перед отрисовкой, при этом сами данные внутри базы на самом деле пока не откалиброваны (все еще аккуратно тестирую, как именно правильнее всего откалибровать).


Таким образом, Вы и здесь хотите предугадать, что захочет увидеть пользователь на Ваших рисунках

Я рассчитываю на самого умного и вдумчивого юзера. 8-) А ему - понадобится все и даже больше (можно ведь и комбинировать/аггрегировать эти сорта данных!).
Цитировать
(если не запутается в этих 27 сортах данных).
Подписи есть, а мало - так добавим.
Цитировать

А может быть пускай пользователь сам занимается этим.
Большие рисунки требуют до-о-о-олгой отрисовки. Пробовали когда-нибудь пользоваться Skyview? То еще удовольствие, когда задаешь окно более 3-х градусов... Поэтому лучше их сгенерировать заранее.


Цитировать


Может быть он как раз и хочет увидеть рисунок в чрезмерно большом масштабе. Вот пускай и задает перед отрисовкой нужный ему масштаб.

Дык, будет. В тестовом режиме, кстати, уже есть - но там только поиграться пока:
http://astro.prao.ru/formBsaTest3.html
но что-то уже рисует. 8-)


Цитировать

Тем более, мне не понятно зачем тогда вообще будут нужны заранее заготовленные рисунки, если у Вас будет визуализатор для произвольной отрисовки.
Можете считать, что - для меня. Они позволяют увидеть общую картину данных. Понять, где нелады, помехи, плохая калибровка данных. Я ж по ним уже долго шарюсь, устраняя нелады (калибровки в основном) и продумывая, как побороть помехи и пр.
Цитировать

Хотя, наверное, какие то заготовленные рисунки будут и нужны. Например, обзорные снимки требующие очень большого объема исходных данных.
Во-о-о-от!
Цитировать
Можете выделить такие рисунки в отдельный раздел,
Вот и выделил. Много, да. Возможно, надо какую нибудь совсем простую линейку просмотра для совсем неофитов, тут подумаю (раз вопросы возникают).
Цитировать

а все типовые рисунки пусть пользователь отрисовывает сам, задавая различные нужные ему режимы отрисовки.

Посмотрите на тестовую форму - в какую сторону исправлять?



Цитировать
С наилучшими пожеланиями Сергей Юдин.

Сергей, я, кстати, помню Вашу просьбу насчет конкретного пульсара. Просто мне тяжко поднимать графики наблюдений пятилетней давности, но собираюсь это сделать...
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Ser100

  • *****
  • Сообщений: 752
  • Рейтинг: +10/-0
    • Show only replies by Ser100
    • Моделирование систем
Я рассчитываю на самого умного и вдумчивого юзера. 8-) А ему - понадобится все и даже больше (можно ведь и комбинировать/аггрегировать эти сорта данных!).

Вот пускай этот самый умный и вдумчивый юзер и преобразует эти данные и комбинирует их сколько и как ему угодно.  А затраченное на это время это будет уже его желание усложнить обработку данных.

Большие рисунки требуют до-о-о-олгой отрисовки. Пробовали когда-нибудь пользоваться Skyview? То еще удовольствие, когда задаешь окно более 3-х градусов... Поэтому лучше их сгенерировать заранее.

Во-первых, не пробовал. Во-вторых, что то там слишком сложно (бегло посмотрел их форму). В-третьих, я не понимаю как время отрисовки может зависеть не от размеров рисунка в пикселях, а от его размера в градусах (если не считать времени чтения данных с диска). Но, в любом случае те рисунки, что Вы собираетесь рисовать никак не могут строиться дольше чем несколько секунд. Правда, я пишу код для программ под Windows, а вам нужен скрипт для html формы, но я не думаю, что при этом на порядки увеличится время отрисовки. Попробуйте поговорить с  Владиславом Тюльбашевым (это сын Сергея Тюльбашева), чтобы он посмотрел в чем у Вас там проблемы при отрисовке. Я думаю он поможет быстро решить этот вопрос, т.к., во-первых, он не плохой программист, а, во-вторых, он работал с данными наблюдений Вашей обсерватории.

Посмотрите на тестовую форму - в какую сторону исправлять?

Во-первых, надо добавить сверху шкалу звездного времени.
Во-вторых, строчку со стандартным размером рисунка надо убрать, а ширину и высоту картинки по умолчанию (800*600) прописать в окошках width и height.
В-третьих, я не вижу переключателя между амплитудной прорисовкой и цветовой или просто яркостной в одном каком то цвете (лучше всего в зеленом).
В-четвертых, есть проблема, если человек хочет прорисовать участок неба наблюдавшийся между 23 часами 1-го января и 2 часами 2-го января.
Пока все (если не считать того, что окошки можно сделать и поменьше, а так же я не понял зачем при этом выводится так много текстовой информации).

С наилучшими пожеланиями Сергей Юдин.


Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Хм... Даже и не знаю, с чего начать Вам отвечать... Ну, попробую все же. Не взыщите, если что-то не охвачу.
Я рассчитываю на самого умного и вдумчивого юзера. 8-) А ему - понадобится все и даже больше (можно ведь и комбинировать/аггрегировать эти сорта данных!).

Вот пускай этот самый умный и вдумчивый юзер и преобразует эти данные и комбинирует их сколько и как ему угодно.
Гм. Ну, во первых, написать программное обеспечение со сложной логикой работы с данными посложнее на два порядка отрисовки будет. .... Есть и во-вторых, в-третьих...
Цитировать



 А затраченное на это время это будет уже его желание усложнить обработку данных.


Большие рисунки требуют до-о-о-олгой отрисовки. Пробовали когда-нибудь пользоваться Skyview? То еще удовольствие, когда задаешь окно более 3-х градусов... Поэтому лучше их сгенерировать заранее.


Во-первых, не пробовал. Во-вторых, что то там слишком сложно (бегло посмотрел их форму).

Даже и не знаю, что сказать. Остается только это:



Извините, просто не могу удержаться. Просто меня всегда поражает и приводит в ступор, когда астрономы не знают этого классического ресурса-генератора изображений с классических каталогов и обзоров. Может быть, я излишне категоричен, но по мне - это первый ресурс, на который должен отправляться любой астроном-профессионал, чтобы посмотреть и на сам объект в разных диапазонах, и на его окрестности.


Цитировать



В-третьих, я не понимаю как время отрисовки может зависеть не от размеров рисунка в пикселях, а от его размера в градусах (если не считать времени чтения данных с диска). Но, в любом случае те рисунки, что Вы собираетесь рисовать никак не могут строиться дольше чем несколько секунд.

Я объясню. Смотрите, что такое из себя эти рисунки? Например, вот этот, на который вы ссылались:

К сожалению, мне кажется, Вы делаете принципиальную ошибку создавая базу готовых рисунков, а не базу подготовленных для этих рисунков данных.
Во-первых, с чисто научной точки зрения картинки хороши в демонстрационных целях, а для научных расчетов нужны именно цифры.
Во-вторых, информативность таких рисунков может быть сведена к нулю, если мы не можем однозначно идентифицировать на картинке тот или иной луч, т.е. однозначно определить склонение для этого луча. Например, вот здесь http://astro.prao.ru/cgi/out_img.cgi?id=8800&interval=1440 совершенно нельзя определить какому склонению соответствует тот или иной луч.


Этот рисунок - суточный, на нем отрисовано 96 лучей для более чем 17 тысяч пятисекундных интервалов, итого: отрисовываем примерно 1.7 миллиона отрезков. И, не забудьте, что все эти данные сначала калибруются (делятся на калибровочный сигнал) - значит, отнимайте еще пару миллионов флопсов (само по себе ерунда, но там сложности с логикой - в течение суток калиьровочные сигналы все время меняются, значит - все время дергаем базу - это время, усложняем логику программы - это возможные ошибки...). Кстати, мимоходом - похоже, Вы не обратили внимания (как и я тоже не сразу понял суть Вашего замечания) - в базе данных вся цифра есть. Но выдавать мы пока будем только рисунки. Доступ к данным (цифре) будет только тогда, когда выполнится ряд условий (лишь одно из них, первое - вопросы авторства ...). Так вот, калибровка+отрисовка одного суточного рисунка занимает  100 секунд. Для одного стандартного часового рисунка, конечно же, все значительно быстрее - отрисовка 48 лучей Х 720 пятисекундных точек занимает 2 секунды. Еще раз - это с калибровкой данных. Без нее - меньше секунды. Так что с малыми рисунками вообще никаких проблем.
Цитировать

 Правда, я пишу код для программ под Windows, а вам нужен скрипт для html формы, но я не думаю, что при этом на порядки увеличится время отрисовки.

Я пописываю на разных языках и в разных средах, и могу сказать, что Вы несколько погорячились.
::)
Цитировать

 Попробуйте поговорить с  Владиславом Тюльбашевым (это сын Сергея Тюльбашева), чтобы он посмотрел в чем у Вас там проблемы при отрисовке. Я думаю он поможет быстро решить этот вопрос, т.к., во-первых, он не плохой программист, а, во-вторых, он работал с данными наблюдений Вашей обсерватории.

Да, Владислав - парень талантливый. 8-) Но ему отец сейчас более важную работу поручил. И , опять же, я не уверен, что он программирует на Perl. И, наконец - еще раз: проблем с отрисовкой малых масштабов нет. Но лично мне нужно просматривать и контролировать ВСЕ данные. Поэтому - так или иначе, я рисую рисунки большого масштаба - прежде всего для себя, а заодно вот и людям дал посмотреть. 8-)

(кстати, на обсерватории далеко не все отнеслись к этому позитивно - так что то, что хотя бы рисунки сейчас в свободном доступе - это - э-э-э, возможно - временное явление).
Цитировать
Посмотрите на тестовую форму - в какую сторону исправлять?

Во-первых, надо добавить сверху шкалу звездного времени.
Во-вторых, строчку со стандартным размером рисунка надо убрать, а ширину и высоту картинки по умолчанию (800*600) прописать в окошках width и height.
В-третьих, я не вижу переключателя между амплитудной прорисовкой и цветовой или просто яркостной в одном каком то цвете (лучше всего в зеленом).
В-четвертых, есть проблема, если человек хочет прорисовать участок неба наблюдавшийся между 23 часами 1-го января и 2 часами 2-го января.
Пока все (если не считать того, что окошки можно сделать и поменьше, а так же я не понял зачем при этом выводится так много текстовой информации).

Спасибо за замечания, передам их разработчику (эта часть - не моя). По большинству замечаний - я думал примерно в том же ключе, хотелось просто от другого человека услышать. Есть и дополнительные по сравнению с тем, что я думал - спасибо. Что касается последнего замечания - то тут все просто - программа не дописана и тестируется. Обычно в таком виде программы вообще не показываются.   
« Последнее редактирование: 01 Мар 2015 [23:22:40] от Самодуров Владимир »
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн UFOLOG_Rus

  • *****
  • Сообщений: 670
  • Рейтинг: +70/-6
  • Make Cosmos, not war! Make asteroid protect Earth!
    • Show only replies by UFOLOG_Rus
По BOINC нужна какая то помощь? Регулярно участвую в BOINC системе...
Человечество не умеющее решать сообща проблемы - это мёртвое человечество!
Чтобы стать хорошим уфологом, для начала нужно стать хорошим ЛА и отличать НЛО от МКС на глаз!
- Meade ШК 8'' на EQ-3 (сталь)
- Бино Nikon Action EX 10x50 и такой же 7x35
- Фотик Canon 550d

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Будет нужна через полгода-год примерно. Собственно, эта тема - подводка к тому, что я пообещал когда-то ребятам, занимающимся этой темой в России - "неужели у нас в России нет ничего, что требовало бы BOINC- вычислений?".
Ребята мне уже советовали, с чего начинать - брать ядро BOINC и писать на него алгоритмы. Но: перед этим должна была быть создана сама база, которая будет в том числе готовить и выдавать данные для обсчета.
Так что база - это лишь треть работы, не больше (уныло - я лично даже не представлял объем работы, когда брался за это...)...
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Ser100

  • *****
  • Сообщений: 752
  • Рейтинг: +10/-0
    • Show only replies by Ser100
    • Моделирование систем
Извините, просто не могу удержаться. Просто меня всегда поражает и приводит в ступор, когда астрономы не знают этого классического ресурса-генератора изображений с классических каталогов и обзоров. Может быть, я излишне категоричен, но по мне - это первый ресурс, на который должен отправляться любой астроном-профессионал, чтобы посмотреть и на сам объект в разных диапазонах, и на его окрестности.

Извините, но Вы, кажется, забываете, что я не профессиональный астроном и меня все эти окрестности в рамках решаемой мною задачи совершенно не интересуют. А  решаю я чисто физическую задачу, но все астрономы, занимающиеся двойными пульсарами, не удосужились опубликовать элементарных данных наблюдений по этим пульсарам, а именно по периоду принимаемых импульсов в разные моменты наблюдения. Вот мне и приходится за них делать и эту работу. Поэтому, мое незнание некоторых ресурсов, нужных профессиональным астрономам, простительно.

Этот рисунок - суточный, на нем отрисовано 96 лучей для более чем 17 тысяч пятисекундных интервалов, итого: отрисовываем примерно 1.7 миллиона отрезков. И, не забудьте, что все эти данные сначала калибруются
Так вот, калибровка+отрисовка одного суточного рисунка занимает  100 секунд.
Для одного стандартного часового рисунка, конечно же, все значительно быстрее - отрисовка 48 лучей Х 720 пятисекундных точек занимает 2 секунды.

Ну, во-первых, 100 секунд для больших рисунков это не критично, т.к. навряд ли кому то потребуется много таких обзорных снимков, а, во-вторых, время отрисовки можно значительно сократить, если рисовать не отрезки между точками, а просто отдельные пиксели. Ведь у Вас стандартный рисунок 800*600=480 000 пикселей (точек), а Вы на него выводите 17 000 000 пикселей. Да, да именно пикселей, а не отрезков между точками, т.к. у Вас на один пиксель приходятся десятки или даже сотни отрезков между точками и Вы просто десятки или сотни раз рисуете один и тот же пиксель, а не отрезок в несколько пикселей между двумя точками. Таким образом, если бы Вы выводили рисунок, как набор пикселей, то у Вас на это ушло бы как минимум в 35,4 (17000000/480000) раза меньше времени.

При этом, будет разница во времени вывода подготовленных Вами точек на рисунок в амплитудном и цветовом виде и сами выводимые точки могут потребовать разной размерности массивов. Например, в амплитудном выводе Вам надо просто согласовать количество 5-и секундных интервалов с количеством пикселей по ширине рисунка, а вот при цветовом выводе, т.к. высота рисунка в 96 пикселей (каналов) маловата для хорошего восприятия, то Вам придется рассчитать промежуточные значения амплитуды (яркости сигнала) еще желательно для 3-х лучей между имеющимися у Вас лучами. Да, все это потребует машинного времени, но математические операции выполняются всегда гораздо быстрее, чем выводится графика, так что Вам тут есть над чем подумать.

А для примера я приведу вывод на моей программе Pulsar1 цветового и амплитудного вариантов визуализации данных из файлов наблюдений за пульсаром PSR 1913+16, которые я скачал с сайта обсерватории Parkes. На первом рисунке Вы видите цветовой вывод по 1536 точек в каждом из 256 частотных каналов на что у меня программа затратила 0,886 с. Таким образом, на Ваши 17000 точек по 96 лучам (каналам) она бы затратила не 100 с, как у Вас, а 3,68 с, т.е. почти в 30 раз меньше времени. А вот при амплитудном выводе на втором рисунке у меня для 512 точек профиля импульса по одному каналу получилось 0,004 с, что для количества отрезков между Вашим количеством точек будет соответствовать 12,75 с, что в 8 раз быстрее чем у Вас. Да у меня выполняется откомпилированный код написанный на языке Visual Basic 6.0, а у Вас выполняется скриптовый код, но программы на Visual Basic 6.0 работают также медленно, как и скрипты, т.к. вынуждены использовать виртуальную машину msvbvm60.dll, поэтому и у Вас отрисовка должна идти примерно с такой же скоростью. При этом я привожу время только самой отрисовки, т.к. данные у меня уже считаны с диска (это происходит практически мгновенно) и отколиброваны (это требует некоторого времени, сопоставимого с отрисовкой).





Кстати, мимоходом - похоже, Вы не обратили внимания (как и я тоже не сразу понял суть Вашего замечания) - в базе данных вся цифра есть. Но выдавать мы пока будем только рисунки. Доступ к данным (цифре) будет только тогда, когда выполнится ряд условий (лишь одно из них, первое - вопросы авторства ...).
Это, конечно же, Ваше право, но я считаю, что вообще то, по большому счету Вы, как создатели базы наблюдательных данных, должны были бы создать именно базу цифровых данных, чтобы любой пользователь мог скачать только интересующие его файлы данных, а потом уже пусть их обрабатывает так, как ему вздумается. Да, для этого потребуется и программа обработки данных из этих файлов (как портативная, так и работающая на Вашем сервере, чтобы не качать файлы с сервера) и Вы должны предоставить такую программу (хотя бы для выполнения элементарных действий с этими данными). А, если пользователю нужна какая то углубленная обработка этих данных, то пусть пишет свою программу или дождется, когда Вы выпустите новую версию своей программы, которая будет делать и такую углубленную обработку данных или пусть эта углубленная обработка проходит в рамках проекта BOINC.

Но, в любом случае, Ваша обязанность, как обсерватории предоставить пользователю именно сами данные наблюдений, т.к. у пользователя нет в наличии радиотелескопа, а обработка этих данных это уже забота пользователя. При этом, никто не запрещает и сотрудникам обсерватории обрабатывать эти первичные данные и потом публиковать получающиеся картинки. К тому же, обычно все обсерватории не публикуют около года свежие данные наблюдений, поэтому сотрудники обсерватории имеют преимущественное право их использования в своих научных исследованиях, а пользователи Вашей базы данных получают (пусть и с задержкой на год) точно такие же данные наблюдений, как и сотрудники самой обсерватории.

С наилучшими пожеланиями Сергей Юдин.

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Сергей, огромное спасибо за подробный и очень обстоятельный ответ (выставлю Вам еще один плюсик по истечению трех суток). Я обязательно сошлюсь на Ваше мнение во время обсуждения внутри нашей обсерватории. Тем более, что я с ним, если честно, полностью согласен. Да, я в курсе, что общепринятая мировая практика - "два года обрабатываем сами, через два года - в публичный архив" (насчет года - это Вы все-таки загнули - это бывает довольно редко, но вот два года - сплошь и рядом). Но такой подход у многих в нашей стране вызывает острейшее неприятие...
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России

По некоторым деталям:


Извините, но Вы, кажется, забываете, что я не профессиональный астроном и меня все эти окрестности в рамках решаемой мною задачи совершенно не интересуют.
Принято, это Вы меня извините за резковатость моего суждения. Хотя, все же - этот сайт и любителям знать тоже полезно. 
Цитировать


А  решаю я чисто физическую задачу, но все астрономы, занимающиеся двойными пульсарами, не удосужились опубликовать элементарных данных наблюдений по этим пульсарам, а именно по периоду принимаемых импульсов в разные моменты наблюдения. Вот мне и приходится за них делать и эту работу. Поэтому, мое незнание некоторых ресурсов, нужных профессиональным астрономам, простительно.

В свою очередь Вы и сами очень придирчивы к профи. Уверяю Вас, у них полно работы, и работают они в основном по интересующих именно их темам. Если какая-то тема интересует именно Вас - подавайте заявку на наблюдения (это, кстати, конкретно к нашей переписке - велкам в заявочную компанию на следующий квартал, подавайтесь на цифровую пульсарную установку, разработанную Логвиненко, и будет Вам щастье с этим пульсаром 8-) ).

Цитировать

Этот рисунок - суточный, на нем отрисовано 96 лучей для более чем 17 тысяч пятисекундных интервалов, итого: отрисовываем примерно 1.7 миллиона отрезков. И, не забудьте, что все эти данные сначала калибруются
Так вот, калибровка+отрисовка одного суточного рисунка занимает  100 секунд.
Для одного стандартного часового рисунка, конечно же, все значительно быстрее - отрисовка 48 лучей Х 720 пятисекундных точек занимает 2 секунды.


Ну, во-первых, 100 секунд для больших рисунков это не критично, т.к. навряд ли кому то потребуется много таких обзорных снимков, а, во-вторых, время отрисовки можно значительно сократить, если рисовать не отрезки между точками, а просто отдельные пиксели. Ведь у Вас стандартный рисунок 800*600=480 000 пикселей (точек), а Вы на него выводите 17 000 000 пикселей. Да, да именно пикселей, а не отрезков между точками, т.к. у Вас на один пиксель приходятся десятки или даже сотни отрезков между точками и Вы просто десятки или сотни раз рисуете один и тот же пиксель, а не отрезок в несколько пикселей между двумя точками. Таким образом, если бы Вы выводили рисунок, как набор пикселей, то у Вас на это ушло бы как минимум в 35,4 (17000000/480000) раза меньше времени.

При этом, будет разница во времени вывода подготовленных Вами точек на рисунок в амплитудном и цветовом виде и сами выводимые точки могут потребовать разной размерности массивов. Например, в амплитудном выводе Вам надо просто согласовать количество 5-и секундных интервалов с количеством пикселей по ширине рисунка, а вот при цветовом выводе, т.к. высота рисунка в 96 пикселей (каналов) маловата для хорошего восприятия, то Вам придется рассчитать промежуточные значения амплитуды (яркости сигнала) еще желательно для 3-х лучей между имеющимися у Вас лучами. Да, все это потребует машинного времени, но математические операции выполняются всегда гораздо быстрее, чем выводится графика, так что Вам тут есть над чем подумать.

В целом соглашусь. Но отмечу еще раз - Вы, привыкнув работать с Си, не очень понимаете, что языки , "заточенные" под веб , обработку текстов, графические библиотеки - а именно - Perl, PHP, Python - медленнее Си как минимум в несколько раз, а как максимум - на два порядка.

Цитировать

А для примера я приведу вывод на моей программе Pulsar1 цветового и амплитудного вариантов визуализации данных из файлов наблюдений за пульсаром PSR 1913+16, которые я скачал с сайта обсерватории Parkes. На первом рисунке

Спасибо, получил истинное наслаждение! Не знал, что любители достигли такого уровня!

Цитировать


Но, в любом случае, Ваша обязанность, как обсерватории предоставить пользователю именно сами данные наблюдений,
- про "обязанность", конечно, Вы изрядно повеселили, но крайнее мнение тоже полезно, спасибо! :-)

С уважением, Владимир
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Кстати, раз пошла речь про пульсары. Самые яркие (десятка два) видны на наших данных, что называется, вживую, "просто глазом". Например, знаменитый первый пульсар, который открыла Джозелин Белл, ищется так:
А) Сначала смотрятся все максимумы на 5 секундах:





Б) А потом минимумы:




Разница в картинка - и есть искомый пульсар. ;-)


Если лень сравнивать, тупо смотрим на график дисперсий, пульсар прекрасно виден и  там:





Подсказка координат пульсара - тут. У нас, правда, есть небольшая инструментальная поправка, но для данных рисунков она несущественна и практически не замечается глазом.

« Последнее редактирование: 02 Мар 2015 [19:30:42] от Самодуров Владимир »
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн Ser100

  • *****
  • Сообщений: 752
  • Рейтинг: +10/-0
    • Show only replies by Ser100
    • Моделирование систем
Если какая-то тема интересует именно Вас - подавайте заявку на наблюдения (это, кстати, конкретно к нашей переписке - велкам в заявочную компанию на следующий квартал, подавайтесь на цифровую пульсарную установку, разработанную Логвиненко, и будет Вам щастье с этим пульсаром 8-) ).

Спасибо за приглашение. Очень бы хотелось, но я не знаю как это сделать конкретно. Помогите. А то я смотрю от моей переписки с Arecibo, Parkes, Effelsberg что то мало толку. Может быть тоже действуют санкции и ничего не выгорит.

В целом соглашусь. Но отмечу еще раз - Вы, привыкнув работать с Си, не очень понимаете, что языки , "заточенные" под веб , обработку текстов, графические библиотеки - а именно - Perl, PHP, Python - медленнее Си как минимум в несколько раз, а как максимум - на два порядка.

То, что скриптовые языки (Perl, PHP, Python) на порядок медленнее Си, я знаю, но в том и то и дело, что все свои программы уже последние лет 20 (и в том числе Pulsar1) я пишу принципиально на Visual Basic 6.0, а он из за необходимости в виртуальной машине (библиотека msvbvm60.dll) тоже на порядок медленнее Си, но в конечном итоге написание программы, ее отладка и выполнение расчетов получаются на порядок быстрее на Visual Basic 6.0 чем на Си. Хотя, если критичный участок кода в программе написать на Free Basic, то скорость будет такая же, как и на Си. Да я вообще не перевариваю этот птичий язык Си и работал с ним только когда писал статью "Выбор языка программирования для научных работников", где я тестировал одну и ту же программу Spusk написанную мною на разных языках программирования (Visual Basic 6.0, Free Basic, C++, Pascal и т.д). Так что Ваш скриптовый код тоже будет рисовать гораздо быстрее, если Вы оптимизируете вывод графики.

С наилучшими пожеланиями Сергей Юдин.

Оффлайн Самодуров ВладимирАвтор темы

  • ASTRONOMY.RU
  • *****
  • Сообщений: 13 540
  • Рейтинг: +598/-39
  • Пусть цветут сто цветов! Кроме сорняков...
    • Show only replies by Самодуров Владимир
    • АстроТоп России
Спасибо за приглашение. Очень бы хотелось, но я не знаю как это сделать конкретно. Помогите.
Хорошо, на неделе я - а) отыщу, кто же все же смотрел интересующий Вас пульсар б) перешлю форму заявки . Правда, следующая компания подачи заявок - в мае, но поскольку "Ваш" пульсар редкий и эту зону никто не смотрит, то, мало ли - вдруг возможно, можно встроиться в наблюдения прямо сейчас. Узнаю.


Про программное обеспечение - любопытно, спасибо. Я, если честно, Visual Basic  как-то вообще до сих пор всерьез не воспринимал. Ссылочку на свою статью не дадите? Эта? Хм. Ну, вообще-то устарела она. Кстати, а чем Вам Visual Studio не нравится? Там и Ваш любимый Бейсик есть в том числе... И бесплатная она - во всяком случае, версия 2010.
« Последнее редактирование: 03 Мар 2015 [01:04:14] от Самодуров Владимир »
Нужны ли мы нам? ((С)  Братья Стругацкие)

Оффлайн e+

  • *****
  • Сообщений: 3 726
  • Рейтинг: +135/-7
  • Мне нравится этот форум!
    • Show only replies by e+
Владимир, с нетерпением ждём вас на BOINC.Ru.
Вход в редакторский раздел у вас никто не отзывал.
;)

А там, глядишь и с C++ и пр. может быть разберёмся...