Каталог звёзд всея Галактики

[Павел Васильев]

Данных каталога HYG3 хотя и оказалось достаточно для тетраэдрализации 120 тыс.звёзд в радиусе 50 пс, но этого, конечно, мало для построения гексаэдра галактической решетки с ребром в 1 кпс и Солнцем в центре. Всё сразу не обработать, но можно распараллелить вычисления на 88 созвездий. Может, кто в курсе или делал что-то такое - как извлечь из Simbad, Hipparcos и Gaia DR2 все звёзды с G < 21^m для созвездий Телец и Орион отдельно до расстояния 866 ps включительно? В Gaia DR2 есть только параллаксы с ошибками измерений, расстояний нет.

[Андрей Астрофизический]

В Gaia DR2 есть только параллаксы с ошибками измерений, расстояний нет.

Ну естественно. А как вы хотели?
Самому надо считать такие вещи. И для Hipparcos, Simbad, тоже. Ошибки в их базе данных не должны становиться вашей проблемой.

(кликните для показа/скрытия)

php

Код: [Выделить]

function numberRound($a, $cell) {
// Округляет число до указанного количества ЗНАЧАЩИХ цифр.
$aa = abs($a);
$b = 2;
$bor = 0;
if ($aa > 1) {
while ($aa > $b) {
$b = $b * 10;
$bor = $bor - 1;
}
} else {
$b = $b / 10;
while ($aa < $b) {
$b = $b / 10;
$bor++;
}
}
$bor = round($bor + $cell);
$bor = (int)$bor;
return round($a, $bor);
}

function valideVal($val, $err) {
if ($err == 0) {
return $val;
}
/*Валидация числа до количества знаков, соответствующего погрешности.*/
$dist_value_size = log10(abs($val) / $err) + 2;
return numberRound($val, $dist_value_size);
}

function calc_Dist($parallax, $dimension, $err) {
/* Вычисление дистанции до звезды по параллаксу. */
$retr = new StdClass;
$retr->status = false;
if ((isset($parallax)) && (isset($dimension)) && (isset($err))) {
$parallax = (float)$parallax;
if ($parallax < 0) $parallax = 0;
$err = (float)abs($err);
if (($parallax == 0) || ($parallax < 0)) {
return $retr;
}
//$retr->log = //$retr->log.'44.';//debug
switch ($dimension) {
case 'mas':
//$retr->log = //$retr->log.'47';//debug
$retr->status = true;
$retr->dist = 1000 / $parallax;
$retr->min_dist = 1000 / ($parallax + $err);
if ($parallax > $err) {
$retr->max_dist = 1000 / ($parallax - $err);
} else {
$retr->max_dist = $retr->dist * 10;
}
break;
case 'arcsec':
//$retr->log = //$retr->log.'58.';//debug
if ($err == 1) {
$err = 0.01;
}
$retr->status = true;
$retr->dist = 1 / $parallax;
$retr->min_dist = 1 / ($parallax + $err);
if ($parallax > $err) {
$retr->max_dist = 1 / ($parallax - $err);
} else {
$retr->status = false;
return $retr;
}
break;
default:
$retr->status = false;
}
//$retr->log = //$retr->log.'78.';//debug
$retr->min_err = numberRound($retr->dist - $retr->min_dist, 2);
$retr->max_err = numberRound($retr->max_dist - $retr->dist, 2);
$retr->dist = valideVal($retr->dist, $retr->min_err);
$retr->min_dist = valideVal($retr->min_dist, $retr->min_err);
$retr->max_dist = valideVal($retr->max_dist, $retr->min_err);
}
return $retr;
}


как извлечь

Перебрать в цикле все интересующие данные. В один поток или несколько, это уж как вашей душе и финансам угодно будет.

[Павел Васильев]

Самому надо считать такие вещи.

Спасибо за спойлер, но, к счастью, для Gaia DR2 уже есть готовый дополнительный каталог с пересчётами параллаксов на расстояния с учётом ошибок по адресу
http://www.mpia.de/~calj/gdr2_distances/main.html .
И он же уже есть и на  Vizier at CDS как каталог I/347, откуда теперь надо извлечь созвездие Taurus.

[Андрей Астрофизический]

А почему одно созвездие?

можно распараллелить вычисления

При параллельных вычислениях, запускаются все потоки вычислений сразу. А не по одному последовательно, с обращением на форум за каждым новым потоком
Ну и кроме того, созвездия крайне неудобный ориентир для распараллеливания. Они сильно отличаются как по площади так и по числу звезд. В каждом каталоге есть угловые координаты звезд, логичнее по этим координатам разбить всю сферу на сектора, и распараллеливать по ним.

[Павел Васильев]

При параллельных вычислениях, запускаются все потоки вычислений сразу.

да ну? А я то и не подозревал, что так можно. Кстати, что  с вашими секторами вблизи полюсов будет для распараллеливания будет, не подскажите? И вообще меня больше устраивает разбиение по созвездиям, как-то более наглядно и традиционно.

[Андрей Астрофизический]

вблизи полюсов

А кто-то заставляет разбивать сектора на одинаковое количество градусов? Число пи известно с древности вообще-то. Как и синус с косинусом.
Я так вижу, зря меня толкнуло вам помогать. В помощи вы не нуждаетесь.

[Павел Васильев]

А кто-то заставляет разбивать сектора на одинаковое количество градусов?

Я было посчитал, что вы советуете сектора азимутальной или экваториальной сетки использовать, а так да, конечно, для предварительных расчётов удобно разбить сферу на треугольники, вот для икосаэдра 20 штук секторов и будет как раз то, что надо для более менее равномерного распараллеливания. Можно сетку треугольников на сфере и гуще сделать, как здесь  https://gis-lab.info/qa/triangular-mesh-sphere.html .Но всё равно потом результаты надо будет привязать к границам созвездий.

[Андрей Астрофизический]

надо будет привязать к границам созвездий.

Если не секрет, зачем? Вы карту галактики делаете, или гороскоп?

[Павел Васильев]

Если не секрет, зачем? Вы карту галактики делаете, или гороскоп?

А, так вы не знаете, что для гороскопа достаточно только зодиакальных созвездий и планет? Нет, не секрет, но делаю не карту для планетария, а сетевую 3D модель Галактики, конечно не всю сразу, а начиная от окрестностей Солнца и далее, пока позволяют вычислительные ресурсы. Но в некоторых областях кое-что можно будет и экстраполировать, основываясь на уже полученных данных. 

[Андрей Астрофизический]

3D модель Галактики, конечно не всю сразу, а начиная от окрестностей Солнца и далее, пока позволяют вычислительные ресурсы.

Ну так и зачем для этой цели созвездия, вы так и не сказали.

Собственно я почти то же самое и делал - 3D карту. Мне почему-то не понадобились.
И если уж про распараллеливание вычислительных ресурсов говорить. У меня было вообще без секторов и без координат, просто по индексам каталога / базы данных. Каждый поток берет себе в обработку 1000 звезд, последний взятый номер записывает в общую базу данных, и идет себе считать. Следующий поток этот номер читает, и начиная со следующего индекса берет себе тоже ровно 1000 звезд... И так далее все оно крутится, с идеально равномерным распределением нагрузки по потокам. Какие-то созвездия, координаты, сектора, при таком подходе - до фонаря вообще.

[Павел Васильев]

Какие-то созвездия, координаты, сектора, при таком подходе - до фонаря вообще.

Не до фонаря, это стандартный подход, который обычно используется при распараллеливании больших циклов обработки данных, в той же OpenMP или в Thread.Parallel библиотеке для многоядерных машин и при GPU вычислениях на CUDA/OpenCL. Я сам так не раз считал, но тут при построении сеток полиэдров для звёзд (в вершинах тетраэдров и в узлах ячеек Вороного) этот номер не пройдёт – поскольку по такому способу часть требуемых для тетраэдрализации точек запросто окажется в разных потоках и, соответственно в разных концах небосвода. Имеется ряд статей, в том числе и по параллельным построениям DT/VD в космологии, где массивы по нескольку миллиардов точек и обрабатывается всё сразу, но… время очень большое. И, что самое главное, при динамическом моделировании на большой пространственно-временной шкале, требуется часто вставлять (новая) или удалять (смена класса) звезды. Времязатратно пересчитывать всю сеть заново при таком параллельном подходе. Так что нужны именно большие пространственные сектора, объёмные выборки. По ним параллельно запускаются потоки. А дальше есть процедура бесшовной склейки секторов, регионов триангуляции, правда пока, насколько мне известно реализованная только для 2D случая.

[Павел Васильев]

Каждый поток берет себе в обработку 1000 звезд, последний взятый номер записывает в общую базу данных, и идет себе считать. Следующий поток этот номер читает, и начиная со следующего индекса берет себе тоже ровно 1000 звезд... И так далее все оно крутится, с идеально равномерным распределением нагрузки по потокам.

И, согласен, уже внутри границ созвездий или секторов икосаэдра, можно запустить дополнительно и такой метод параллельных вычислений. При перерасчёте координат, например, через каждый миллион лет по собственным движениям. Не помешает. 

[Андрей Астрофизический]

используется при распараллеливании больших циклов обработки данных, в той же OpenMP или в Thread.Parallel библиотеке для многоядерных машин

Таки на чем вы считаете то?  любопытно.
Просто скажем так, фразеологическое наполнение ваших постов, выдает в вас человека, который вряд ли умеет использовать ту же OpenMP на практике.

Так что нужны именно большие пространственные сектора, объёмные выборки.

Хранение динамических данных о звездах, в БД, где индексами являются их координаты по осям x, y, z. Не пробовали? На лету можно делать пространственную кластеризацию какого угодно масштаба и разрешения.

[Павел Васильев]

Просто скажем так, фразеологическое наполнение ваших постов, выдает в вас человека, который вряд ли умеет использовать ту же OpenMP на практике.

Точно, с OpenMP я не работаю. У нас параллельные вычисления начнутся только на следующем курсе. Просто пытаюсь найти алгоритм, как можно быстрее построить модель по базе данных Simbad и каталогу Gaia DR2. Это дело оказалось не простым и пока тупиковым по ряду направлений. Критика дала мало конструктива.

[Павел Васильев]

Хранение динамических данных о звездах, в БД, где индексами являются их координаты по осям x, y, z. Не пробовали?

Нет ещё, не пробовал. Обычно я использую глобальный идентификатор как индексированное ключевое поле в таблице БД PostgreSQL и по нему можно быстро всё найти. Но проблема сшивки моделей регионов остаётся, поскольку целиком сразу всё обрабатывать не получится - слишком много записей в базе и количество их, сами знаете, растёт с каждым годом, ну или от обзора к обзору. Суперкомпьютеру не угнаться и он будет работать без останова, а надо ведь ещё и на результаты иногда взглянуть

[Андрей Астрофизический]

Критика дала мало конструктива.

Ну так не надо было от помощи отмахиваться.