Мощный комп для обработки

[smitty0]

Ввиду необходимости обрабатывать большие объёмы данных (тысячи кадров), появилась идея использовать недорогие сервера на AMD Opteron, коих на ебэе пруд пруди - к примеру Dell Poweredge M905. Но никогда не сталкивался. Возможно ли использовать такие системы в астрофото-обработке?

[phobos24]

Сервер, как правило, не самая быстрая машина. Ее фишка в надежности. В купе с ОС, на сервере могут работать много юзеров. Зачем нужен именно сервер? Хотите включить и пять лет не выключать? Сколько народу будет работать на нем. Сколько занимает по памяти "тысяча кадров" и сколько один (для распараллеливания)? Софт, который будет работать на компьютере под какой ОС?

[smitty0]

Сервер, как правило, не самая быстрая машина. Ее фишка в надежности. В купе с ОС, на сервере могут работать много юзеров. Зачем нужен именно сервер? Хотите включить и пять лет не выключать? Сколько народу будет работать на нем. Сколько занимает по памяти "тысяча кадров" и сколько один (для распараллеливания)? Софт, который будет работать на компьютере под какой ОС?

Предположительно Win7 либо Server2008, для обработки - Pixinsight. На данный момент на обработку ролика дип-объекта из ~1500 кадров (из стека в ~5500) 6Mp на ноуте с i5 8Gb уходит ~40 часов. Один кадр на винте (.fit) ~36Mb (6.4 Mega Pixels 3096*2080 16bit).
Почему сервер? Из-за многопроцессорности (4-8 AMD Opteron Quadcore), плюс куча памяти. И всё это за небольшие деньги, 200-500$. Вот и думаю, есть ли смысл...

[leviathan]

ноут с i5

8Gb

винт

Всё это поменять на что следует. Можно собрать нормальный десктоп с хорошим i7 процем, 32 Гиг памяти и SSD-шками. Выйдет недёшего.

[smitty0]

Можно собрать нормальный десктоп с хорошим i7 процем, 32 Гиг памяти и SSD-шками. Выйдет недёшего.

Вот именно, очень недёшево, и при этом существенного улучшения по быстродействию, думаю, не будет.

[Грехов Михаил]

Сервер не нужен. Нужен софт, позволяющий подключить в обработку мощный процессор видеокарты с ядрами CUDA. Либо как вариант-что-то для поточных вычислений типа Intel Knights Corner (тоже наверное потребуется специализированный софт).

А вообще интересно - зачем же для дипов их снимать? Вытягивать детали? Тончайшие ньюансы оттенков?

[smitty0]

Сервер не нужен. Нужен софт, позволяющий подключить в обработку мощный процессор видеокарты с ядрами CUDA. Либо как вариант-что-то для поточных вычислений типа Intel Knights Corner (тоже наверное потребуется специализированный софт).

А вообще интересно - зачем же для дипов их снимать? Вытягивать детали? Тончайшие ньюансы оттенков?

Pixinsight и CUDA - вещи пока несовместимые, пикс пока только процессорами разгонять можно. Разработчики уже пару лет кормят обещаниями, нет смысла ждать ещё пару лет.

Дипы я снимаю короткими выдержками (до 5 сек), технология Lucky Imaging, позволяет минимизировать ошибки ведения монтировки и дисторсии атмосферы. Как следствие, деталировка существенно улучшается.

P.S. Наглядный бенчмарк процессоров.

[Грехов Михаил]

Дипы я снимаю короткими выдержками (до 5 сек), технология Lucky Imaging, позволяет минимизировать ошибки ведения монтировки и дисторсии атмосферы. Как следствие, деталировка существенно улучшается.

Очень интересно.... а примеры работ где можно увидеть? Что при этом получается?

пикс пока только процессорами разгонять можно. Разработчики уже пару лет кормят обещаниями, нет смысла ждать ещё пару лет.

Тогда видимо надо зреть ядрами/потоками. Ну или пилить разработчиков... Хотя вот давеча Луну снимал... на 4-х ядерном (8 потоков) Core 4700 с 12 Гб оперативы Регистаксом ушло на обработку 2...2.5 часа. Большая часть из которых - расстановка реперных точек привязки (штук 300 наставил) и играние настройками программы. Начал в 7 вечера.... 5 роликов обработал к 4-м ночи.

[smitty0]

Дипы я снимаю короткими выдержками (до 5 сек), технология Lucky Imaging, позволяет минимизировать ошибки ведения монтировки и дисторсии атмосферы. Как следствие, деталировка существенно улучшается.

Очень интересно.... а примеры работ где можно увидеть? Что при этом получается?

В моём блоге, либо в инете, полно таких работ существенно лучше моих. Работы не ахти, учусь, но лично я вижу в этом будущее для любительского астрофото.

пикс пока только процессорами разгонять можно. Разработчики уже пару лет кормят обещаниями, нет смысла ждать ещё пару лет.

Тогда видимо надо зреть ядрами/потоками. Ну или пилить разработчиков... Хотя вот давеча Луну снимал... на 4-х ядерном (8 потоков) Core 4700 с 12 Гб оперативы Регистаксом ушло на обработку 2...2.5 часа. Большая часть из которых - расстановка реперных точек привязки (штук 300 наставил) и играние настройками программы. Начал в 7 вечера.... 5 роликов обработал к 4-м ночи.

Вот и я об этом. Проблема в том что не сталкивался с многопроцессорными машинами, не знаю с какой стороны к ним подходить...

[leviathan]

Можно собрать нормальный десктоп с хорошим i7 процем, 32 Гиг памяти и SSD-шками. Выйдет недёшего.

Вот именно, очень недёшево, и при этом существенного улучшения по быстродействию, думаю, не будет.

Неверно думаете, ещё как будет !

[smitty0]

Можно собрать нормальный десктоп с хорошим i7 процем, 32 Гиг памяти и SSD-шками. Выйдет недёшего.

Вот именно, очень недёшево, и при этом существенного улучшения по быстродействию, думаю, не будет.

Неверно думаете, ещё как будет !

Лучше чем, к примеру, такая конфигурация?
Proliant DL585 G5 Server
- 4x AMD Opteron 8360 2.50GHz quad core
- 16x 4GB DIMM 2Rx4 PC2-5300P-555
- 4x 146GB R10k SAS 2.5"
- Smart Array P400
- 2x NC-360T 1GB dual port

[Грехов Михаил]

но лично я вижу в этом будущее для любительского астрофото.

Отчасти да.... а отчасти и нет. Рулит апертура. Потом сиинг. Потом темнота неба. Если по части ярких планетарок мы еще сможем что-то достичь, но вот по части тусклых объектов, которых в узкой полосе копить часами - вряд ли.

"Повыжимать" кое что из инструмента и из апертуры в отдельных условиях при должной яркости этих дипов-можно. Но не более того.  Тоже вот интересно выжать для моей апертуры двойные и развал шаровых скоплений. В эти выходные хотел.... но увы, роса все смутила...грелок нет.

[smitty0]

но лично я вижу в этом будущее для любительского астрофото.

Отчасти да.... а отчасти и нет. Рулит апертура. Потом сиинг. Потом темнота неба. Если по части ярких планетарок мы еще сможем что-то достичь, но вот по части тусклых объектов, которых в узкой полосе копить часами - вряд ли.

"Повыжимать" кое что из инструмента и из апертуры в отдельных условиях при должной яркости этих дипов-можно. Но не более того.  Тоже вот интересно выжать для моей апертуры двойные и развал шаровых скоплений. В эти выходные хотел.... но увы, роса все смутила...грелок нет.

Как сказать... Насколько я помню, всё упирается в шум считывания, а эту проблему со временем решают - у моей ASI178MC он всего 2.2e. Пробовал M16 (при плохих условях) - неплохо проявляется (489х5сек, собрано на скорую руку чисто для оценки), думаю есть шансы и для тёмных дипов, главное условие то же самое - побольше сигнала.

[jet]

В i7,i3 половина потоков от hyper-threading. Надо смотреть есть ли от вирт потоков смысл.
Т.к. он не везде есть в софте и мб даже уменьшение производительности.
Если НТ работает хорошо с софтом то рекомендую недорогой Xeon E3-1231V3, который поддерживается обычными платами на чипсетах H81/B85/H-Z 87 и 97. Единственный "недостаток" (мб для кого-то)отсутствие видео ядра.
Быстрый холодный и надёжный проц. Можно использовать и в серверных материнках.

[jet]

Лучше чем, к примеру, такая конфигурация?
Proliant DL585 G5 Server
- 4x AMD Opteron 8360 2.50GHz quad core
- 16x 4GB DIMM 2Rx4 PC2-5300P-555
- 4x 146GB R10k SAS 2.5"
- Smart Array P400
- 2x NC-360T 1GB dual port

Лучшее что вы с этим можете сделать, после того как купите,-выкинуть в мусоропровод. Если не коллекционер антиквариата. Редкая рухлядь...

[Jaws]

Поначалу надо смотреть профиль загрузки в диспетчере задач - если все ядра процессора постоянно загружены (общая 100%) то прирост их количества и производительности на единицу будут востребованы. Если же проседает дисковая система - процессор будет свободен, надо смотреть в строну SSD.

[smitty0]

В i7,i3 половина потоков от hyper-threading. Надо смотреть есть ли от вирт потоков смысл.
Т.к. он не везде есть в софте и мб даже уменьшение производительности.
Если НТ работает хорошо с софтом то рекомендую недорогой Xeon E3-1231V3, который поддерживается обычными платами на чипсетах H81/B85/H-Z 87 и 97. Единственный "недостаток" (мб для кого-то)отсутствие видео ядра.
Быстрый холодный и надёжный проц. Можно использовать и в серверных материнках.

Да, спасибо, уже щупаю пути в сторону ксеонов, думаю будет двухпроцессорная материнка для них родимых. Видео практически не имеет значения, пикс не использует мощности видеокарт (по крайней мере пока - идут разговоры что в следующей версии будет), так что вся надежда на проц. Диски - что-нить быстрое и недорогое, а вот памяти надо много, чем больше тем лучше - думаю не менее 32 Гб. Я заметил что при работе с ~1500 кадрами пикс делает своп ~45 гиг (при оперативке в 8 гиг), думаю это и есть ахиллесова пята пикса.

[xd]

Размер свопа как смотрите? Процессор 64-битный? Не исключено, что он просто проецирует файлы в память, и они считаются областью подкачки. Какой общий размер файлов?

[hyperion]

Вот делаю алайн пинпоинтом в максиме.
Проц на 100% не грузится. Думаю узкое место - скорость оперативной памяти
Проц i52500k, win7 x64

[Jaws]

Вот делаю алайн пинпоинтом в максиме.
Проц на 100% не грузится. Думаю узкое место - скорость оперативной памяти
Проц i52500k, win7 x64

Скорость памяти не может так тормозить процессор. Могла бы сказываться нехватка памяти, но у вас промахов в RAM немного.

По графику загрузки процессора около 25% и тому, что CPU четырехпоточный,  можно предположить, что эта задача вообще не распараллелена.

Не всякую задачу можно с легкостью переписать под многопоточную обработку. Например обработка геометрии (вершин сетки) параллелится "на ура", хоть по одному ядру на каждую вершину. А физика, где результат каждой итерации зависит от результата "соседней", уже заставит подумать. Задача переписать алгоритм использующий два потока на использование четырех, так же может составить проблему. Что далеко ходить - даже winrar не утилизирует четыре ядра (в основное время использует два ядра).

По HDD - длина очереди больше 1 говорит о том, что дисковая система является узким горлышком. Но у вас, судя  по всему (если масштаб графика 0.5), с этим проблем нет.