Мощный комп для обработки

[hyperion]

Я как бы о чем и говорю что смысла городить многопроцессорную станцию на ксеонах бессмысленная идея. Только максимальная частота процессора и памяти.
По ХДД активность волнами - идет чтение и запись фитов после астрометрии. Как вы уже сказали проблема не в жестком.
Если процессор не загружен, память свободная есть, жесткий тоже не перегружен, так что еще может сказываться? Имхо только скорость памяти.

[smitty0]

Я как бы о чем и говорю что смысла городить многопроцессорную станцию на ксеонах бессмысленная идея. Только максимальная частота процессора и памяти.
По ХДД активность волнами - идет чтение и запись фитов после астрометрии. Как вы уже сказали проблема не в жестком.
Если процессор не загружен, память свободная есть, жесткий тоже не перегружен, так что еще может сказываться? Имхо только скорость памяти.

Фотометрия - единичная работа, в потоке я так понимаю может использоваться разве что для поиска новых объектов на снимке, а до такой работы ещё не дорос Изначально задача ставилась для работы с пиксом, а он-то прожорлив именно до процессоров и памяти, использует всё что есть (загрузка 100% при обработке это норма).

Выводы сделал, буду собирать станцию на ксеонах (2 штуки минимум), всем спасибо за советы!

[Jaws]

Я как бы о чем и говорю что смысла городить многопроцессорную станцию на ксеонах бессмысленная идея. Только максимальная частота процессора и памяти.
По ХДД активность волнами - идет чтение и запись фитов после астрометрии. Как вы уже сказали проблема не в жестком.
Если процессор не загружен, память свободная есть, жесткий тоже не перегружен, так что еще может сказываться? Имхо только скорость памяти.

Нет-нет, "скорость памяти", да еще для процессора с интегрированным контроллером, если и может сказаться, то это +/- 5 процентов. Процессор спроектирован так, что память не может стать узким горлом, если только этого не делать специально. Не может быть "этого же" процессора, но с памятью в два раза "быстрее". По сути весь запас в настройках таймингов и частоты (а они находятся, к сожалению, в обратной взаимозависимости ).
А процессор у вас "свободен" потому как задача, по крайней мере ее конкретная реализация, не в состоянии утилизировать более одного ядра.  Т.е. только подъем частоты процессора, или более прогрессивная его архитектура могут дать выигрыш в данном случае.

[hyperion]

Не могу с вами согласиться.
Процесс распараллеливается. Это видно по разным загруженным ядрам. Был бы он одно поточный - было загружено только одно ядро.
Как я вижу - идут интенсивные операции внутри ячеек памяти. Что то копируется туда-сюда а процессор задействуется только когда работа с памятью окончена и нужны какие то арифметические операции над данными.
Взять те же бенчмарки, аида64 или OCCT. Они проц грузят на все 100% арифметическими операциями.

[jet]

Если процессор не загружен, память свободная есть, жесткий тоже не перегружен, так что еще может сказываться? Имхо только скорость памяти.

Кривой код программы. Для таких плохораспараллеленных задач проще тогда копеечный G3258 в разгон до 4.3-4.5 на плате Z97, толку будет поболее чем от дорогих много ядерных зионов или i7.
Контроллер памяти уже лет 10 как непосредственно  в процессорах встроен, так что пропускная способность памяти давно не проблема.

[Jaws]

Не могу с вами согласиться.
Процесс распараллеливается. Это видно по разным загруженным ядрам. Был бы он одно поточный - было загружено только одно ядро.
Как я вижу - идут интенсивные операции внутри ячеек памяти. Что то копируется туда-сюда а процессор задействуется только когда работа с памятью окончена и нужны какие то арифметические операции над данными.
Взять те же бенчмарки, аида64 или OCCT. Они проц грузят на все 100% арифметическими операциями.

То что поток выполняется на разных ядрах не означает что он распараллеливается (тут этот "процесс" последовательный, а не параллельный. ОС по своему разумению перекидывает исполнение на другое ядро выделяя очередной квант времени для задачи). Вы можете это проверить,  привязав в диспетчере задач процесс к одному из ядер. При этом вы не потеряете, в нашем случае, ни "грамма" производительности.  Проверьте, если это не сложно.

[hyperion]

Вот привязал фитстекер к одному ядру. Загрузка одного 100% остальные почти простаивают. Ничто никуда не перекидывает.
Если стоят галки на всех ядрах то ни один на 100% постоянно не грузится.

[Jaws]

Вот привязал фитстекер к одному ядру. Загрузка одного 100% остальные почти простаивают. Ничто никуда не перекидывает.
Если стоят галки на всех ядрах то ни один на 100% постоянно не грузится.

Ну для полноты надо сделать замер времени, и... что мы докажем, в случае если увидим, что чуда не произошло и задача выполнилась за то же время? А то, что и так было видно, она не может прыгнуть выше 25% утилизации процессора, что для четырех ядерной модели CPU наталкивает на мысль, что задача по своей реализации однопоточная. Если бы ей мешало что-то иное (диск,отсутствие достаточного количества памяти) то она могла бы замереть например на 33% или 67%, но нет - 25%. Уверяю, запустите эту задачу на восьми-поточном CPU - загрузка будет 13%.

[Алексей Юдин]

Проблема в том что не сталкивался с многопроцессорными машинами, не знаю с какой стороны к ним подходить..

Тут всё как раз вполне понятно - надо начать с софта и определить его узкие места.

Первое упражнение для Вас - определить масштабирование производительности от объёма памяти. Экспериментируйте с разными объёмами серии, если выясните, что критично упираетесь в своп, то поймаете резкое ускорение на некоторой небольшой и короче серии.

Вообще, обработка серий кадров - это не задача для машин с общей памятью и даже кластеров. Это грид-задача, поскольку тяжесть обработки внутри кадра и внутри субсерии кадров доминирует над очень небольшими объёмами передаваемых результатов. Поэтому если строить оптимальную по цене/производительности решётку, то состоять она будет из верхнего десктопа с абы каким эзернетом. Разбивку на субсерии, не затыкающие узлы свопом, Вам предстоит осуществить самостоятельно, скриптами, как и объединение результатов работы отдельных узлов.

Выигрыш двойной - однопроцессорные узлы обладают невысокой ценой и высокими тактовыми частотами.

Если же идти прямолинейно в сторону увеличения памяти, то забудьте сразу о ксеонах на сокеты 115х. Это всего лишь перелицованные десктопы без поддержки регистровой памяти, с ними совершенно нечего ловить кроме символической скидки от i7(увы, за минусом разгона...) - это кандидаты в узел кластера/грида, не более. Аналогично FX83хх и соответствующие Оптероны 3ххх.

В то же время, если действительно нужно набрать солидный объём памяти, на зарубежных барахолках в изобилии встречаются рдиммы 4-8 гб рддр3. Поэтому выбор платформы - 1366/2011/С32/G34. Если надо просто умеренно набрать память, С32. Если хочется уже подразгуляться занедорого, G34.
1366 может быть копеечной по процам, но есть две проблемы - найти мамку и неподдержка AVX. 2011 недёшева и капризна, но если софт плохо масштабируется на большое количество ядер, она вполне может стать платформой выбора, однако, и цены наибольшие.

Обо всех ДДР2 платформах, как уже сказали выше, забудьте!

Хотя я бы, конечно, не драматизировал масштаб проблемы. Любительский астрософт в своей массе - известное деpьмище, писанное рукожoпами, чем особенно славится MaxIm DL, очень может оказаться, что используемым поделкам приличная машина - как корове седло. Вылезите для начала из свопа и перейдите с ноутбука на приличный 8-поточный десктоп и, возможно, всё уже станет терпимо, т.к. ноутбучный "i5" это, увы, то что в десктопе называется младшими моделями i3...

[Anatoly 64]

Лёша, 2011 сокет, если взять б.у., выйдет не так дорого. Проц 3820, мать и память, тысяч до 30 можно найти. Проц гонится до 4.5-4.6 ггц совершенно свободно. У самого такой. Система будет актуальна еще довольно долго.

[Алексей Юдин]

Да 3820 не нужен, под него подбор держащих рдиммы мамки/биоса - вопрос лотереи. Речь о 2011 на ксеонах, минимум двухсокетной.

[Jaws]

Вообще, наличие большого свопа еще не факт того, что задача активно его использует. Возможно разработчики просто не "сократили дроби" или им нравятся большие числа. 
Топикстартеру похвалиться бы длинной очереди диска, а то - "все ядра на 100% загружены" и т.д, но тогда только увеличение их, ядер, количества и частоты.

[xd]

Это видно по разным загруженным ядрам. Был бы он одно поточный - было загружено только одно ядро.

В корне неверно. Планировщик потоков операционки может перемещать потоки и процессы между ядрами. В настройках диспетчера задач включите показ количества потоков. Если будет 1 или 2 (1 на GUI и 1 на расчёт), то оставьте свои иллюзии о параллелизме. Если интересны глубоко технические моменты, могу завтра дать ссылку на детальное описание работы планировщика потоков в Windows семейства NT

[Anatoly 64]

Речь о 2011 на ксеонах, минимум двухсокетной.

Золотой системник получится.

[Алексей Юдин]

Если брать новое и официальное, то да. При таком раскладе только грид выгоден. Но если набрать инженерников с eбая и б/у рдиммов, то расклад может быть поинтереснее. Правда, с Интелом есть тугой момент - для инженерников изрядную стопку мамок перепробовать возможно придётся...

[Алексей Юдин]

А вообще, что-то разговор слишком теоретический - топикстартер, пакуйте поскорее бенч, а мы погоняем у кого на чём есть!

[VAKT]

Если же идти прямолинейно в сторону увеличения памяти, то забудьте сразу о ксеонах на сокеты 115х. Это всего лишь перелицованные десктопы без поддержки регистровой памяти, с ними совершенно нечего ловить кроме символической скидки от i7(увы, за минусом разгона...) - это кандидаты в узел кластера/грида, не более. Аналогично FX83хх и соответствующие Оптероны 3ххх.

Вы не правы: даже на кастрированном socket1156 работают ксеоны серии x3400 которые поддерживают ECC. Вот пруф на первоисточник, где я выбрал доступный и недорогой xeon x3450 (десктопный аналог i7-850), процитирую:

Поддержка памяти ECC     Yes

Цена этого камня на авито - 3500 руб., что в купе с матплатой и одной планкой памяти на 16ГБ выйдет не дороже 10000 руб.

т.к. ноутбучный "i5" это, увы, то что в десктопе называется младшими моделями i3...

А тут соглашусь, но с оговоркой т.к. есть с чем сравнивать: два ноутбука, один из которых на i7 первого поколения (i7-740qm), а другой на i5 третьего поколения (i5-4210u), я ожидал, что i5 третьего поколения будет не хуже i7 первого, но оказалось совсем нет - сокетный core i7 нехалем в целом шустрее.

[jet]

ИМХО с серверами подзагнули. Если автор узнает сколько стоит небольшой набор SSD под SAS, его энтузиазм исчезнет, надолго. А ведь кроме того многое надо настраивать ручками. В общем, я это себе как то плохо представляю в домашних условиях... Ещё понимаю там NAS какой-нибудь, или вебсервер там, в режиме 24/365.
Все таки, рабочая станция и сервер это несколько разные темы
Если время не критично то поставить можно хоть 2-ядерный селерон. Загрузил его вечером работой-утром готово.
Дёшево и сердито.
Если время критично, а объемы большие то поискать "облачные" сервисы, как вариант.

[jet]

Это видно по разным загруженным ядрам. Был бы он одно поточный - было загружено только одно ядро.

В корне неверно. Планировщик потоков операционки может перемещать потоки и процессы между ядрами. В настройках диспетчера задач включите показ количества потоков. Если будет 1 или 2 (1 на GUI и 1 на расчёт), то оставьте свои иллюзии о параллелизме. Если интересны глубоко технические моменты, могу завтра дать ссылку на детальное описание работы планировщика потоков в Windows семейства NT

Запустить несколько копий, по числу ядер. Это самый простой способ загрузки процессора.
Др дело что в реальной работе это не всегда целесообразно, но попробовать стоит.

[Anatoly 64]

О каких объёмах оперативки речь? Тот же старый уже SB-E работает с 64 гигами обычной памяти в четырёхканале.