A A A A Автор Тема: Компьютер для обработки изображений  (Прочитано 6153 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн kisАвтор темы

  • *****
  • Сообщений: 3 636
  • Благодарностей: 46
  • Мне нравится этот форум!
    • Сообщения от kis
    • сеть ультранет
Нда...
Озаботился сборкой компа под матрицу  :o
После проведенного по вопросу совещания результат меня не сильно обрадовал  :-\

 раид
 контролер 3ware
4х76 гб SAS в R0
и
2х750 в R1

ну а дальше все вобщем то стандартно за исключением памяти  ( дорогая она зараза ) попробую пока ограничиться 4 гб потом видно будет

Оффлайн Garmisch

  • *****
  • Сообщений: 8 019
  • Благодарностей: 293
  • Награды Неоднократный победитель конкурса астрофото
    • Сообщения от Garmisch
    • http://500px.com/ybeletsky
Компьютер для обработки изображений
« Ответ #1 : 07 Апр 2008 [15:50:01] »
раид
 контролер 3ware
4х76 гб SAS в R0

Было бы здорово послушать специалистов по Raid, что они порекомендуют ? Честно говоря, я пока не рискую его себе ставить (в Windows предпочитаю раздельные диски, хотя это и дополнительные разделы).

Экспедиция в Атакаму: https://astronomy.ru/forum/index.php/topic,117810.0.html
Моя галерея: http://500px.com/ybeletsky
Моя страница в Google+: http://google.com/+YuriBeletsky
Twitter: https://twitter.com/YBeletsky

Оффлайн kisАвтор темы

  • *****
  • Сообщений: 3 636
  • Благодарностей: 46
  • Мне нравится этот форум!
    • Сообщения от kis
    • сеть ультранет
Компьютер для обработки изображений
« Ответ #2 : 07 Апр 2008 [15:53:18] »
Ну дык а с кем ты думаешь я совещание проводил  с дворниками что ли  ;D Это вполне правильная комбинация для данной задачи. Из серии необходимо и достаточно.
Можны было бы даже попроще.

Оффлайн Max_canaryskies

  • *****
  • Сообщений: 5 213
  • Благодарностей: 112
  • в командировке тел. +372 54440600 кому срочно
    • Skype - max_anderson
    • Сообщения от Max_canaryskies
    • www.astroshell.com
Компьютер для обработки изображений
« Ответ #3 : 07 Апр 2008 [15:55:26] »
Raid 0 * 4 SAS диска последней модели 15000 оборотов одно из самых быстрых решений с разумной ценой, но этот массив надо использовать только для временного хранения и обработки данных, так как надежность хранения на таком массиве довольно низкая.

Для хранения данных дополнительно поставить парочку раздельных дисков не в массиве, с копированием вручную или по расписанию.

Оффлайн kisАвтор темы

  • *****
  • Сообщений: 3 636
  • Благодарностей: 46
  • Мне нравится этот форум!
    • Сообщения от kis
    • сеть ультранет
Компьютер для обработки изображений
« Ответ #4 : 07 Апр 2008 [16:00:07] »
Ну все правильно ( именно так и планируется )
Только большие диски я буду все равно зеркалом ставить ну а данные съемок исходники и прочее храняться все равно на других компах да еще дублируются на двд.
Так что общая степень надежности сохранения данных вполне достаточна..
У меня там ничего ценного кроме фотографий собственно и нет.  Все5 же я не датацентр строю а домашний комп для обработки фотографий  ;)

datumn

  • Гость
Компьютер для обработки изображений
« Ответ #5 : 07 Апр 2008 [16:20:17] »
Нда...
Озаботился сборкой компа под матрицу  :o
После проведенного по вопросу совещания результат меня не сильно обрадовал  :-\

 раид
 контролер 3ware
4х76 гб SAS в R0
и
2х750 в R1

ну а дальше все вобщем то стандартно за исключением памяти  ( дорогая она зараза ) попробую пока ограничиться 4 гб потом видно будет

А может, вместо RAID лучше организовать RAM-диск (все на Win x64)?

Оффлайн lazyBSD

  • *****
  • Сообщений: 3 366
  • Благодарностей: 10
    • Сообщения от lazyBSD
Компьютер для обработки изображений
« Ответ #6 : 07 Апр 2008 [16:31:18] »
А может, вместо RAID лучше организовать RAM-диск (все на Win x64)?
Здравая мысль! :)
/ссылка запрещена правилами форума/

Оффлайн Max_canaryskies

  • *****
  • Сообщений: 5 213
  • Благодарностей: 112
  • в командировке тел. +372 54440600 кому срочно
    • Skype - max_anderson
    • Сообщения от Max_canaryskies
    • www.astroshell.com
Компьютер для обработки изображений
« Ответ #7 : 07 Апр 2008 [16:37:33] »
В RAM-диске возникнут проблемы с его малым размером (или возникнут проблемы с кошельком  ;D)

Есть варианты SSD, но эта технология еще не созрела.
« Последнее редактирование: 07 Апр 2008 [16:39:09] от Max_canaryskies »

Оффлайн Mihail Sedyh

  • *****
  • Сообщений: 6 018
  • Благодарностей: 33
    • Сообщения от Mihail Sedyh
Компьютер для обработки изображений
« Ответ #8 : 07 Апр 2008 [16:48:28] »
ну а дальше все вобщем то стандартно за исключением памяти  ( дорогая она зараза )
Сергей, а это какую такую дорогую (особенно по сравнению с 4мя САС-дисками) память ты имеешь в виду?

Насчет виртуального диска  не совсем уверен (оперативки и так немного), а вот помниться была какая-то дивайсина в которую втыкались планки памяти и все это в слот мамки для эмуляции диска - там вроде и памяти побольше и система вроде на нем же могла работать.... (Или ее и имели в виду?)
 
Да, насчет экспериментов с сырыми кадрами мня чем-то зацепила простенькая консольная dcraw ( http://www.cybercom.net/~dcoffin/dcraw/index_ru.html ( по ссылкам есть исполняемые файлы)).
« Последнее редактирование: 07 Апр 2008 [16:51:29] от Mihail Sedyh »
"Алькор", Бинокль 10х50, Coronado PST, доб 235/1157, МТ-3С

Оффлайн NKV

  • *****
  • Сообщений: 5 064
  • Благодарностей: 102
  • Nikolay Volkov
  • Награды Победитель ежегодного конкурса астрофото
    • Сообщения от NKV
Компьютер для обработки изображений
« Ответ #9 : 07 Апр 2008 [17:10:17] »
дивайсина в которую втыкались планки памяти и все это в слот мамки для эмуляции диска - там вроде и памяти побольше и система вроде на нем же могла работать....
Gigabyte i-RAM (GC-RAMDISK): жесткий диск на базе DDR SDRAM
G11, TT320, 40Da, TOA150F, FSQ106, PL16803, ...

mvp

  • Гость
Компьютер для обработки изображений
« Ответ #10 : 07 Апр 2008 [17:29:07] »
SSD память имеет ограниченное число циклов чтение/запись, тем более когда при обработке так все свопиться. Тут нужно как говорили выше серверную платку с процами, побольше памяти, хороший контроллер с большим кэшем PCI-X под рэйд 0+1 или вообще 5, ну и самое главное выкинуть Висту нафиг и поставить 2003 или 2008 сервер. Они кстати в отличие от Висты лучше распределяют ресурсы и память для тяжелых процессов. Если уж и этого не хватет, тогда NLB кластер городить переходя на энтерпрайз :)

Оффлайн Uselink

  • *****
  • Сообщений: 4 307
  • Благодарностей: 36
    • Сообщения от Uselink
Компьютер для обработки изображений
« Ответ #11 : 07 Апр 2008 [17:48:16] »
SSD память имеет ограниченное число циклов чтение/запись, тем более когда при обработке так все свопиться. Тут нужно как говорили выше серверную платку с процами, побольше памяти, хороший контроллер с большим кэшем PCI-X под рэйд 0+1 или вообще 5, ну и самое главное выкинуть Висту нафиг и поставить 2003 или 2008 сервер. Они кстати в отличие от Висты лучше распределяют ресурсы и память для тяжелых процессов. Если уж и этого не хватет, тогда NLB кластер городить переходя на энтерпрайз :)
Да, кстати мысль о 5 рейде очень полезна, прекрасная защита данных плюс непрерывность работы в случае отказов диска. 2008 сервер не нужен  :'( на него пока что без слёз не взглянешь, 2003 очень надёжен и лишних функций (как в 2008 в нём нет).
« Последнее редактирование: 07 Апр 2008 [17:50:56] от Uselink »
Не знаю, как у других, но моя звезда - это Солнце. ©
Только любовь спасёт этот мир...

Оффлайн Max_canaryskies

  • *****
  • Сообщений: 5 213
  • Благодарностей: 112
  • в командировке тел. +372 54440600 кому срочно
    • Skype - max_anderson
    • Сообщения от Max_canaryskies
    • www.astroshell.com
Компьютер для обработки изображений
« Ответ #12 : 07 Апр 2008 [18:04:53] »
Дохлый этот RAM - диск от гигабайта. Объем маленький, да и скорость передачи данных не очень.

Оффлайн Evgeniy Zhukov

  • *****
  • Сообщений: 1 665
  • Благодарностей: 41
  • И один в поле воин, если он - астрофотограф!
  • Награды Призер конкурса астрофото
    • Сообщения от Evgeniy Zhukov
    • Посильная любительская астрономия.
Компьютер для обработки изображений
« Ответ #13 : 07 Апр 2008 [18:15:01] »
Нда...
Озаботился сборкой компа под матрицу  :o
После проведенного по вопросу совещания результат меня не сильно обрадовал  :-\
Да,Серёга,уж больно резкий переход ты осуществил при выборе приёмника! :D
Теперь, чтобы адекватно его задействовать, нужно пару лет подождать, пока вменяемое железо для компа появится! ;)
А что делать в горах?
Хотя,я уверен,что все эти проблемы ты преодолеешь!

Оффлайн Mihail Sedyh

  • *****
  • Сообщений: 6 018
  • Благодарностей: 33
    • Сообщения от Mihail Sedyh
Компьютер для обработки изображений
« Ответ #14 : 07 Апр 2008 [18:19:48] »
Дохлый этот RAM - диск от гигабайта. Объем маленький, да и скорость передачи данных не очень.
Ну судя по статье - да, но ей же уже 2 года, да и ДДР1 наверное уже трудно найти. А что никаких более продвинутых аналого с тех пор не появлялось?
"Алькор", Бинокль 10х50, Coronado PST, доб 235/1157, МТ-3С

Оффлайн Семен

  • *****
  • Сообщений: 3 285
  • Благодарностей: 18
  • Нда
    • Сообщения от Семен
Компьютер для обработки изображений
« Ответ #15 : 07 Апр 2008 [18:24:52] »
вот и покупай после этого ФЛИ  ;D
всего хорошего,
Семен

datumn

  • Гость
Компьютер для обработки изображений
« Ответ #16 : 07 Апр 2008 [18:28:29] »
Насчет виртуального диска  не совсем уверен (оперативки и так немного), а вот помниться была какая-то дивайсина в которую втыкались планки памяти и все это в слот мамки для эмуляции диска - там вроде и памяти побольше и система вроде на нем же могла работать.... (Или ее и имели в виду?)

Ну почему же оперативки немного. Я же говорил о Win x64.

То есть. Берем машину, например, с 16 Гб. OS нужна - с поддержкой EMT64. Процесс там может обращаться с 64-разрядными адресами (это как программа-максимум), но уж до 16 Гб как минимум все пока еще адресуется на практике. И это относится как к задаче, так и к RAM-диску (виртуальному).

Насчет Maxim DL. С ним я последний раз работал 3 года назад. Он, будучи 32-х разрядным приложениям, чувствовал себя нормально в Win x64, в отличие от IRIS - на то время, повторюсь. Здесь было сказано, что Максиму нужен временный файл, с которым он небыстро взаимодействует. Причин, по которым взаимодействие медленное, немало. Среди них - неоптимальное взаимодействие с файлами вообще - как возможная причина. Тогда, конечно, и RAM-диск будет неважным помощником. Но, скорее всего, это не так; и тогда оперативная память даст очень большое преимущество над вращающимися железками :)

Драйвер 64-битного RAM-диска, например, здесь: http://www.start64.com/index.php?option=com_content&task=view&id=2004&Itemid=73

Оффлайн Uselink

  • *****
  • Сообщений: 4 307
  • Благодарностей: 36
    • Сообщения от Uselink
Компьютер для обработки изображений
« Ответ #17 : 07 Апр 2008 [18:32:07] »
А что делать в горах?
[/quote]
В горах понадобиться ещё и соответствующая  система обеспечения бесперебойного питания (APC Матрикс), охранная система и проч...
Не знаю, как у других, но моя звезда - это Солнце. ©
Только любовь спасёт этот мир...

mvp

  • Гость
Компьютер для обработки изображений
« Ответ #18 : 07 Апр 2008 [18:34:21] »
Цитата
вот и покупай после этого ФЛИ  Grin
Да уж. Тут решение мягко говоря не любительское. 8) Сомневаюсь что такие объемы данных щас можно комфортно обработать даже на сервере. Где нибудь в ESO вряд ли данные обрабатываются на рабочих станциях. У них там кластер в подсобке на Сане или ХП наверное во всю трудиться, а на рабочих станциях виден только результат, для дальнейшего неторопливого анализа в том же Максиме. Я к чему тут все же узкое место сам софт, ни многопоточности ни клиент-серверной части нет. По этому для таких больших приемников видимо есть API, что бы любая обсерватория могла под себя его (софт) адаптировать.

Цитата
Ну почему же оперативки немного. Я же говорил о Win x64.

То есть. Берем машину, например, с 16 Гб. OS нужна - с поддержкой EMT64. Процесс там может обращаться с 64-разрядными адресами (это как программа-максимум), но уж до 16 Гб как минимум все пока еще адресуется на практике. И это относится как к задаче, так и к RAM-диску (виртуальному).

Насчет Maxim DL. С ним я последний раз работал 3 года назад. Он, будучи 32-х разрядным приложениям, чувствовал себя нормально в Win x64, в отличие от IRIS - на то время, повторюсь. Здесь было сказано, что Максиму нужен временный файл, с которым он небыстро взаимодействует. Причин, по которым взаимодействие медленное, немало. Среди них - неоптимальное взаимодействие с файлами вообще - как возможная причина. Тогда, конечно, и RAM-диск будет неважным помощником. Но, скорее всего, это не так; и тогда оперативная память даст очень большое преимущество над вращающимися железками Smiley
По моему 64-х разрядная версия виндов кушает примерно вдвое больше памяти чем 32х, но адресует выше 4гиг. Так что выигрыш здесь не большой, а геммороя...
« Последнее редактирование: 07 Апр 2008 [18:40:31] от mvp »

Оффлайн Uselink

  • *****
  • Сообщений: 4 307
  • Благодарностей: 36
    • Сообщения от Uselink
Компьютер для обработки изображений
« Ответ #19 : 07 Апр 2008 [18:36:53] »
вот и покупай после этого ФЛИ  ;D
У меня колесо от ФЛИ, так и то без проблемы не обошлось, в комплекте идёт толстенный шнурок длиной метров 5, который на морозе просто превращается в стальной тросс и не гнётся, хотел переделать, так и на колесе и на USB-контроллере стоит разъём как RJ45 только на 10 контактов.... :)
Не знаю, как у других, но моя звезда - это Солнце. ©
Только любовь спасёт этот мир...