Телескопы покупают здесь


A A A A Автор Тема: Распределенные вычисления  (Прочитано 27597 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Freddykrug

  • *****
  • Сообщений: 15 607
  • Благодарностей: 403
  • Мечта: остров посреди океана, 300 ночей, > 500 мм.
    • Сообщения от Freddykrug
Re: Распределенные вычисления
« Ответ #60 : 10 Апр 2014 [20:48:24] »
Самое удивительное - то, что количество Линуксов стоит на 1-м месте  :D 
Впрочем, далеко ходить не надо: производительность тех же Астероидов резко пошла вверх после того, как они летом 2013 года сделали Виндоус-приложение. Смотрим график №2
Sky-Watcher Dob 8", Celestron Omni XLT 120, БЦП 20х60,  forum.boinc.ru

Оффлайн Yura12

  • ***
  • Сообщений: 188
  • Благодарностей: 12
    • Сообщения от Yura12
    • Астрономическая обсерватория ПетрГУ
Re: Распределенные вычисления
« Ответ #61 : 10 Апр 2014 [20:51:11] »
Самое удивительное - то, что количество Линуксов стоит на 1-м месте

Самое удивительное не это, а то, что вклад Windows 7 во много раз больше вклада Windows XP, при том, что XP существует уже 13 лет и она была самой распространённой!
Здесь http://asterion.petrsu.ru/astronomy_archive/ архив выпусков Астрономической газеты

Оффлайн Freddykrug

  • *****
  • Сообщений: 15 607
  • Благодарностей: 403
  • Мечта: остров посреди океана, 300 ночей, > 500 мм.
    • Сообщения от Freddykrug
Re: Распределенные вычисления
« Ответ #62 : 10 Апр 2014 [20:58:26] »
Ничего удивительного. После выхода семерки (22 октября 2009 года) мощь компьютеров увеличилась (не сколько ЦПУ, сколько видеокарт. К выходу 7-ки топовыми Радеоновскими картами были карточки 5000-й серии. Которые ныне в РВ не котируются).

Да и 64-битная семерка считает быстрее, чем 32-битная ХР.
Sky-Watcher Dob 8", Celestron Omni XLT 120, БЦП 20х60,  forum.boinc.ru

Оффлайн Yura12

  • ***
  • Сообщений: 188
  • Благодарностей: 12
    • Сообщения от Yura12
    • Астрономическая обсерватория ПетрГУ
Re: Распределенные вычисления
« Ответ #63 : 10 Апр 2014 [21:02:04] »
Понятно. Спасибо.

И всё же сделать счёт как подпроект gerasim@home было бы очень заманчиво.
Здесь http://asterion.petrsu.ru/astronomy_archive/ архив выпусков Астрономической газеты

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #64 : 10 Апр 2014 [21:22:08] »
AlexA дал мне контакты ребят, которые у нас в стране занимаются BOINC'ом. Будет определенность - напишу им.

Оффлайн evatutin

  • Новичок
  • *
  • Сообщений: 4
  • Благодарностей: 2
  • Мне нравится этот форум!
    • Сообщения от evatutin
Re: Распределенные вычисления
« Ответ #65 : 10 Апр 2014 [22:26:00] »
LeonidOS
Если у вас будет/есть расчетный код, готов помочь с его адаптацией/оптимизацией под РВ. Разумеется, по мере наличия свободного времени. А можно обратиться к Михаилу и К, им отдельный подпроект сделать проще, чем в Герасиме

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #66 : 10 Апр 2014 [22:45:27] »
Спасибо. Хочется для себя понять принцип работы клиента BOINC. Какие к нему предъявляются требования. Грубо говоря, я пишу клиент в соответствии с требованиями BOINC или, к примеру, я могу использовать свои выполняемые файлы, вызывая их через клиент BOINC?

Оффлайн evatutin

  • Новичок
  • *
  • Сообщений: 4
  • Благодарностей: 2
  • Мне нравится этот форум!
    • Сообщения от evatutin
Re: Распределенные вычисления
« Ответ #67 : 10 Апр 2014 [23:31:40] »
LeonidOS
Вызывать можно из-под wrapper'а, но с некоторыми ограничениями. Wrapper'ом запускается ваше счетное консольное приложение, которое в соответствии с SIMD-принципом читает входной xml-файл, присылаемый сервером проекта, выполняет соответствующую долю расчетов и формирует выходной файл, отправляемый BOINC Manager'ом обратно на сервер. Во время расчета желательно сообщать о прогрессе и делать контрольные точки с возможностью последующего рестарта с них

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #68 : 10 Апр 2014 [23:58:50] »
Прогресс и возможность рестарта есть. Принцип понятен, где можно об этом более детально почитать?

Оффлайн evatutin

  • Новичок
  • *
  • Сообщений: 4
  • Благодарностей: 2
  • Мне нравится этот форум!
    • Сообщения от evatutin
Re: Распределенные вычисления
« Ответ #69 : 11 Апр 2014 [00:10:26] »
Если про Герасим, то подозреваю, что нигде :). Для стандартного BOINC сервера наверняка есть официальное описание. Есть группа статей Евгения Ивашко (http://www.ibm.com/developerworks/ru/library/l-grid/index.html для начала), в ней более менее описан процесс работы

Оффлайн e+

  • *****
  • Сообщений: 4 387
  • Благодарностей: 166
  • Урания, ВАГО
    • Сообщения от e+
Re: Распределенные вычисления
« Ответ #70 : 11 Апр 2014 [00:20:57] »
Прогресс и возможность рестарта есть. Принцип понятен, где можно об этом более детально почитать?
Возможно, вам стоит обратиться к Nauchnik-у на BOINC.Ru. Он разработчик SAT@home - самого настоящего BOINC-проекта. Насколько я понимаю, он знает что делать.
:)

Оффлайн e+

  • *****
  • Сообщений: 4 387
  • Благодарностей: 166
  • Урания, ВАГО
    • Сообщения от e+
Re: Распределенные вычисления
« Ответ #71 : 11 Апр 2014 [00:34:07] »
Беда в том, что не хочется терять время на внедрение BOINC. Другой вариант привлечь людей кто уже умеет под него писать клиент.
Честно говоря - бессмысленная затея. Как минимум по трём причинам:
1. Число участников на самом деле будет невелико и если вам их хватит, то скорее всего вам вполне хватит и обычного компьютера. Просто придётся побольше подождать;
2. BOINC - некое общее поле. С общим языком, правилами, статистикой и т.п. Какими бы мы не были энтузиастами отдельно взятого проекта, поддерживать его, если он не будет на BOINC-поле - означает расшатывать общую конструкцию. А зачем это надо? Сейчас есть в некотором смысле единый пул ресурсов, который может быть переброшен из одного проекта в другой (другое дело, что для этого надо что-то предпринять), а когда они не будут нужны - их можно вернуть обратно. В случае с не-BOINC проектом - это не так. Мы, конечно, энтузиасты Астрономии, Физики и естестванных наук вообще, но не настолько чтобы ради чего-то одного гробить всю систему в целом;
3. Причина чисто техническая - в BOINC я легко могу задать приоритеты разных проектов. У меня могут считаться одновременно несколько проектов - один на одном ядре, другой - на другом и т.д. За тем, чтобы каждый проект получал время в соответствии следит BOINC который когда надо запускает расчёт, когда надо - останавливает. А что будет если у вашего проекта будет свой клиент? Значит его надо будет запускать параллельно BOINC-проектам и пытаться разруливать приоритеты между ними в ручную. А это неудобно. Придётся всё время смотреть - всё ли хорошо. IMHO - вам лучше тогда сделать отдельный подпроект в Gerasim@Home.

Надеюсь смог пояснить. Если что - ещё спрашивайте.
:)

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #72 : 11 Апр 2014 [22:54:43] »
Всем спасибо за интерес, буду думать.

Оффлайн pterodaktil

  • *****
  • Сообщений: 4 245
  • Благодарностей: 64
  • Евгений
    • Skype - pterodaktil02
    • Сообщения от pterodaktil
Re: Распределенные вычисления
« Ответ #73 : 11 Апр 2014 [23:20:04] »
Кстати, давно хотел промониторить тему, на заинтересованность помочь вычислениями для расчета орбит популяции астероидов сближающихся с Землей, как известных, так и виртуальных, для определения наилучшей стратегии их обнаружения.
Леонид,  с удовольствием  приму участие в  проекте (в смысле выделю мощности).
Куплю космический челнок, способный покинуть пределы солнечной системы.
Моя on-line метеостанция

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #74 : 11 Апр 2014 [23:25:32] »
Спасибо, буду иметь ввиду, если не пойду путем BOINC.

Оффлайн xd

  • *****
  • Сообщений: 17 977
  • Благодарностей: 378
    • Skype - deimos.belastro.net
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от xd
    • Белорусская любительская астрономическая сеть
Re: Распределенные вычисления
« Ответ #75 : 12 Апр 2014 [00:04:29] »
И я мощности выделю. Линь/вынь.
У природы нет плохой погоды, у неё просто на нас аллергия.

Учение без размышления бесполезно, но и размышление без учения опасно /Конфуций/
Слово есть поступок. /Л. Толстой/

Оффлайн e+

  • *****
  • Сообщений: 4 387
  • Благодарностей: 166
  • Урания, ВАГО
    • Сообщения от e+
Re: Распределенные вычисления
« Ответ #76 : 12 Апр 2014 [10:34:24] »
LeonidOS, ещё один момент - если вы предполагаете, что вам потребуются расчёты более чем на 10 машинах, например, то вам надо будет задумываться и над тем, как:
1) доставлять им задания и получать от них результаты;
2) как эти результаты сверять;
3) как использовать все ядра этих машин.

И, возможно, много чего-то ещё.
BOINC это берёт на себя. Но на него придётся потратить какое-то время. Можно на него не тратить, но тогда придётся делать всё вышеперечисленное вручную...

Оффлайн LeonidOS

  • Первооткрыватель комет, астероидов, сверхновых звезд
  • *****
  • Сообщений: 5 204
  • Благодарностей: 289
  • H15, Q60, N82, O75
  • Награды Открытие комет, астероидов, сверхновых звезд, научно значимые исследования.
    • Сообщения от LeonidOS
Re: Распределенные вычисления
« Ответ #77 : 12 Апр 2014 [11:51:47] »
Да, но это далеко не самое сложное. Создать обвязку которая будет скачивать задания и потом отсылать результат совсем не сложно. Можно запускать по задаче для каждого ядра или пользователь сможет сам выбрать это число. Тоже без проблем. И вполне возможно, что под данную задачу хватит десятка хороших машин. Как я понимаю пересылаемые данные в BOINC минимизированы? Кто знает примерный объем передаваемых данных на задачу?

Оффлайн Freddykrug

  • *****
  • Сообщений: 15 607
  • Благодарностей: 403
  • Мечта: остров посреди океана, 300 ночей, > 500 мм.
    • Сообщения от Freddykrug
Re: Распределенные вычисления
« Ответ #78 : 12 Апр 2014 [18:01:49] »
Для поиска пульсаров может закачать и 10 Мб/задание...  ::)
Sky-Watcher Dob 8", Celestron Omni XLT 120, БЦП 20х60,  forum.boinc.ru

Оффлайн e+

  • *****
  • Сообщений: 4 387
  • Благодарностей: 166
  • Урания, ВАГО
    • Сообщения от e+
Re: Распределенные вычисления
« Ответ #79 : 12 Апр 2014 [18:04:17] »
Да, но это далеко не самое сложное. Создать обвязку которая будет скачивать задания и потом отсылать результат совсем не сложно. Можно запускать по задаче для каждого ядра или пользователь сможет сам выбрать это число. Тоже без проблем.
Это хорошо, что без проблем. Вопрос во времени (которое, с другое стороны - ваше и вам виднее). В BOINC-то уже всё сделано.

Цитата
И вполне возможно, что под данную задачу хватит десятка хороших машин.
Но тогда можно запустить это всё на какой-нибудь паре-тройке-четвёрке Xeon-ов и всё.
:)

Цитата
Как я понимаю пересылаемые данные в BOINC минимизированы? Кто знает примерный объем передаваемых данных на задачу?
Общение с клиента с BOINC-сервером происходит примерно следующим образом:
1. Оправляется xml-файл запроса задания (как бы web RPC) в котором содержится информация о состоянии клиента в рамках проекта (надо для того, чтобы не было фантомных задач). Это несколько десятков кбайт.
2. Сервер отвечает своим xml-файлом размер которого зависит от того, что было сказано, но это тоже, как правило, килобайты.
3. В присланных заданиях есть ссылки на файлы которые BOINC-клиент скачивает и может далее либо приступать к обработке, либо ставит задание в ожидание.

В общем накладные расходы на сам BOINC - невелики. В основном это именно объём самих заданий и результатов.