Распределенные вычисления

[Freddykrug]

Самое удивительное - то, что количество Линуксов стоит на 1-м месте   
Впрочем, далеко ходить не надо: производительность тех же Астероидов резко пошла вверх после того, как они летом 2013 года сделали Виндоус-приложение. Смотрим график №2

[Yura12]

Самое удивительное - то, что количество Линуксов стоит на 1-м месте

Самое удивительное не это, а то, что вклад Windows 7 во много раз больше вклада Windows XP, при том, что XP существует уже 13 лет и она была самой распространённой!

[Freddykrug]

Ничего удивительного. После выхода семерки (22 октября 2009 года) мощь компьютеров увеличилась (не сколько ЦПУ, сколько видеокарт. К выходу 7-ки топовыми Радеоновскими картами были карточки 5000-й серии. Которые ныне в РВ не котируются).

Да и 64-битная семерка считает быстрее, чем 32-битная ХР.

[Yura12]

Понятно. Спасибо.

И всё же сделать счёт как подпроект gerasim@home было бы очень заманчиво.

[LeonidOS]

AlexA дал мне контакты ребят, которые у нас в стране занимаются BOINC'ом. Будет определенность - напишу им.

[evatutin]

LeonidOS
Если у вас будет/есть расчетный код, готов помочь с его адаптацией/оптимизацией под РВ. Разумеется, по мере наличия свободного времени. А можно обратиться к Михаилу и К, им отдельный подпроект сделать проще, чем в Герасиме

[LeonidOS]

Спасибо. Хочется для себя понять принцип работы клиента BOINC. Какие к нему предъявляются требования. Грубо говоря, я пишу клиент в соответствии с требованиями BOINC или, к примеру, я могу использовать свои выполняемые файлы, вызывая их через клиент BOINC?

[evatutin]

LeonidOS
Вызывать можно из-под wrapper'а, но с некоторыми ограничениями. Wrapper'ом запускается ваше счетное консольное приложение, которое в соответствии с SIMD-принципом читает входной xml-файл, присылаемый сервером проекта, выполняет соответствующую долю расчетов и формирует выходной файл, отправляемый BOINC Manager'ом обратно на сервер. Во время расчета желательно сообщать о прогрессе и делать контрольные точки с возможностью последующего рестарта с них

[LeonidOS]

Прогресс и возможность рестарта есть. Принцип понятен, где можно об этом более детально почитать?

[evatutin]

Если про Герасим, то подозреваю, что нигде . Для стандартного BOINC сервера наверняка есть официальное описание. Есть группа статей Евгения Ивашко (http://www.ibm.com/developerworks/ru/library/l-grid/index.html для начала), в ней более менее описан процесс работы

[e+]

Прогресс и возможность рестарта есть. Принцип понятен, где можно об этом более детально почитать?

Возможно, вам стоит обратиться к Nauchnik-у на BOINC.Ru. Он разработчик SAT@home - самого настоящего BOINC-проекта. Насколько я понимаю, он знает что делать.

[e+]

Беда в том, что не хочется терять время на внедрение BOINC. Другой вариант привлечь людей кто уже умеет под него писать клиент.

Честно говоря - бессмысленная затея. Как минимум по трём причинам:
1. Число участников на самом деле будет невелико и если вам их хватит, то скорее всего вам вполне хватит и обычного компьютера. Просто придётся побольше подождать;
2. BOINC - некое общее поле. С общим языком, правилами, статистикой и т.п. Какими бы мы не были энтузиастами отдельно взятого проекта, поддерживать его, если он не будет на BOINC-поле - означает расшатывать общую конструкцию. А зачем это надо? Сейчас есть в некотором смысле единый пул ресурсов, который может быть переброшен из одного проекта в другой (другое дело, что для этого надо что-то предпринять), а когда они не будут нужны - их можно вернуть обратно. В случае с не-BOINC проектом - это не так. Мы, конечно, энтузиасты Астрономии, Физики и естестванных наук вообще, но не настолько чтобы ради чего-то одного гробить всю систему в целом;
3. Причина чисто техническая - в BOINC я легко могу задать приоритеты разных проектов. У меня могут считаться одновременно несколько проектов - один на одном ядре, другой - на другом и т.д. За тем, чтобы каждый проект получал время в соответствии следит BOINC который когда надо запускает расчёт, когда надо - останавливает. А что будет если у вашего проекта будет свой клиент? Значит его надо будет запускать параллельно BOINC-проектам и пытаться разруливать приоритеты между ними в ручную. А это неудобно. Придётся всё время смотреть - всё ли хорошо. IMHO - вам лучше тогда сделать отдельный подпроект в Gerasim@Home.

Надеюсь смог пояснить. Если что - ещё спрашивайте.

[LeonidOS]

Всем спасибо за интерес, буду думать.

[pterodaktil]

Кстати, давно хотел промониторить тему, на заинтересованность помочь вычислениями для расчета орбит популяции астероидов сближающихся с Землей, как известных, так и виртуальных, для определения наилучшей стратегии их обнаружения.

Леонид,  с удовольствием  приму участие в  проекте (в смысле выделю мощности).

[LeonidOS]

Спасибо, буду иметь ввиду, если не пойду путем BOINC.

[xd]

И я мощности выделю. Линь/вынь.

[e+]

LeonidOS, ещё один момент - если вы предполагаете, что вам потребуются расчёты более чем на 10 машинах, например, то вам надо будет задумываться и над тем, как:
1) доставлять им задания и получать от них результаты;
2) как эти результаты сверять;
3) как использовать все ядра этих машин.

И, возможно, много чего-то ещё.
BOINC это берёт на себя. Но на него придётся потратить какое-то время. Можно на него не тратить, но тогда придётся делать всё вышеперечисленное вручную...

[LeonidOS]

Да, но это далеко не самое сложное. Создать обвязку которая будет скачивать задания и потом отсылать результат совсем не сложно. Можно запускать по задаче для каждого ядра или пользователь сможет сам выбрать это число. Тоже без проблем. И вполне возможно, что под данную задачу хватит десятка хороших машин. Как я понимаю пересылаемые данные в BOINC минимизированы? Кто знает примерный объем передаваемых данных на задачу?

[Freddykrug]

Для поиска пульсаров может закачать и 10 Мб/задание... 

[e+]

Да, но это далеко не самое сложное. Создать обвязку которая будет скачивать задания и потом отсылать результат совсем не сложно. Можно запускать по задаче для каждого ядра или пользователь сможет сам выбрать это число. Тоже без проблем.

Это хорошо, что без проблем. Вопрос во времени (которое, с другое стороны - ваше и вам виднее). В BOINC-то уже всё сделано.

И вполне возможно, что под данную задачу хватит десятка хороших машин.

Но тогда можно запустить это всё на какой-нибудь паре-тройке-четвёрке Xeon-ов и всё.

Как я понимаю пересылаемые данные в BOINC минимизированы? Кто знает примерный объем передаваемых данных на задачу?

Общение с клиента с BOINC-сервером происходит примерно следующим образом:
1. Оправляется xml-файл запроса задания (как бы web RPC) в котором содержится информация о состоянии клиента в рамках проекта (надо для того, чтобы не было фантомных задач). Это несколько десятков кбайт.
2. Сервер отвечает своим xml-файлом размер которого зависит от того, что было сказано, но это тоже, как правило, килобайты.
3. В присланных заданиях есть ссылки на файлы которые BOINC-клиент скачивает и может далее либо приступать к обработке, либо ставит задание в ожидание.

В общем накладные расходы на сам BOINC - невелики. В основном это именно объём самих заданий и результатов.