Распределенные вычисления

[Павел Кирпиченко]

Aateroids@home ещё работает? Так и не встречал по этому проекту инфы на тематических конференциях.

Да и вообще организаторы проекта крайне скудно делятся информацией с кранчерами. Насколько я знаю, результаты вычислений напрямую валятся в DAMIT http://astro.troja.mff.cuni.cz/projects/asteroids3D/web.php

[LeonidOS]

Да, с этими ребятами я общался, но по другой теме.

[Yura12]

В группе про распределённые вычисления https://vk.com/boinc запущен новый опрос по важности проектов:
https://vk.com/topic-11963359_35919483

Можете проголосовать за какой-нибудь астрономический проект.

[Yura12]

Вот ссылка на очень интересную и полезную статью под названием "Обзор новых процессоров AMD Ryzen применительно к распределённым вычислениям на примере астрономического проекта Asteroids@Home" https://boinc.ru/forum/topic/obzor-novyh-proczessorov-amd-ryzen-primenitelno-k-raspredelyonnym-vychisleniyam/

[AlexA]

Организаторы проекта Asteroids@home опубликовали сотни новых моделей астероидов. Документ доступен на arXiv и скоро должен появиться в журнале Astronomy and Astrophysics.

подробнее о проекте и ссылки на результаты в заметке: Новые модели астероидов от проекта Asteroids@home

[Freddykrug]

Проект раньше размещал, кто модель рассчитал, потом прекратилось... 

[LeonidOS]

Спасибо за ссылку! Работа интересная и до ее прочтения, я относился к проекту с бОльшим скептицизмом.
Приводится сравнение с базой LCDB, т.е. с данными, полученными "классическим" способом. И в большей степени они совпадают.
С восстановлением формы, конечно, вопросов уже больше. Ведь для этой задачи нужны не абы какие данные, а кривые блеска полученные на больших фазовых углах. А при малых фазовых углах мы практически не получаем информации о форме. В целом, эта задача близка к черной магии и вызывает большое число вопросов.
Рад что проект не заглох и работа идет.

[AlexA]

С восстановлением формы, конечно, вопросов уже больше. Ведь для этой задачи нужны не абы какие данные, а кривые блеска полученные на больших фазовых углах. А при малых фазовых углах мы практически не получаем информации о форме. В целом, эта задача близка к черной магии и вызывает большое число вопросов.
Рад что проект не заглох и работа идет.

Но пытаться надо? В ходе таких попыток и работы над ошибками что-то может получиться.

[LeonidOS]

Да, конечно, пытаться безусловно надо.

[Programma.Boinc]

Организаторы проекта Asteroids@home опубликовали сотни новых моделей астероидов. Документ доступен на arXiv и скоро должен появиться в журнале Astronomy and Astrophysics.

А кто нибудь скажет, почему у меня задания давно уже не приходили, месяц наверно...

[LeonidOS]

Видимо у ребят опять грант кончился...

[Programma.Boinc]

Вышла новая статья про Распределенные вычисления
https://selectel.ru/blog/volunteer-computing/

[Programma.Boinc]

Команда World Community Grid'sFightAIDS @ Home собралась на совещании Центра HIVE

(кликните для показа/скрытия)

Команда World Community Grid'sFightAIDS @ Home собралась на совещании Центра HIVE
Автор: исследовательская группа FightAIDS @ Home.11 февраля 2020 г.
Исследователи FightAIDS @ Home недавно встретились в Калифорнии, чтобы обсудить свои планы на будущее проекта.
15 и 16 января 2020 года Центр ВИЧ (ВИЧ-взаимодействия в процессе вирусной эволюции) провел свою ежегодную зимнюю встречу лицом к лицу в Ла-Холье, штат Калифорния, в Исследовательском институте Скриппса. Шестьдесят пять ученых, являющихся членами HIVE со всей страны, присутствовали. Этот финансируемый Национальным институтом здравоохранения США центр был основан директором-основателем профессором Артуром Олсоном, который также инициировал проект FightAIDS @ Home (FAAH) по сетке World Community Grid (WCG) в 2005 году. FAAH и WCG играют важную роль в работе Центра, который объединяет их вычислительные исследования с экспериментальными исследованиями вирусологов, молекулярных биологов, структурных биологов и химиков в рамках HIVE.
На собрании было представлено последнее исследование группы FAAH, в которое вошли работы группы Леви из Университета Темпл, а также лаборатории Олсона в Исследовательском институте Скриппса.
Группа Леви описала текущие вычисления, которые они делают, чтобы найти новые лекарственные препараты-кандидаты. Они используют World Community Grid для оценки и ранжирования соединений, которые были ранее идентифицированы путем виртуального скрининга на молекулу капсида и его сборки. Капсид является новой мишенью ВИЧ для разработки лекарств, и эта новая мишень имеет решающее значение в процессе вирусной инфекции.
Группа Олсона описала новые предварительные виртуальные экраны против капсида, которые могут создавать «ингибиторы самоубийства», соединения, химически связанные с целевым белком. В этом подходе используется химия, разработанная для члена HIVE и лауреата Нобелевской премии Барри Шарплса в Scripps. Обсуждались планы запуска новой виртуальной кампании скрининга с использованием этой химии против капсида на FightAIDS @ HOME.
На двухдневной встрече была освещена последняя работа HIVE по пониманию структуры и функции ВИЧ и того, как инфицированные клетки человека взаимодействуют с вирусом в течение его жизненного цикла. Основное внимание в исследовании уделяется пониманию эволюции вируса и его последствий как для разработки лекарственного средства, так и для поиска лекарства от его устранения или полного подавления вируса в организме человека. Была выражена благодарность за важный вклад, который добровольцы World Community Grid внесли в работу Центра ВИЧ.
Рисунок 1. Участники встречи ВИЧ-инфицированных лицом к лицу,
Январь 2020, Ла Холья, Калифорния
Рисунок 2. Группа FAAH на собрании HIVE (слева направо): Рон Леви, Арт Олсон, Джулия Бьянко, АвикБисвас, Нанджи Дэн, Циньфан Сунь, СтефаноФорли.
Хотите принять участие в борьбе с ВИЧ, тогда, Вам сюда:
https://boinc.berkeley.edu/wiki/Simple_view
https://boinc.berkeley.edu/download_all.php
https://boinc.ru/forum/

https://www.scripps.edu/hive_center/index.html
https://www.worldcommunitygrid.org/research/faah/overview.do
https://ronlevygroup.cst.temple.edu/levygroup_people.html
http://mgl.scripps.edu/projects

[Programma.Boinc]

Спасибо за ссылку! Работа интересная и до ее прочтения, я относился к проекту с бОльшим скептицизмом.
Приводится сравнение с базой LCDB, т.е. с данными, полученными "классическим" способом. И в большей степени они совпадают.
С восстановлением формы, конечно, вопросов уже больше. Ведь для этой задачи нужны не абы какие данные, а кривые блеска полученные на больших фазовых углах. А при малых фазовых углах мы практически не получаем информации о форме. В целом, эта задача близка к черной магии и вызывает большое число вопросов.
Рад что проект не заглох и работа идет.

Скажите, а Вот у меня есть множество статей на тему распределенных вычислений куда их можно у вас постить...

[Programma.Boinc]

Открытые данные распределенных вычислений

(кликните для показа/скрытия)

Открытые данные распределенных вычислений

 13.10.2009 / № 39 / с. 2 /  Наука и общество  Борис Штерн

Современные крупные эксперименты или наблюдения стоят сотни миллионов, а то и миллиарды долларов. В них участвуют многие десятки, сотни, а то и тысячи соавторов. Их списки в публикациях (как правило, в алфавитном порядке) называются в народе «братскими могилами», и поделом — из них совершенно непонятно кто реально получал результат и делал статью, а кто просто имел какое-то отношение (зачастую весьма формальное) к созданию установки. Таким образом, теряются индивидуальность и свобода исследователя. Происходит «индустриализация» некоторых областей науки со всеми ее «прелестями», типа административной иерархии и доминирования корпоративной политики над наукой. Это реальная проблема некоторых направлений, чреватая деградацией и тупиком. Наиболее перспективный рецепт против деградации — принцип открытых данных, уже зарекомендовавший себя в астрофизике и биологии. Открытые данные не только противоядие от обезличивания научных исследований. Это еще и новый путь людей в большую науку, отменяющий «научную провинцию», дающий шанс совершить научное открытие любому человеку в любом конце мира.

Два маленьких фрагмента из открытых данных эксперимента BATSE, наблюдавшего небо в мягких гама-лучах на протяжении 9 лет. Приведены кривые счета двух детекторов из восьми за время одной орбиты (около 1час. 45 мин.). На кривых видны следующие события. Сверху – до 51800 с – сильный шум от источника Лебедь Х-1, далее зашедшего за горизонт Земли. 54050 с – Лебедь Х-1 вновь показывается над горизонтом, 54560 с – высыпание частиц в магнитосфере Земли, 55000 с – солнечная вспышка, 56300с – восход Крабовидной туманности. http://trv-science.ru/2009/10/13/otkrytye-dannye/2-1-2/
Снизу – 78500 с – высыпание частиц, 79550 с – закат Лебедя Х-1, 80250 с – нетриггерный гамма-всплеск, пропущенный авторами эксперимента. 81700 – восход Лебедя Х-1, 83030 – еще один нетриггерный гамма-всплеск. Синусоподобные изменения в темпе счета – широтные вариации фона частиц, фон выше, когда станциязалетает в высокие широты.

Что понимается под открытыми данными?

Любой научный результат должен быть опубликован в открытой печати, иначе это не результат. Он может иметь справочный характер, например быть каталогом каких-нибудь объектов. В этом случае результат научной работы сам по себе не дает каких-либо новых выводов, но он необходим для дальнейшего продвижения и будет использован многими исследователями. Однако имеющиеся в литературе и в открытом доступе в сети объемные данные справочного характера — еще не то, о чем идет речь. Она идет о гигантских массивах сырой (или прошедшей лишь очевидную первичную обработку) информации, непосредственно выдаваемой аппаратурой. Как правило, эта информация остается в распоряжении авторов эксперимента. Иногда данными делятся, типа «мы вам — данные, вы нас — в соавторы». Иногда ими не делятся вообще. А бывает и так, что данные выкладываются в сеть, в открытый доступ: берите, кто хочет, и ройтесь в них, сколько заблагорассудится.

Это и есть открытые данные. Конечно, сами массивы информации — еще полдела, они должны сопровождаться полной информацией о свойствах и погрешностях аппаратуры, описанием структуры данных и т.п. Смысл в открытых данных появляется там, где их объем велик, а содержащаяся в них информация столь разнообразна, что ее хватит на многих «копателей» («dataminers» — термин, вошедший в обиход). Перейдем к примерам.

Самая масштабная инициатива по открытым данным принадлежит американской Национальной аэрокосмической администрации (NASA). В свое время они приняли принципиальное решение: все данные с аппаратов NASA, будучи оплачены налогоплательщиками, должны быть открытыми для всех. И этот принцип в целом соблюдается.

Например, снимки «Хаббла» или марсианских орбитальных аппаратов являются открытыми в исходном виде: не как обработанные jpeg-и, а как попиксельные данные в разных спектральных диапазонах. А другой известный аппарат, гамма-обсерватория «Комптон», оставила среди прочего массивы отсчетов детекторов гамма-квантов со всей Вселенной за 9 лет непрерывных наблюдений, и чего там только нет! Наконец, сейчас, в сентябре, открыты данные гамма-телескопа «Ферми», которыми мы воспользовались для построения изображения, открывающего данный выпуск газеты.
Еще один пример больших массивов данных, открытых для всеобщего изучения, — геном человека и других животных. Но это уже предмет для других авторов.

Коллизия интересов?

С какой стати авторы эксперимента должны выкладывать для всеобщего пользования свои драгоценные данные, добытые в результате многолетних трудов? В них вложена часть души в расчете на урожай в виде приоритетных научных результатов! Это с одной стороны. С другой стороны, откуда у авторов огромные средства на эксперимент? От налогоплательщиков! И последние вправе сказать: данные — на бочку! — они получены на деньги общества и должны быть общественным достоянием. А некоторые авторы могут возразить: зачем обществу сами данные? За государственные деньги заказан результат — научные факты, и мы эти факты излагаем в открытых научных статьях. И вот в этом месте воображаемые авторы совершенно не правы.
Срез трехмерной карты Вселенной, точками изображены галактики и скопления галактик. Мы находимся в центре. Радиус круга – около двух миллиардов световых лет.

Зачем общество оплачивает удовлетворение любопытства ученых? Ради научных фактов? Как правило, в наименьшей степени ради них самих. Оно оплачивает саму систему выработки и организации знаний, методологию научного поиска и развития вкуса людей к поиску, наконец, налогоплательщики оплачивают воспроизводство носителей и добытчиков знаний. Рядовой налогоплательщик вряд ли понимает это, но интуитивно чувствует, что, платя за науку, в накладе не останется. И не остается. И вот именно ради этих целей данные должны быть открытыми. Обществу важно, чтобы с ними работало как можно больше людей, чтобы исследователи конкурировали друг с другом и учились выжимать из данных все, что можно, оттачивали мастерство и придумывали новые приемы и методы.

Есть и еще один аспект: посторонние исследователи, взгляд которых свеж и не замылен, обычно легко обнаруживают в данных всякий брак, систематические погрешности, пропущенные авторами, и т.п. И к тому же открытость требует досконального документирования всего эксперимента и описания всех погрешностей. Таким образом, открытые данные -это еще и способ контроля за качеством эксперимента.

…Итак, принцип открытости данных нужен обществу, но не лишит ли он исследовательские коллективы мотивации к разработке и созданию сложных установок? Ведь кто-то другой может увести из-под носа результаты, да еще и свой нос будет совать в самую кухню, где еще водятся всякие жучки (в просторечии «баги») и тараканы. В целом, чем сильней команда эксперимента, тем меньше ее должна беспокоить открытость данных.

Впрочем, есть достаточно простой компромисс — временное эмбарго на данные. То есть они выкладываются в сеть с задержкой, например, на полгода, что позволяет команде выловить всех жучков и тараканов и успеть снять сливки. Если это «богатые» данные, со сложной универсальной установки — «молока» там хватит на многих.

А тем временем в Европе…

В то время как NASA последовательно придерживается принципа открытых данных, в Старом Свете с этим сложней. Впрочем, Европейское космическое агентство ESA, по крайней мере в крупных экспериментах, следует если не принципу полной открытости, то хотя бы принципу конкурсности и прозрачности в вопросе доступа к данным. Возьмем для примера миссию «Интеграл» — большой аппарат, наблюдающий в рентгеновском и мягком гамма-диапазонах. В отличие от орбитальных обсерваторий «Комптон» и «Ферми», у него сравнительно узкое поле зрения, и встает вопрос, что наблюдать. Изначально был запланирован ряд очевидных приоритетных наблюдений, например скан плоскости Галактики. На оставшееся время проводится открытый конкурс заявок любых исследователей из стран-участниц (Россия входит в их число) на наблюдения разных объектов. Заявки рассматриваются экспертным комитетом, куда входят люди из разных стран, в том числе и из России. Победившие заявки утрясаются по срокам и включаются в программу наблюдений. Победители наделяются правами на данные (data rights), т.е. они, и только они, получают данные именно на то, что запрашивали в заявке. Но в поле зрения кроме заявленных объектов попадает много чего еще. И тут проводится второй тур заявок — на бесхозные объекты в запланированных полях наблюдения. Победители, и только они, получают данные по запрошенным объектам. Конкурс, как правило, невелик, и зачастую права на данные получают вопреки ужасающе низкому научному уровню обоснования.

По-моему, это более-менее разумная схема, во всяком случае -первый тур. Будь моя воля, я бы отменил второй тур и открыл бы все данные. Правда, они и так открываются со временем.

С национальными европейскими проектами все не так. Для примера возьмем итальянский (с российским участием) эксперимент PAMELA — магнитный спектрометр в космосе. Основное предназначение — измерение потока античастиц и (вдруг!) антиядер. Тут не то что речи нет об открытых данных, тут ощущается дух свирепого собственника. Мой знакомый, русско-финский профессор, обратился к команде «Памелы» с запросом по поводу данных о низкоэнергетических частицах, которые не относятся к основной цели эксперимента. Это в большинстве частицы солнечного происхождения, несущие информацию об активности Солнца и земной магнитосфере. Он спросил, на каких условиях может получить эти данные. И получил ответ: ни на каких.

С «Памелой» также связан довольно известный скандал. Они показали на конференции предварительные данные, кто-то сфотографировал их из зала и опубликовал (со ссылкой) в теоретической работе. Авторы эксперимента разразились гневными реляциями, расценивая это как нарушение авторского права. Теоретик поступил не очень солидно, но реакция команды «Памелы», по-моему, куда больше противоречит духу науки и, если честно, вызывает у меня полное неприятие. Либо не демонстрируйте результаты, либо не запрещайте их воспроизводить и цитировать. Доклад на конференции — это запуск результатов в открытый научный оборот, и понятие копирайта на картинку с результатами — чистый абсурд.

А как насчет Большого адронного коллайдера?

 Экспериментальная физика высоких энергий производит огромные массивы разнообразных данных, которых тоже хватает на многих исследователей. Подходит ли принцип открытых данных для физики высоких энергий? Думаю, что большинство экспериментаторов ответят — нет. Подозреваю также, что они при этом будут неправы. Тут, конечно, есть техническая проблема — гигантский объем данных. Но она не фатальна: пусть данные будут открыты хотя бы для профессионалов, имеющих к ним доступ по специальным каналам с быстрым трафиком. Гораздо большая проблема — в психологии, традициях и организационных принципах, сложившихся в физике высоких энергий. Сейчас данные не являются открытыми даже в пределах огромных коллективов — за них торгуются, их распределяют, а публикуют результаты все равно в «братских могилах». Индивидуальность исследователя проявляется разве что в докладах на конференциях. Сложившиеся традиции отталкивает от данной области науки людей, для которых самостоятельность и свободный поиск являются важнейшими ценностями.

Это — в общем, теперь пару слов о Большом адронном коллайдере, который стоит несколько миллиардов евро. Поток информации с его установок будет беспрецедентным: чтобы его переварить, потребуются распределенные вычисления огромного числа массивов компьютеров в разных концах мира (система «grid»). Уметь управляться с таким потоком информации — уже большое достижение и ценнейший опыт. Далее, количество информации сжимается -сигналы с детекторов превращаются в события с параметрами вылетевших лептонов и адронных струй. И с этой сжатой информацией (ее поток только с установки CMS составит порядка 30 мегабайт в секунду) уже можно делать физику.

Будь я большим начальником, представляющим интересы налогоплательщиков, я бы сказал:

— Так и быть, в течение года (условного) после физического пуска обрабатывайте данные как привыкли, открывайте или закрывайте бозон Хиггса и суперсимметричные частицы, публикуйтесь братскими могилами, а по истечении года — данные на бочку (в открытый доступ), вместе с детальной документацией!
 
Я не являюсь никаким начальником, поэтому меня никто не послушает, да и нет такого начальника, который мог бы на этом настоять (может, и к лучшему, а то бог знает что еще может прийти в голову начальнику). Поэтому остается только пропагандировать эту идею и искать сторонников. Это путь не быстрый, поэтому вряд ли данные БАК будут открыты, пока они еще теплые. А жаль, поскольку открытый доступ к ним существенно повысил бы суммарную квалификацию физиков, уровень развития методов обработки и интерес к науке. Да и вытрясли бы из БАКа больше.

Just do it http://trv-science.ru/2009/10/13/otkrytye-dannye/2-4/

Этот фрагмент — только для очень любопытных и компьютерно-грамотных людей, особенно для тех, в ком бьется горячее сердце хакера. Последним не надо огорчаться, что все описанное ниже легально разрешено. Итак, для примера, учимся доставать и читать свежие данные «Ферми».

Все архивы данных NASA лежат на мощных серверах, где не бывает проблем с трафиком, и достаются либо через анонимный доступ по протоколу ftp, либо через обычный веб-браузер. Пойдем вторым путем, сюда: http://fermi.gsfc. nasa.gov/cgi-bin/ssc/LAT/WeeklyFiles. cgi и скачиваем файлы с названием типа LAT_allsky_239557417.000_ V01.fits — их там больше полусотни, каждый — недельный улов Ферми, их вес — от 300 до 400 мегабайт, так что связь на вашем конце должна быть хорошей.
Данные оформлены в стандарте fits, распространенном в астрономии и астрофизике. На том же сайте есть весь необходимый софт, чтобы читать данные и работать с ними. Я бы не рекомендовал целиком полагаться на этот софт — тогда вы становитесь его рабом и мало чему научитесь. Лучший путь — воспользоваться читалкой fits-файлов Fv (http://heasarc.gsfc.
nasa.gov/ftools/fv), которая может конвертировать данные в обычный ASCII-файл и потом работать с ним своими средствами. В результате вы получаете 200 млн гамма-квантов с направлениями и временами прихода, с их энергией и рядом технических данных, нужных для более профессионального анализа. На этом этапе вы как бы получаете хороший, но любительский телескоп, в который вы можете любоваться Вселенной в гамма-лучах за год с лишним наблюдений, изучать переменность объектов и имеете некий шанс открыть нечто ускользнувшее от внимания предшественников.

Если же вам захотелось сделать нечто более серьезное, например изучить спектры каких-либо объектов, вам нужно еще разобраться, как устроена функция отклика детектора, скачать соответствующие файлы и освоить метод «forward folding», позволяющий грамотно работать с данными в условиях реальной жизни, где все перекошено и смещено. Это уже кухня настоящего исследователя, которой, увы, владеют далеко не все из считающих себя таковыми.

«Ферми» — это только для примера. Есть и другие, еще более богатые архивы. Например, архив эксперимента BATSE, наблюдавшего все небо в жестком рентгеновском и мягком гамма-диапазонах на протяжении 9 лет (см. рис. 2). Вероятно, самый захватывающий по своей неисчерпаемости — Сло-ановский цифровой обзор неба (www.sdss.org). Это детальное картографирование Вселенной, причем в трехмерии, поскольку снимаются спектры галактик и определяется красное смещение. Данные, конечно, открыты, и в исследовании Вселенной, по данным SDSS, участвуют сотни волонтеров, среди которых есть и профессионалы, и любители. Временами они находят что-то совершенно новое, например какие-нибудь экзотические, ранее неизвестные типы галактик. Ничто не мешает любому читателю взять да и присоединиться к ним.

 Хотите принять участие в распределенных вычислениях, тогда, Вам сюда:
https://boinc.berkeley.edu/wiki/Simple_view
https://boinc.berkeley.edu/download_all.php
https://boinc.ru/forum/

[Programma.Boinc]

Folding@home - виртуальная битва за благо человечества

(кликните для показа/скрытия)

Folding@home - виртуальная битва за благо человечества
02 июня 2010       

Скоро отметит первый юбилей самый мощный в мире проект в сфере распределенных вычислений - Folding@Home. Сотни тысяч людей создали сеть компьютеров, в два раза обгоняющую по производительности самый быстрый суперкомпьютер. Но есть ли результаты?
Без малого десять лет назад, в октябре 2000-го, был запущен проект ученых из Стэндфордского университета, получивший название Folding@home. Идея его была насколько благой, настолько и фантастической. Это сейчас мы привыкли ко всяким облачным игрушкам, вроде антивирусов или даже целых компьютеров. А в далеком 2000-м возможность объединиться всем миром и, овладев тайной свертывания молекул белка, одолеть такие страшные недуги, как болезни Паркинсона и Альцгеймера, склероз, коровье бешенство, диабет второго типа, рак и многие, многие другие, казалась настоящим чудом. И сделать-то для этого надо было всего ничего: просто установить на свой компьютер специальную программку, которая будет использовать свободные вычислительные мощности для обработки относительно небольших порций данных, скачиваемых с главного сервера. Когда расчет закончен, результаты закачиваются туда же, и цикл повторяется снова и снова. Учитывая, что у многих компьютеры работали круглосуточно уже тогда, возможность серьезно помочь человечеству, ничего, по сути, не делая, понравилась многим.
Очень скоро счет участников пошел на тысячи, потом поддержка Folding@home появилась в Google Toolbar, и это сразу увеличило число активных доноров вычислительных ресурсов примерно на 20 000. К пятилетию проекта в нем насчитывалось уже 200 000 активных машин, а производительность обещала перевалить за две сотни терафлопс. Но настоящий рывок случился 22 марта 2007-го, когда вышла версия клиента для PlayStation 3. Процессор Cell, используемый в игровой консоли, оказался потрясающе эффективным для задач Folding@home, и в считанные дни производительность проекта превысила отметку 900 терафлопс - это примерно в четыре раза выше результатов, достигнутых без участия PlayStation.
 
Консоли PlayStation несколько лет составляли основную мощь проекта Folding@home.
 
 
На этом графике хорошо видно, как резко выросла производительность после появления клиента для PS3.
 
В апреле 2009-го производительность примерно 400 000 систем, постоянно участвующих в Folding@home, достигла внушительных пяти петафлопс. Это в два с нелишним раза больше, чем может сегодня обеспечить самый мощный компьютер планеты - Jaguar (напомним, его производительность составляет 2,3 петафлопс). Правда, с тех пор Folding@home немного сдал, и, по данным на 16 мая, он выдает "всего" 3,4 петафлопс. При изучении сводной статистики проекта многих может удивить, что традиционные процессоры вносят весьма незначительную лепту - около 290 терафлопс. Зато GPU компании Nvidia суммарно выдают больше 1,3 петафлопс, а второе и третье место делят GPU ATI и PlayStation 3 (880 и 883 терафлопс соответственно). Да, архитектура x86 пока идеальна далеко не везде.
 
Таблица, демонстрирующая баланс сил в Folding@Home на 6 утра 16 мая 2010 года. Как видим, обычные компьютеры сильно уступают по эффективности PlayStation 3, но и консолям удается конкурировать с GPU, лишь благодаря высокой численности.
 
Всего с момента старта вычислений клиент Folding@Home был установлен более чем на 4,2 миллиона машин, и на сегодня данный проект является самым мощным в сфере распределенных вычислений, что подтверждает и Книга рекордов Гиннесса.
Приятно отметить, что россияне находятся в авангарде проекта, и команда TSC! Russia держит пятое место в мире по скорости и второе - по числу активных пользователей. Их конкуренты из команды Russia сейчас на 54-м месте по скорости, но учитывая, что всего команд 181 012, результат очень неплохой. Нередко, приходя в проект ради борьбы с болезнями, люди исптывают азарт и желание поднять свою команду в рейтинге, тогда как все остальное отходит на второй план. Это не страшно, потому что, какой бы ни была мотивация, все идет на пользу дела. Вот только какого дела?
⇡#Если забыть про цифры
За десять лет Folding@home существенно изменился. Остались в прошлом, прямо скажем, недостаточно качественные версии клиента, имеющие привычку рушиться и уносить с собой результаты расчетов за сутки. Нынешние версии, как для CPU, так и для GPU, довольно стабильны, и сейчас не услышишь историй, как десять crash подряд заставили пламенного альтруиста плюнуть на благо человечества и покинуть проект. Остались в прошлом и подозрения, что под видом борьбы с раком идет расчет какой-нибудь гадости, вроде нового вида бактериологического оружия: практически все данные проекта поступают в открытом виде, и если бы там пряталось что-то нехорошее, это давно бы вычислили. В конце концов, нигде нет столько параноиков, как в тусовке альтруистов.
Скорее, некоторое снижение популярности Folding@home связано с вопросом, который начинают задавать все больше людей - "А чего, собственно, удалось достигнуть за десять лет?" Оно, конечно, не жалко запустить на постоянно работающем компьютере или игровой консоли программку, пусть это и приведет к росту ежемесячного счета за электричество на 100-200 рублей за одну машину (процессоры и, тем более, видеокарты под нагрузкой "едят" драматически больше, чем в режиме uTorrent+Miranda). Но хотелось бы узреть хоть какой-то очевидный результат!
 
Примерно такую картинку можно увидеть на экране, если запустить клиент в графическом режиме. Чем мощнее машина, тем больше разноцветных шариков.
 
На официальном сайте проекта об этом говорят весьма уклончиво. Цитируем: "Мы достигли определённых успехов. Вы можете прочитать об этом на странице Наука, на нашей странице Награды, или перейти по ссылке Результаты". По линкам обнаруживается список наград за саму платформу и перечень статей, написанных по результатам вычислений. Последний кажется довольно большим, но когда вспоминаешь, что 54 работы написаны за все десять лет, начинают терзать смутные сомнения. В конце концов, зная производительность ученой братии, пять с небольшим статей в год - это негусто.
Но может быть, работы настолько глубоки, что количество не имеет никакого значения? Если вы в достаточной мере владеете научным английским и разбираетесь в биологии, можете ответить на этот вопрос сами, ознакомившись с кратким описанием каждой работы. К сожалению, автор этой статьи, не может похвастаться такими знаниями, и ему пришлось прибегнуть к консультации профессора кафедры биомедицинского инжиниринга из Ben-Gurion University of the Negev (Израиль), давшего ее на условиях анонимности. По мнению профессора, если сравнить проект с попыткой понять принцип работы автомобиля, сейчас можно было бы говорить о постижении причин, из-за которых колеса сделали круглыми, а не квадратными. Но есть еще некоторые сомнение по поводу восьмиугольников. Все же остальное, от устройства двигателя внутреннего сгорания и климат-контроля до формулы краски кузова, не изучено вообще никак. Тем не менее, профессор считает Folding@home достаточно полезным и даже рекомендует подключаться к нему своим студентам. Парадокс? Ничуть не бывало. "Folding@home сильно напоминает тыкание пальцем в небо. Но иногда в науке это срабатывает, плюс нельзя переоценить важность чувства причастности к важному делу, возникающего у молодых исследователей. Да и палец сейчас стал таким мощным, что того и глядишь, попадет в нужное место".
 
В современной науке еще осталось место колбочкам и пробиркам. Однако без компьютеров решить многие задачи попросту невозможно - уж слишком велик объем информации.
 
Справедливости ради, следует заметить, что вопросы о конкретных результатах "здесь и сейчас" обычно задают новички, плохо представляющие, как работает современная наука. Между тем, участники со стажем ощущают себя кем-то вроде старателей, помогающих ученым отгребать пустую породу. Привлекать к этой неблагодарной работе высокооплачиваемых профи (читай - суперкомпьютеры) бессмысленно, они вступят в бой, когда найдут первые золотые слитки. Но случится это (если, конечно, случится) нескоро, хотя с появлением новых мощных GPU и действительно многоядерных CPU дело может пойти поживее: уже сегодня руководители проекта обещают вскорости достичь производительности порядка 100 петафлопс. То есть число пальцев, устремленных в небо, существенно увеличится…
В текущей (6.23) версии клиента Folding@home есть возможность регулировать уровень загрузки процессора, и потому его можно без ущерба для удобства работы запускать даже на очень слабеньких системах. Работает клиент на всех популярных операционных системах, так что его можно ставить даже на продвинутые NAS. А вот ставить или нет - решайте сами. Физический износ компьютера не ускорится, но шуметь он, скорее всего, будет заметно больше, да и придется ежемесячно платить несколько сотен рублей за электричество сверх обычной суммы (чем мощнее процессор и видеокарта - тем больше). Но зато, когда рак и болезнь Альцгеймера, наконец, одолеют, вы сможете почувствовать себя одним из победителей. Ну, или ваши дети. Или внуки.
Кстати, российские суперкомпьютеры никак не войдут в мировой TOP-10, а проект Союзного государства "СКИФ-ГРИД", который должен этот вход обеспечить, еще не вышел на проектную мощность. А что если создать национальный проект распределенных вычислений и устанавливать клиент на все компьютеры, закупающиеся в рамках федеральных программ? Ну и, конечно, выложить версию с поддержкой вычислений на GPU в открытый доступ. Неужели не наберем четыре с небольшим сотни терафлопс, как у самого мощного российского суперкомпьютера "Ломоносов"? Главное - придумать - что будет полезно и важно вычислять в первую очередь. Ждем ваших идей в комментариях к этой статье.
www.Boinc.ru

[Programma.Boinc]

Синтетическое соединение может быть полезным для разработки лечения вируса Зика

Автор: исследовательская команда OpenZika

23 июля 2020 г.

Резюме

Когда исследовательская группа OpenZika завершила свою работу над World Community Grid, они определили многообещающее соединение в продолжающемся поиске методов лечения Zika.

Члены команды OpenZika Brazil (слева направо): Мелина Моттин, Каролина Андраде, Бруна Соуза и Пауло Рамос.
Члены американской команды OpenZika в Collaborations Pharmeceuticals (слева направо): доктор Шон Экинс, Дэниел Фоил, Кимберли Цорн, Ана Пул Рубио, Дженнифер Кляйн, Мэгги Хапси, Томас Лейн, Андреа Барри (бизнес-консультант)

Background

Проект OpenZika был создан для выявления потенциальных способов лечения людей, зараженных вирусом Зика. В частности, проект нацелен на ключевые белки, которые вирус использует для выживания и распространения в организме, основываясь на том, что известно о сходных заболеваниях, таких как лихорадка денге и желтая лихорадка. Чтобы разработать методы лечения, исследователи стремились определить, какие из миллионов химических соединений могут эффективно воздействовать на эти ключевые белки.

Исследователи выяснили, какие химические соединения могут быть эффективными против кристаллической структуры геликазы апо NS3 (апо означает, что белок не был связан ни с чем, например, с кофактором, ингибитором или нуклеиновой кислотой). Геликаза NS3 важна, потому что это компонент вируса Зика (ZIKV), который позволяет ему размножаться. Вы можете узнать больше о геликазах здесь.

https://www.worldcommunitygrid.org/research/zika/overview.do
https://www.nature.com/scitable/definition/helicase-307/
Потенциальное лечение
https://www.nature.com/srep/

В конце 2019 года исследователи OpenZika опубликовали статью в Scientific Reports, в которой изложены их работы, показывающие, что синтетическое соединение под названием FAM E3 может ингибировать инфекцию ZIKV, блокируя стадию репликации генома. Благодаря работе по молекулярной стыковке с сеткой World Community Grid исследователи смогли предсказать возможное взаимодействие между FAM E3 и геликазой ZIKV NS3. Основываясь на результатах молекулярной стыковки, исследователи исследовали взаимодействие in vitro и продемонстрировали, что FAM E3 может связываться и стабилизировать NS3.

https://www.nature.com/articles/s41598-019-54169-z#Ack1
Вы можете прочитать статью здесь. Результаты могут быть полезны для дальнейшей разработки противовирусных препаратов Zika, а также для лучшего понимания того, как именно это синтетическое соединение ингибирует репликацию вируса.
Другие новости

https://www.sciencedirect.com/science/article/pii/S1359644620301458?via%3Dihub
Как и многие ученые с большим опытом исследований инфекционных заболеваний, команда OpenZika в настоящее время выполняет работу, связанную с SARS-CoV-2. В мае команда опубликовала в Drug Discovery Today обзор проектов по обнаружению наркотиков для SARS-CoV-2. В этом документе упоминается, что они узнали из опыта предыдущих проектов, включая проект OpenZika.

Исследовательская группа также приступила к написанию новой статьи о результатах виртуального скрининга проекта на геликазу NS3 и протеазу NS2B-NS3, результаты которых получены in vitro на ZIKV, а также на белках.
Спасибо многим волонтерам по всему миру, которые поддержали этот проект во время работы над World Community Grid.

Хотите принять участие в распределенных вычислениях, тогда, Вам сюда:
https://boinc.berkeley.edu/wiki/Simple_view
https://boinc.berkeley.edu/download_all.php
https://boinc.ru/forum/

[Programma.Boinc]

RakeSearch: Карельский научный центр РАН и добровольные вычисления

https://rake.boincfast.ru/rakesearch/

В научной среде для разгадки сложных задач и поиска наиболее эффективных решений принято объединяться, так как вместе гораздо легче и быстрее можно найти ответы на интересующие общество вопросы. И с развитием технологий люди “научили” свои компьютеры такому же принципу. С 90-х годов прошлого века стали очень популярны вычислительные системы на основе добровольных вычислений (Volunteer computing), когда объединяются не только люди, но также вычислительные ресурсы их компьютеров. В результате, одновременно множество персональных компьютеров с разных уголков нашей планеты выполняют вычисления по выбранной задаче в фоновом режиме. Сформировалось целое направление Desktop Grid.

“Desktop Grid — это объединение в качестве единого логического «суперкомпьютера» большого количества неспециализированных вычислителей (офисных рабочих и персональных компьютеров, ноутбуков и даже смартфонов) относительно невысокой производительности.”

На сегодняшний день, добровольные вычисления используются в поиске лекарства от коронавируса - это огромные вычислительные мощности. Широко известны проекты PrimeGrid, занимающийся поиском простых чисел, SETI@Home, в котором в течение 20 лет проводился поиск космических радиосигналов внеземного происхождения, и Folding@Home, проект моделирования свёртывания молекул белка.

На базе Карельского научного центра РАН в Институте прикладных математических исследований уже порядка 10 лет занимаются развитием технологии Desktop Grid. В частности, ученые уже реализовали проект по поиску компонентов для лекарственного препарата от Пемфигуса (пузырчатка обыкновенная - тяжелое аутоимунное заболевание), используя добровольные вычисления. На данный момент, научная команда института работает над проектом RakeSearch, призванном решать математические задачи. Уже в феврале этого года CNews сообщил об итогах сравнительного тестирования производительности процессоров «Эльбрус-8C» и различных моделей Intel и AMD, для исследования которых были использованы ресурсы тематического проекта RakeSearch.

Мы решили узнать у соавтора проекта RakeSearch Наталии Никитиной о том, как родилась идея проекта и поделится опытом добровольных вычислений в различных областях науки.

"Институт прикладных математических исследований КарНЦ РАН интересует приложение технологии Desktop Grid к решению междисциплинарных научных задач. Именно с этой целью создавался проект RakeSearch, соавтором которого я являюсь”

Что такое латинский квадрат?

Латинский квадрат – это математический объект, представляющий собой таблицу размером n*n, заполненную n элементами множества M так, что в каждой строке и каждом столбце каждый элемент из M встречается точно 1 раз.

Диагональный латинский квадрат – это латинский квадрат, в котором элементы на главной и побочной диагонали не повторяются.

Латинский Квадрат

“Наши коллеги из Юго-Западного государственного университета (Курск) уже давно исследуют квадраты на базе проекта добровольных вычислений Gerasim@home. Как побочная ветвь исследований возникла идея поиска строчно-перестановочных пар ОДЛК (Ортогональных диагональных латинских квадратов). Идея принадлежит Максиму М. из Москвы, который увлекается квадратами в качестве хобби. Идея оказалась достаточно оригинальной, чтобы запустить отдельный проект RakeSearch. Это проект добровольных вычислений. Латинские квадраты - это лишь пример исследования. Аналогично наша группа могла бы содействовать поиску лекарств, например, у нас уже есть один реализованный проект в данном направлении, он также был на основе добровольных вычислений. По сути, тематика проектов добровольных вычислений не ограничивается медициной и математикой, это может быть любая вычислительная задача, которая поддается разделению на множество независимых подзадач”.

Расскажите о Вашем опыте совместной работы с научными командами в сфере добровольных вычислений?

“Мы стараемся создавать проекты на основе контактов с научными группами. В случае с поиском компонента лекарства от Пузырчатки обыкновенной - с немецкой группой. Этот контакт закрепился, когда я была на стажировке в Германии по программе DAAD. В случае исследования квадратов - с российскими учёными из ЮЗГУ (Курск). Для RakeSearch КарНЦ РАН выделил нам сервер, и далее мы создали проект RakeSearch, который был запущен в августе 2017 года. В основе лежит известная программная платформа BOINC. Существует много проектов в мире на основе этой платформы. Сейчас и наша группа вносит определенный вклад в её популяризацию, оптимизацию и развитие. На протяжении всей работы проекта росло количество участников проекта. Все они - это члены сообщества добровольных вычислений, которых привлекла тематика проекта или желание помочь. Кроме того, вычислительные ресурсы, пожертвованные нашему проекту, учитываются в общем рейтинге сообщества добровольных вычислений. Поскольку проект занял своё место среди других BOINC-проектов по всему миру, то и участники появились из разных городов и стран”.

RakeSearch, аналогично любому научному вычислительному проекту, способен небольшими усилиями привлечь вычислительные мощности множество людей по всему миру.

“Например, если бы какая-то научная группа биологов КарНЦ РАН захотела провести виртуальный скрининг для поиска лекарства от клещевого энцефалита или любой другой болезни, то за считанные недели можно было бы привлечь десятки и сотни компьютеров, готовых работать на протяжении нескольких месяцев или лет по заданной тематике. Это похоже на целый суперкомпьютер, который предоставлен совершенно бесплатно энтузиастами. Конечно, для этого нужно опубликовать научную цель проекта, держать участников в курсе прогресса исследований и рассказывать о промежуточных результатах. Возможно также создание локальной Desktop Grid в рамках одной организации”.

В каком направлении сейчас идут исследования в RakeSearch?

«Сейчас в проекте RakeSearch исследуются свойства латинских квадратов для приложений в области информационной безопасности и криптографии. Эту научную задачу поставил Олег Заикин, ведущий научный сотрудник Института динамики систем и теории управления им. В.М. Матросова СО РАН, г. Иркутск.


Какие есть промежуточные результаты проекта RakeSearch?

“В проекте RakeSearch промежуточные результаты представляют собой пары ОДЛК (ортогональных диагональных латинских квадратов) и графы ОДЛК, которые выглядят для сторонних наблюдателей очень красиво”.

Полный список находок проекта можно посмотреть в виде графов (https://rake.boincfast.ru/rakesearch/graphs.html ) и пар ОДЛК (https://rake.boincfast.ru/rakesearch/odls_results.php).

[ekvi]

Вышла новая статья про Распределенные вычисления

Эта затея станет по-настоящему эффективной только тогда, когда её участники станут сознательно использовать её возможности и для собственных нужд.
А пока она - на уровне нео-МММ.

[Programma.Boinc]

Августовское обновление: OpenPandemics - COVID-19
13 августа 2020

Резюме

OpenPandemics - COVID-19 запущен в мае, и работа только началась. Узнайте больше о прогрессе ученых на данный момент, а также о сотрудничестве, которое поможет продвинуть исследования в ближайшие недели и месяцы.

Исследовательская группа OpenPandemics

Вверху: Стефано Форли, Паоло Говерна, Андреас Тиллак, Жером Эберхардт
В центре: Джулия Бьянко, Батууджин Бурендей, Диого Сантос-Мартинс, Мартина Маритан
Внизу: Мэтью Холкомб, Кристина Гарза

Щелкните здесь, чтобы узнать больше о команде.
https://www.worldcommunitygrid.org/research/opn1/researchers.do

Задний план

OpenPandemics - COVID-19 был создан, чтобы помочь ускорить поиск методов лечения COVID-19. Подробнее о деталях работы можно узнать на сайте исследовательской группы.
https://www.worldcommunitygrid.org/research/opn1/overview.do
https://forlilab.org/opn-update-7-20/

Анализ данных

С момента запуска OpenPandemics - COVID-19 в мае в рамках проекта были проверены миллионы химических соединений, которые могут быть потенциальными средствами лечения болезни. Скрининг все еще продолжается, но исследовательская группа проанализировала полученные к настоящему времени результаты (45,7 миллиона запусков и 2,3 миллиарда поз) и сузила начальную группу примерно до 1500 соединений (0,00003% от общего количества стыкованных лигандов! ), которые были отобраны из-за их взаимодействия с белками-мишенями и требуют дальнейшего анализа.

Из текущей группы из 1500 соединений исследователи проведут ручной анализ, чтобы определить около 100 наиболее многообещающих, которые затем отправят своим сотрудникам для дальнейшего лабораторного тестирования. (Вы можете увидеть список соавторов внизу страницы участников исследования.)

Пока продолжается это тестирование, они будут продолжать анализировать полученные от нас данные и присылать нам новые работы.
https://www.worldcommunitygrid.org/research/opn1/researchers.do


Дополнительное сотрудничество

Главный исследователь находится в контакте с командой европейских ученых из Структурной группы по коронавирусу, чтобы помочь улучшить качество результатов всех фундаментальных исследований SARS-CoV-2. Команда собирает и обрабатывает данные о структуре белков вирусов SARS-CoV и SARS-CoV2, которые постоянно производятся исследователями по всему миру. Они уточняют опубликованные данные и выполняют статистическую проверку и диагностику структур для исправления экспериментальных ошибок или колебаний.

Грантовая премия

Лаборатория Форли недавно получила награду Фонда Бакстера для молодых исследователей за определение новых химических соединений в качестве перспективных кандидатов на разработку лекарств.
https://www.scripps.edu/news-and-events/press-room/2020/20200701-bollong-forli-baxter-foundation.html

Версия GPU

Команда разработчиков World Community Grid начинает создавать рабочие блоки для первоначального альфа-тестирования. Их текущая проблема заключается в создании рабочих единиц, которые могут работать как на CPU, так и на GPU, вместо того, чтобы создавать две разные версии, что усложняет проект. Следующим шагом в рамках IBM будет проверка безопасности новой версии. Работа продолжается, и пока нет оценок, когда она будет завершена.

Возможные публикации

Исследователи работают над несколькими статьями. Один из них - это статья об истории AutoDock (программное обеспечение, на котором работает OpenPandemics, созданное в Scripps Research). Если статья будет принята, она будет опубликована в начале 2021 года.

Они также представили документ, описывающий разработку и применение протоколов для исследования ковалентных ингибиторов (включая протокол реактивного стыковки, используемый в OpenPandemics).
Был представлен еще один документ, в котором описывается их совместная работа с командой Национальной лаборатории Ок-Ридж и NVIDIA по запуску моделирования для выявления новых молекул против вируса SARS-CoV2.

https://www.ornl.gov/
https://www.nvidia.com/en-us/

Текущее состояние рабочих единиц

Доступно для скачивания: 4882 партии
В процессе: 2052 партии (16 101 394 единицы работы)
Выполнено: 5 459 партий (2587 партий за последние 30 дней,
в среднем 86 партий в день)
Предполагаемое отставание: 56 дней
Щелкните здесь, чтобы узнать больше о ежемесячных обновлениях проекта World Community Grid. https://www.worldcommunitygrid.org/about_us/viewNewsArticle.do?articleId=632