Эффект увеличения скорости счета будет определяться прежде всего тем, что в каждый конкретный момент не так много заданий посылается на исполнение и поэтому задачи выполняются сразу и быстро на очень большом количестве процессоров.
Таким образом, «конфеткой», на которую должны клюнуть собственники компьютерных ресурсов, станет резкое увеличение производительности доступных им ресурсов. В идеале все это может происходить бесплатно, в форме взаимозачета. Однако понятно, что учет и контроль всегда необходимы. Поэтому соответствующие системы – своеобразный биллинг для пользователей ГРИД – уже разрабатываются и опробываются на действующих фрагментах сети.
Но кроме производительности (скорости счета в реальном времени) есть другая «изюминка», связанная с возможностью использования географически распределенных данных для решения поставленной задачи без их транспортировки в одно место. Действительно, программа может мигрировать от сайта к сайту, в соответствии с тем, где необходимые данные хранятся, а окончательный результат будет доставлен пользователю после завершения всех вычислений.
Технология ГРИД в принципе нацелена на утилизацию всех видов компьютерных ресурсов, вне зависимости от типов операционных систем и вида технических средств. Это означает, что приготовленная в этой технологии задача не должна быть привязана к конкретному виду техники, и, следовательно, должна быть переносима с одной платформы на другие.
ГРИД – это набор стандартизированных сервисов, выполняющих свои функции в фоновом режиме в соответствии с универсальными оптимизирующими алгоритмами через использование специальных протоколов и стандартных программных средств промежуточного уровня (middleware). В этом он напоминает саму Всемирную паутину, где запрос на информацию к удаленному сайту происходит по протоколу (HTTP) и с использованием программ – Web-браузеров, сама же информация должна быть записана с использованием определенного стандарта (HTML). В случае ГРИД набор таких протоколов, стандартов и служб оказывается значительно шире.
ГРИД – это прежде всего сервис для обеспечения совместимого доступа к географически распределенным гетерогенным компьютерным ресурсам. Другой задачей является обеспечение надежного доступа к вычислительным ресурсам. Также должна быть обеспечена безопасность как для выполняемой задачи (задачи и данные не должны теряться и обязаны быть защищены от несанкционированного доступа к ним), так и в отношении используемого компьютерного ресурса.
Большое внимание в функционировании новой технологии уделяется сервису по созданию и обслуживанию виртуальных вычислительных организаций или лабораторий (virtual organizations/laboratories). Именно на уровне виртуальной организации и происходит то самое обобществление ресурсов, а также решаются конкретные вопросы безопасности.
Этот далеко не полный перечень служб показывает, что реализация идеи «вычислений через Интернет» не может быть простым развитием Web-технологии. Здесь требуются много принципиально новых решений. Тем не менее вполне закономерно считать, что «ГРИД – это следующий революционный этап развития WWW в XXI веке», более того уже появился новый термин «World Wide Grid – WWG».
Понятие ГРИД в последние годы успешно используется учеными разных стран как эффективный «флаг» для выбивания финансирования своих работ по компьютерной поддержке международных и междисциплинарных проектов.
Если говорить о реальных достижениях, то прежде всего следует отметить, что ГРИД – не всеобщий земной суперкомпьютер, а ряд реальных сетей, работающих в рамках конкретных научных проблем. Ярким примером является проект MAMMOGRID ( http://mammogrid.vitamib.com ), направленный на компьютерную поддержку медицинских исследований по проблеме рака молочной железы. В этом проекте планируется с помощью новой технологии организовать доступ ученых-медиков к данным, полученным в процессе ежегодных обследований миллионов женщин, и хранящимся в тысячах европейских медицинских центров. Если это удастся, то соответствующее направление медицинской науки выйдет на принципиально новый уровень. Ну а самое главное – за счет комплексной компьютерной обработки маммограмм существенно повысится достоверность обследований на самых ранних стадиях развития болезни.
В реальных ГРИД-проектах задача интеграции в глобальные фермы действительно персональных компьютеров, стоящих на рабочих столах пользователей или в их домах, пока не ставится, поскольку интеграция россыпи компьютеров, находящейся в персональном использовании, на сегодняшний день нереальна. Хотя не исключено, что в ближайшем будущем это и станет возможным.
Сейчас в ГРИД-инфраструктуры включаются ресурсы только компьютерных центров – научных или производственных. Хотя попытки задействовать такие ресурсы, как компьютеры интернет-кафе, все же предпринимаются. В этом плане интересен опыт объединения компьютерных ресурсов школ подмосковного города Дубны в ГРИД-сеть для решения прикладных задач Объединенного института ядерных исследований (ОИЯИ).
Анализируя существующие проекты, можно выделить два основных направления развития ГРИД-технологий – вычислительное (computational) и интенсивно работающее с данными (data intensive GRID).
В вычислительном направлении создаваемая инфраструктура нацелена на достижение максимальной скорости расчетов за счет глобального распределения вычислений. В таких случаях выгоднее доставлять требуемые данные к мощному компьютеру для выполнения задачи. Одним из таких проектов является европейский проект DEISA ( http://www . deisa.org), в котором предпринимается попытка объединить суперкомпьютерные центры.
В случае же второго направления транспортировка данных представляет собой гораздо более сложную задачу, чем сами вычисления, – такие задачи подпадают под понятие ГРИД для интенсивных операций с данными. Здесь задаче выгоднее пройти по серверам, где хранятся обрабатываемые данные.
Важнейшим примером инфраструктур типа интенсивных операций с данными является европейский проект EGEE (http://www.cern.ch/egee), который сегодня в основном обслуживает пользователей Большого адронного коллайдера, создаваемого в Европейской лаборатории по физике частиц в Женеве (ЦЕРН).
По плану ускоритель должен начать свою работу в 2007 году, что и определяет жесточайший временной график для доведения технологии ГРИД «до ума». С самого начала работы EGEE в 2004 году в проекте участвовали не только европейские, но также и американские университеты, и 8 российских институтов, и лаборатории из Израиля. Всего же ныне в нем задействовано 70 лабораторий из 27 стран.
Еще в 1999 году физики ЦЕРНа, взяв идею ГРИД на вооружение, принялись за ее реализацию. Для этого год спустя был организован проект EU -DataGrid ( http://www.eu-datagrid.org ), который успешно завершился в начале 2004 года. В 2002 году там же, в ЦЕРНе, стартовал еще один проект – LHC Computing GRID (LCG, http://www.cern.ch/lcg), целью которого стало создание всемирной инфраструктуры региональных центров по хранению, обработке и анализу экспериментальных данных с детекторов Большого адронного коллайдера. LCG начал работать в сентябре 2003 года в составе 12 лабораторий мира, среди которых был и российский сайт (НИИЯФ МГУ). Следует особо отметить, что создаваемое в рамках ЕU-DataGRID и EGEE программное обеспечение и другие технологические решения (включая исходные коды) доступны и открыты для всех, и это характерно для большинства ГРИД-проектов.
ГРИД-технологии только входят в нашу жизнь, но, по всей видимости, в самое ближайшее время многие из нас убедятся в новаторской пользе распределенного метакомпьютинга и в самой идее ГРИД-концепции – объединения возможностей всех для решения задач каждого.
Вячеслав Ильин, д. ф.-м. н.,
Александр Крюков, к. ф.-м. н.,
Алексей Солдатов, д. ф.-м. н.