Грид-вычисления

Грид-вычисления — это форма распределённых вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластера соединённых с помощью сети, слабосвязанных компьютеров, работающих вместе для выполнения огромного количества заданий (операций, работ). Эта технология применяется для решения научных, математических задач, требующих значительных вычислительных ресурсов. Грид-вычисления используются также в коммерческой инфраструктуре для решения таких трудоёмких задач, как экономическое прогнозирование, сейсмоанализ, разработка и изучение свойств новых лекарств.

Грид (англ. grid — решётка, сеть) — согласованная, открытая и стандартизованная компьютерная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения информации, которые являются частью этой среды, в рамках одной виртуальной организации.

Концепция грид

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает ресурсами, большими, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Сравнение грид-систем и обычных суперкомпьютеров

Распределённые или грид-вычисления в целом являются разновидностью параллельных вычислений, которое основывается на обычных компьютерах (со стандартными процессорами, устройствами хранения данных, блоками питания и т. д.) подключенных к сети (локальной или глобальной) при помощи обычных протоколов, например Ethernet. В то время как обычный суперкомпьютер содержит множество процессоров, подключенных к локальной высокоскоростной шине.

Основным преимуществом распределённых вычислений является то, что отдельная ячейка вычислительной системы может быть приобретена как обычный неспециализированный компьютер. Таким образом можно получить практически те же вычислительные мощности, что и на обычных суперкомпьютерах, но с гораздо меньшей стоимостью.

Типы грид-систем

В настоящее время выделяют три основных типа грид-систем:

1. Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
2. Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
3. Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

История

Термин «грид-вычисления» появился в начале 1990-х гг., как метафора о такой же лёгкости доступа к вычислительным ресурсам, как и к электрической сети (англ. power grid) в сборнике под редакцией Яна Фостера и Карла Кессельмана «The Grid: Blueprint for a new computing infrastructure».

Использование свободного времени процессоров и добровольного компьютинга стало популярным в конце 1990-х годов после возникновения проектов волонтёрских вычислений GIMPS в 1996 году, distributed.net в 1997 году и SETI@home в 1999 году. Эти первые проекты добровольного компьютинга использовали мощности подсоединённых к сети компьютеров обычных пользователей для решения исследовательских задач, требующих больших вычислительных мощностей.

Идеи грид-системы (включая идеи из областей распределённых вычислений, объектно-ориентированного программирования, использования компьютерных кластеров, веб-сервисов и др.) были собраны и объединены Иэном Фостером, Карлом Кессельманом и Стивом Тики, которых часто называют отцами грид-технологии. Они начали создание набора инструментов для грид-компьютинга Globus Toolkit, который включает не только инструменты менеджмента вычислений, но и инструменты управления ресурсами хранения данных, обеспечения безопасности доступа к данным и к самому гриду, мониторинга использования и передвижения данных, а также инструментарий для разработки дополнительных грид-сервисов. В настоящее время этот набор инструментария является де факто стандартом для построения инфраструктуры на базе технологии грид, хотя на рынке существует множество других инструментариев для грид-систем как в масштабе предприятия, так и в глобальном.

Грид-технология применяется для моделирования и обработки данных в экспериментах на Большом адронном коллайдере (грид используется и в других задачах с интенсивными вычислениями). На платформе BOINC в настоящее время ведутся активные вычисления более 60 проектов. Например, проект Fusion (юг Франции, разработка метода получения электричества с помощью термоядерного синтеза на экспериментальном реакторе ITER) также использует грид (EDGeS@Home). Под названием CLOUD начат проект коммерциализации грид-технологий, в рамках которого небольшие компании, институты, нуждающиеся в вычислительных ресурсах, но не могут себе позволить по тем или иным причинам иметь свой суперкомпьютерный центр, могут покупать вычислительное время грида.

Структура грид-cистемы ЦЕРНа

Грид-cистема ЦЕРНа, предназначенная для обработки данных, получаемых с Большого адронного коллайдера, имеет иерархическую структуру.

Самая верхняя точка иерархии, нулевой уровень — CERN (получение информации с детекторов, сбор «сырых» научных данных, которые будут храниться до конца работы эксперимента). За первый год работы планируется собрать до 15 петабайт (тысяч терабайт) данных первой копии.

Первый уровень, Tier1 — хранение второй копии этих данных в других уголках мира (11 центров: в Италии, Франции, Великобритании, США, на Тайване, а один центр первого уровня — CMS Tier1 — в ЦЕРНе). Центры обладают значительными ресурсами для хранения данных.

Tier2 — следующие в иерархии, многочисленные центры второго уровня. Наличие крупных ресурсов для хранения данных не обязательно; обладают хорошими вычислительными ресурсами. Российские центры: в Дубне (ОИЯИ, Объединенный институт ядерных исследований), три центра в Москве (НИИЯФ МГУ, ФИАН, ИТЭФ — Институт теоретической и экспериментальной физики), Троицке (ИЯИ, Институт ядерных исследований), Протвино (ИФВЭ, Институт физики высоких энергий) и Гатчине (ПИЯФ). Кроме того, в единую сеть с этими центрами связаны и центры других стран-участниц ОИЯИ — в Харькове, Минске, Ереване, Софии и Тбилиси.

Более 85 % всех вычислительных задач БАК сейчас выполняется вне ЦЕРНа, из них более 50 % на центрах второго уровня.

Ссылки

• Интернет-портал по Grid-технологиям
• Davies, Antony (2004). "Computational Intermediation and the Evolution of Computation as a Commodity" (pdf). Applied Economics. {{cite journal}}: Неизвестный параметр |month= игнорируется (справка)
• Foster, Ian. The Grid: Blueprint for a New Computing Infrastructure. — Morgan Kaufmann Publishers. — ISBN ISBN 1-55860-475-8.
• Plaszczak, Pawel. Grid Computing "The Savvy Manager's Guide". — Morgan Kaufmann Publishers. — ISBN ISBN 0-12-742503-9.
• Berman, Fran. Grid Computing: Making The Global Infrastructure a Reality. — Wiley. — ISBN ISBN 0-470-85319-0.
• Li, Maozhen. The Grid: Core Technologies. — Wiley. — ISBN ISBN 0-470-09417-6.
• Catlett, Charlie (1992). "Metacomputing". Communications of the ACM. 35 (6). {{cite journal}}: Неизвестный параметр |coauthors= игнорируется (|author= предлагается) (справка); Неизвестный параметр |month= игнорируется (справка)
• Smith, Roger. Grid Computing: A Brief Technology Analysis  (неопр.). CTO Network Library (2005).
• Buyya, Rajkumar (2005). "Grid Computing: Making the Global Cyberinfrastructure for eScience a Reality" (PDF). CSI Communications. 29 (1). Mumbai, India: Computer Society of India (CSI). ISSN 0970-647X. {{cite journal}}: Неизвестный параметр |month= игнорируется (справка)
• Berstis, Viktors. Fundamentals of Grid Computing  (неопр.). IBM.
• Ferreira, Luis; et.al.: . Grid Computing Products and Services  (неопр.). IBM.
• Ferreira, Luis; et.al.: . Introduction to Grid Computing with Globus  (неопр.). IBM.
• Jacob, Bart; et.al.: . Enabling Applications for Grid Computing  (неопр.). IBM.
• Ferreira, Luis; et.al.: . Grid Services Programming and Application Enablement  (неопр.). IBM.
• Jacob, Bart; et.al.: . Introduction to Grid Computing  (неопр.). IBM.
• Ferreira, Luis; et.al.: . Grid Computing in Research and Education  (неопр.). IBM.
• Ferreira, Luis; et.al.: . Globus Toolkit 3.0 Quick Start  (неопр.). IBM.
• Surridge, Mike; et.al.: . Experiences with GRIA – Industrial applications on a Web Services Grid  (неопр.). IEEE.
• Stockinger, Heinz (2007). "Defining the Grid: A Snapshot on the Current View" (pdf). Supercomputing. {{cite journal}}: Неизвестный параметр |coauthors= игнорируется (|author= предлагается) (справка); Неизвестный параметр |month= игнорируется (справка)
• Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
• Черняк, Леонид (2004). "Распределённые вычисления, GRID-технологии или кластеры?". Открытые Системы. 4 (4). {{cite journal}}: Неизвестный параметр |month= игнорируется (справка)
• Ривкин, Марк (2003). "Платформа для коммерческих GRID". Открытые Системы. 12 (12). {{cite journal}}: Неизвестный параметр |month= игнорируется (справка)

См. также

• Sun Grid Engine
• Solaris Grid Compiler
• Облачные вычисления
• Виртуализация серверов