dCache: Успех продолжается с EMI

dCache — решение для сохранения огромных объемов данных. В WLCG насчитывается 80 кластеров, использующих dCache, некоторые из них имеют объемы хранилища размером в несколько петабайт. Эти хранилища вместе имеют объем около 60 PB, доступных для экспериментов ЦЕРН. Это больше половины общего объема хранилищ, которые используются ВАД.

dCache предоставляет кластерам возможности объединять сети с гибридными серверами данных в понятные и управляемые системы хранилищ. Этот сервис является устойчивым к сбоям и может объединяться с другими хранилищами, например, кассетным хранилищем кластера или Клауд.

dCache поддерживает популярные протоколы, такие как HTTP и WebDAV, позволяя людям использовать dCache привычным образом. Однако эти протоколы могут стать препятствием для достижения оптимальной производительности, что является неприемлемым для некоторых пользователей. dCache обеспечивает собственные протоколы, чтобы избежать этих препятствий и удовлетворить высокие требования. Кроме того, стабильность  придают безлимитные тарифы, что позволяет не бояться ограничений и уверенно делать свою работу.

Как проект, который развивается, dCache сейчас находится на переднем крае технологий хранения. Файловые системы NFS v4.1 / pNFS является промышленным стандартом при сохранении данных с высокой пропускной способностью. dCache является первым грид-ПО, которое поддерживает pNFS, благодаря опыту в этой сфере и участия в разработке стандарта NFS v4.1.

Учитывая послужной список dCache в области высокопроизводительных хранилищ и современных передовых технологий, понятно, что проект является одним из партнеров-основателей EMI. Мы ожидаем, что тесное сотрудничество с другими разработчиками ПО принесет многочисленные выгоды проекта, а также пользователям EMI.

gLite в EMI

gLite является промежуточным ПО для распределенных вычислений нового поколения.

Родившийся в результате сотрудничества коллектива с 80 человек из 12 различных академических и производственных учреждений в рамках проекта EGEE, сегодня gLite обеспечивает устойчивый фундамент для сервисов, на которых создаются приложения для распределенной компьютерной инфраструктуры (DCI), вливаясь в мощные проекты по распределенных вычислений и сохранения данных по всему миру.

За 6 лет существования проектов EGEE, компоненты gLite постепенно совершенствовались и стали чрезвычайно надежными, чтобы удовлетворять требования широкого круга научных сообществ. Крупнейшие из них — это сообщество физики высоких энергий, обработка и анализ данных экспериментов ВАД в ЦЕРН.

Сегодня компоненты gLite постоянно поддерживают научную деятельность большого количества общин в крупнейших мировых промышленных инфраструктурах и позволяют прозрачный доступ и совместное использование более трехсот вычислительных систем и хранилищ в Европе и мире.

ПО gLite скрывает от пользователя большинство сложностей в пользовании таким сложным и большим средой благодаря своим стандартным программным интерфейсам.

gLite распространяется с открытой лицензией и объединяет компоненты от лучших существующих разработчиков грида, таких как Condor и Globus Toolkit, а также компонентов, разработанных специально для ВАД. Этот продукт является лучшим в своем классе, низкоуровневое решение, совместимое с популярными планировщиками PBS, Condor и LSF и большинством распространенных систем хранения данных и аривации. gLite построен с учетом совместимости и обеспечения большого разнообразия сервисов, которые позволяют создание, эксплуатацию и использования общей распределенной сети для всех научных направлений.

Стек gLite объединяет низкоуровневые средства ядра с широким кругом высокоуровневых сервисов. Сервис gLite Grid созданы с учетом архитектуры, ориентированной на сервисы, и наиболее популярных стандартов Open Grid Forum. Стек gLite разработан как модульная система, которая позволяет кластерам и пользователям устанавливать и использовать различные возможности, соответственно своим потребностям. Таким образом, каждое  научное сообщество может адаптировать систему к своим индивидуальным требованиям.

gLite постоянно добавляет новые функции во всех областях программного стека, в том числе, в частности, постоянные улучшения в области безопасности, интерфейса для управления данными и запуска задач, переработки информационной системы и множество других усовершенствований, которые делают gLite более эффективным и простым в использовании.