В мае 2014 года EGI приступила к этапу создания облачной федерации для предоставления услуг исследовательским сообществам - EGI Federated Cloud. Она объединяет общественные, частные и/или общедоступные "облака" в глобальную вычислительную систему для обработки данных , приложений и услуг на базе компьютеров.
В основе ее архитектуры лежит концепция структуры управления облаком (CMF), которая поддерживает набор облачных интерфейсов для работы ученых.
Каждый ресурсный центр этой инфраструктуры управляет объектом CMF в соответствии со своими технологическими предпочтениями и интегрирует его в общую сеть, взаимодействуя с основной платформой EGI.
Эта интеграция осуществляется с использованием открытых интерфейсов поддерживаемых CMF. Поставщики услуг разбиваются на группы, представляющие собой однородные интерфейсы и ресурсы, предназначенные для обслуживания конкретных сообществ и/или платформ.
EGI Federated Cloud базируется на гибридной модели, в которой частные и общедоступные облака могут быть объединены и интегрированы в работу. Открытое облако предлагает следующие возможности:
- виртуальная среда,
- легкий и быстрый доступ,
- повторное использование инструментов.
Центр данных и открытая платформа
Центр данных (хаб) обеспечивает легкий и эффективный доступ к большим массивам данных, позволяя обмениваться и обрабатывать их. Услуга предоставляет виртуальный доступ к файлам, распределенным между различными типами хранилищ и провайдерами через однородные и стандартные интерфейсы (POSIX, CDMI и т.д.).
В основе технологии дата-центров лежит открытая платформа данных, реализованная в рамках проекта EGI-Engage (2017), целью которого является преодоление технических барьеров, с которыми по-прежнему сталкиваются при объединении данных в облаке между различными поставщиками хранилищ.
Данная конструкция была разработана на основе анализа потребностей нескольких групп пользователей, с упором на открытое управление данными. Она позволяет интегрировать различные репозитории данных, предоставляя возможность сделать их открытыми и связать их с ключевыми каталогами в соответствии с определенными принципами, такими как инфраструктура открытого доступа OpenAIRE. Основной технологией являются Onedata, система управления данными, которая обеспечивает беспрепятственный и оптимизированный доступ.
Услуга дата-центров может помочь в реализации архитектуры на базе Cloud Hub для EOSC, предлагающей широкий доступ к данным и их анализа для повторного использования.
Действительно, они могут не только сделать материалы доступными для поиска через свои каталоги, но и обеспечить возможность распределенного зеркаливания данных, что в сочетании с возможностями IaaS, предлагаемыми объединенным облаком, позволяет эффективно и в больших объемах обрабатывать данные, уменьшая или устраняя необходимость в их перемещении.
Будущая эволюция дата-центров предусматривает внедрение механизма интеллектуального кэширования, который мог бы разумно перемещать части набора данных до того, как пользователи их запросят. Это позволило бы существенно сократить время на получение информации.
Механизмы кэширования будут учитывать различные факторы: количество и типы приложений для анализа данных, которые в настоящее время работают в данной инфраструктуре, популярность наборов и каталоги недавно созданных данных.
Такие факторы будут стимулировать георепликацию данных, создавая сеть распределенных хранилищ, которая сводит к минимуму необходимость передачи данных за счет объединения ресурсов хранения, вычислений и кэширования.