Стартап из Новой Зеландии Nexustorage, зарегистрированный в начале этого года, довёл свою программно определяемую систему хранения данных (СХД) Nexfs до стадии общедоступного релиза. Основная идея продукта заключается в предоставлении универсального интеллектуального уровня хранения, который охватывает файловое, блочное и объектное хранение.
Будучи развёрнутым на стандартном оборудовании, Nexfs «склеивает» все устройства хранения, независимо от интерфейса, и предоставляет к ним единый уровень доступа посредством iSCSI, NFS, SMB и S3. Разработанное Nexustorage решение опирается на многоуровневый пул хранения, перенос и размещение данных в котором происходят автономно. Для его работы годится не только новое оборудование, но и давно существующее, что позволяет сэкономить, продлив срок эксплуатации существующих серверов и устройств хранения.
Масштабируемая файловая система Nexfs доступна бесплатно в Community-версии и работает в Centos, Ubuntu и Debian, являясь чисто программным решением. Разработчик предоставил к движку Nexfx и исходникам утилиты Nexfscli. Для работы требуется поддержка ФС xfs или ext4 с расширенными атрибутами. Nexfs содержит несколько ключевых технологических элементов, разработанных командой Nexustorage, среди которых SmartProtect, SmartTier и Nexassert.
SmartProtect — это инструмент защиты данных с помощью репликации с первичного хранилища на вторичное, совместимое с S3. Эта функция обеспечивает высокую гранулярность для создания копий файла при каждом изменении фрагмента данных. SmartTier позволяет перемещать фрагменты данных во вторичное хранилище в рамках пула, созданного и контролируемого Nexfs. В текущей версии поддерживается перемещение между 3 уровнями пула: SSD, SATA (HDD) и объектным хранилищем.
Обработка происходит на уровне субфайлов, которые разработчик называет блоками. Этот инструмент маскирует физическое расположение блоков данных и оптимизирует их размещение в зависимости от частоты использования — редко используемые данные переносятся на SATA-накопители, а «холодные» — в объектное или облачное хранилище. Когда инициируется доступ к мигрировавшему файлу, копируется не он целиком, а только необходимый фрагмент. Такой инструмент оказывается полезен как сам по себе, так и для SmartProtect.
Третий элемент, Nexassert — это технология, которая пока что находится на стадии патентования. В обычном режиме работы СХД файлы становятся неоднородными. Фрагменты данных распределяются между SSD, HDD и объектным/облачным хранилищем в зависимости от потребностей доступа и частоты использования. А эта технология позволяет осуществлять доступ к блокам данных там, где они размещены. Таким образом, в системе обеспечивается необходимый уровень QoS без лишних затрат.
Указанные функции сейчас не редкость, но организация блочного доступа с помощью iSCSI в такой архитектуре имеет ряд препятствий. Команда Nexustorage проделала большую работу, чтобы их преодолеть, и теперь их СХД поддерживает данный режим даже при использовании для хранения Amazon S3 и MinIO. Организация файлового доступа Nexfs чем-то напоминает Veritas VxFS с её функцией динамического многоуровневого хранения.