Компания DataDirect Networks (DDN), специализирующаяся в области систем машинного интеллекта и крупных облачных комплексов, представила свои новые разработки. В первую очередь, речь идёт об обновлённой версии ПО EXAScaler, но также анонсированы и новые аппаратные комплексы на базе фирменных систем A3I и решений NVIDIA.
С NVIDIA DDN сотрудничает давно и ещё весной этого года были представлены сертифицированные масштабируемые ИИ-комплексы, сочетающие фирменные наработки компании в области хранения данных и ускорители NVIDIA A100. Эти системы получили название Any-Scale AI (A3I). В этот раз компания объединила СХД A3I с решениями NVIDIA DGX SuperPOD, а также расширила серию фирменных флеш-хранилищ Tintri IntelliFlash.
Системы хранения данных DDN базируются на флеш-массивах EXAScaler, работающих под управлением параллельной файловой системы Lustre. В настоящее время в серию входят 2U-модули ES200NVX и ES400NVX, рассчитанные на установку 24 накопителей NVMe, 4U-модуль SFA7990X, могущий вместить до 90 полноразмерных дисковых устройств формата 3,5″, а также высокоскоростной гибридный 4U-модуль SFA18KX. Последний сочетает в себе SAS и NVMe SSD и может обеспечить производительность 3,2 млн IOPS.
Обновилась и программная часть. Новая, шестая версия фирменного ПО EXA6 получила поддержку пакета технологий NVIDIA Magnum IO GPU DirectStorage, новый управляющий фреймворк EXAScaler Management Framework с API для конфигурации и менеджмента, поддержку апгрейдов в режиме онлайн и автоматический тиринг.
Отдельного упоминания заслуживает функция Hot Nodes. Она автоматически кеширует на узлах c ускорителями NVIDIA и NVMe-накопителями, что позволяет сократить «путешествия» данных по сети, а значит, и снизить задержки ввода-вывода. Как считает DDN, именно Hot Nodes повышает эффективность работы моделей машинного обучения, поскольку те часто требуют повторного обращения к массиву данных, а за счёт кеширования Hot Nodes такие обращения можно провести очень быстро.
Новый аппаратный комплекс DDN включает в себя 20 модулей NVIDIA DGX A100 в составе SuperPOD, систему хранения данных, полностью построенную на базе флеш-памяти, а также сетевую инфраструктуру на базе новейших решений NVIDIA/Mellanox InfiniBand. Новинка, по сути, являет собой полностью законченное конвергентное предложение с готовой инфраструктурой. Оно уже доступно сертифицированным партнёрам DDN и NVIDIA.
Также обновлено фирменное программное обеспечение DDN Insight, предназначенное для конфигурации и мониторинга систем, предлагаемых компанией. Четвёртая версия способна собирать данные на уровне индивидуальных задач, IO-метрики, осуществлять анализ рабочих нагрузок и загрузки ускорителей. Обновление ПО EXAScaler 6 и Insight 4.0 планируется на третий квартал текущего года.
