Мы уже писали о файловой системе WekaIO, которая может передавать огромные объемы информации буквально за секунды, используя GPUDirect Storage от NVIDIA. Как сообщает Blocks&Files, на новых системах NVIDIA DGX-2 этот производительный тандем может «прокачать» терабайт данных менее чем за девять секунд, работая со скоростью 113,1 Гбайт/с.
GPUDirect Storage (GDS) позволяет системе хранения отправлять данные непосредственно на графический процессор, не используя для этого стандартный стек ввода-вывода операционной системы хост-сервера. GDS обеспечивает прямой доступ к памяти (DMA) и передает данные из памяти графического ускорителя к накопителям NVMe.
Microsoft Research провела тестирование обновленного программного обеспечения WekaIO 3.8, с подключением через Infiniband к DGX-2, используя GPUDirect Storage. При замерах была зафиксирована скорость передачи данных 97,9 Гбайт/с при использовании единственной точки монтирования к WekaFS. Эта скорость на данный момент является рекордной для всех одноузловых протестированных систем с использованием GDS. Результат был подтвержден с помощью утилиты NVIDIA GDSIO, работавшей более 10 минут, и получением стабильной производительности в течении всего измерения.
Но и таких скоростей тестировщикам показалось мало, и они собрали новый тестовый стенд с десятью двухпортовыми сетевыми адаптерами, получив прирост в 38% — 113,13 Гбайт/с для сервера DGX-2. Тестовая система выдала 5 млн IOPS — внушительный результат.
Понятно, что это не массовое решение и стоит оно пока космических денег, однако WekaIO поставила планку скорости, к которой теперь будут стремиться конкуренты. Будем ждать, пока подобные технологии будут доступны более широкому кругу пользователей, ведь они открывают огромные возможности для обработки данных в режиме реального времени.
