Nvidia анонсировала BlueField-4 STX на GTC 2026 16 марта — модульную эталонную архитектуру для ускоренного хранения данных, призванную устранить узкое место в доступе к данным, ограничивающее инференс агентного ИИ. — tomshardware.com
Nvidia анонсировала архитектуру BlueField-4 STX на конференции GTC 2026 16 марта. Это модульная эталонная архитектура для ускоренного хранения данных, призванная устранить узкое место в доступе к данным, ограничивающее инференс агентного ИИ. Платформа, построенная на базе нового, оптимизированного для хранения данных DPU BlueField-4 и SuperNIC ConnectX-9, нацелена на проблему недостаточной утилизации GPU, возникающую, когда ИИ-агенты, работающие в расширенных сессиях и с увеличивающимися контекстными окнами, превышают пропускную способность традиционных путей хранения. По данным Nvidia, STX обеспечивает до пятикратного увеличения пропускной способности токенов, в четыре раза лучшую энергоэффективность и удвоенную скорость приема страниц по сравнению с традиционными архитектурами хранения на базе ЦПУ. Конкретная проблема, которую Nvidia решает с помощью STX, — это управление KV-кэшем. Во время инференса трансформеров механизм внимания вычисляет KV-пары для каждого токена в контексте, которые должны храниться и извлекаться для каждого последующего шага генерации. Однако эти контекстные окна растут до сотен тысяч токенов, что означает, что KV-кэш превышает емкость HBM GPU. Обычным решением является выгрузка в DRAM хоста или хранилище NVMe, но оба пути проходят через ЦПУ, добавляя задержку, которая накапливается с длиной контекста и останавливает выполнение GPU во время передачи данных. STX обходит центральный процессор хоста, направляя данные через выделенный ускоренный уровень хранения с помощью RDMA поверх Ethernet Spectrum-X. BlueField-4 напрямую управляет твердотельными накопителями NVMe и отвечает за целостность данных и шифрование для KV-кэша, сохраняя контекст доступным на процессоре хранения, а не передавая его через хост. Полный стек работает на платформе Vera Rubin и интегрирует ЦПУ Vera — также анонсированный на GTC 16 марта — наряду с ConnectX-9, Ethernet Spectrum-X, программным обеспечением DOCA и программным обеспечением AI Enterprise. Первая реализация в масштабе стоек на базе STX — это платформа для хранения контекстной памяти Nvidia CMX. Поставщики решений для хранения данных и инфраструктуры, совместно разрабатывающие системы на базе STX, включают DDN, Dell Technologies, HPE, IBM, NetApp и VAST Data, а также производственные партнеры AIC, Supermicro и Quanta Cloud Technology. Тем временем восемь провайдеров облачных услуг и ИИ — включая CoreWeave, Lambda, Mistral AI и Oracle Cloud Infrastructure — обязались внедрить раннее использование для хранения контекстной памяти. Ожидается, что платформы на базе STX от партнеров появятся во второй половине 2026 года. «Агентный ИИ переопределяет возможности программного обеспечения — и вычислительная инфраструктура, лежащая в его основе, должна быть переосмыслена, чтобы не отставать», — заявил Дженсен Хуанг, основатель и генеральный директор Nvidia, на GTC. «Системы ИИ, которые рассуждают в рамках огромного контекста и постоянно учатся, требуют нового класса систем хранения».”
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Luke James