Индустрия искусственного интеллекта подошла к рубежу, где существующих типов памяти перестало хватать. SK hynix и SanDisk решили проблему радикально созданием принципиально нового класса, который займет нишу между HBM и SSD. Технологию назвали High Bandwidth Flash и уже запустили ее международную стандартизацию.
Что произошло
Два крупных игрока полупроводникового рынка объявили о старте работ по стандартизации HBF в рамках Open Compute Project. Соответствующее решение было принято на встрече в калифорнийском офисе SanDisk 25 февраля. Стороны сформируют рабочую группу, которая займется разработкой открытых спецификаций для нового типа памяти.
Зачем понадобилась новая технология
Современные системы искусственного интеллекта работают с двумя уровнями памяти. С одной стороны HBM, обеспечивающая рекордную пропускную способность, но ограниченная по объему и требующая постоянного энергопотребления для хранения данных. С другой — твердотельные накопители, способные вместить терабайты информации, но проигрывающие в скорости доступа.
High Bandwidth Flash призвана закрыть этот разрыв. Разработчики позиционируют ее как промежуточный слой, сочетающий высокую скорость передачи данных с большой емкостью и энергонезависимостью.
Технические параметры
SanDisk раскрыла характеристики первого поколения HBF. Пропускная способность при чтении достигает 1,6 Тбайт в секунду. Каждый кристалл памяти работает на скорости 256 Гбит/с. В 16-кристальной сборке общая емкость стека составляет до 512 Гбайт.
Физические габариты и уровень энергопотребления нового типа памяти сознательно приведены к стандарту HBM4. Это решение позволит устанавливать стеки HBF на существующие ИИ-ускорители без серьезных изменений в конструкции плат.
Технологической основой HBF выступает флеш-память BiCS с архитектурой прямого соединения логических слоев и массива ячеек. Для многослойных сборок разработан специальный метод трехмерного стекирования, снижающий механические напряжения и улучшающий отвод тепла.
Практические испытания
Внутреннее тестирование новой памяти проводилось на модели Llama 3.1 405B с 8-битным квантованием параметров. Результаты сравнивали с гипотетической конфигурацией, где HBM обладает неограниченным объемом. В этом сценарии HBF показала производительность всего на 2,2 процента ниже эталонной. При этом расчет не учитывал реальное преимущество в емкости, которое даст дополнительный выигрыш в готовых системах.
Ключевое отличие HBF от традиционной HBM — энергонезависимость. Данные сохраняются при отключении питания, что открывает путь к созданию новых архитектур, где огромные массивы информации постоянно находятся в непосредственной близости от вычислительных ядер.
Планы развития
Партнеры уже определили ориентиры для следующих поколений технологии. Во втором поколении пропускная способность чтения должна превысить 2 Тбайт/с, а емкость стека вырасти до 1 Тбайт при снижении энергопотребления до 80 процентов от первоначального уровня. Третье поколение нацелено на 3,2 Тбайт/с и стеки до 1,5 Тбайт с дальнейшим сокращением энергопотребления.
График коммерческого внедрения пока не объявлен. На текущем этапе приоритет отдан стандартизации через Open Compute Project, что позволит привлечь к развитию технологии других участников рынка и сформировать экосистему вокруг нового формата памяти.
Значение для индустрии
Появление HBF меняет архитектуру систем искусственного интеллекта. Вместо двух уровней памяти сверхбыстрых но ограниченно емких, появляется третий, промежуточный. Он позволяет держать значительную часть весов нейросетей непосредственно на ускорителях, сокращая задержки на подкачку данных.
Для разработчиков языковых моделей это означает возможность работы с триллионами параметров без постоянного обращения к медленным накопителям. Для конечных пользователей — более быстрый отклик нейросетей и потенциальную возможность запуска тяжелых моделей на локальном оборудовании.
Президент SK hynix Ан Хён так описал стратегию компании: инфраструктура ИИ требует не гонки отдельных технологий, а оптимизации всей экосистемы. Стандартизация HBF призвана создать кооперационную модель и представить рынку архитектуру памяти, соответствующую потребностям эры искусственного интеллекта.