SanDisk предложила необычный способ решить одну из главных проблем современных ИИ-ускорителей — нехватку быстрой памяти. Компания запатентовала архитектуру, которая позволит размещать рядом с вычислительным чипом не только дорогую HBM-память, но и многослойную NAND-флеш с емкостью до нескольких терабайт.
Сегодня мощные ИИ-ускорители вроде GPU используют HBM-память, которая обеспечивает высокую пропускную способность, но остается дорогой, сложной в производстве и ограниченной по объему. Даже самые современные стеки HBM предлагают десятки гигабайт памяти, тогда как обучение крупных моделей требует уже сотни гигабайт и даже терабайты данных.
В качестве альтернативы SanDisk развивает технологию HBF (High-Bandwidth Flash). Она предполагает использование многослойной NAND-памяти, собранной по принципу HBM через вертикальные соединения TSV. По расчетам компании, один такой стек сможет хранить до 4 ТБ данных.
Новый патент идет еще дальше. Инженеры предлагают размещать слой NAND-памяти непосредственно под вычислительным кристаллом ИИ-ускорителя или GPU. В такой схеме HBM будет использоваться для самых быстрых операций, а встроенная флеш-память возьмет на себя хранение крупных наборов данных и операции чтения-записи.
По задумке разработчиков, это позволит объединить преимущества двух типов памяти: скорость HBM и огромную емкость NAND. Кроме того, более тесная интеграция памяти с вычислительным блоком может снизить задержки и энергопотребление по сравнению с традиционными SSD, подключенными через интерфейсы ввода-вывода.