По данным отраслевых аналитиков, серверы архитектуры Vera Rubin будут требовать огромные объемы NAND-памяти — речь идет о миллионах терабайт в масштабах года. Причина — рост объема данных, необходимых для инференса больших языковых моделей. Контекстные данные (KV Cache), которые раньше хранились в HBM, больше не помещаются в быструю память. Для этого NVIDIA внедряет новый подход: Inference Memory Context Storage, где временные ИИ-данные будут храниться на SSD, подключенных через DPU BlueField-4. Оценки показывают, что один сервер может использовать более 1 петабайта SSD. При массовых поставках таких систем спрос на NAND может превысить 9 процентов мирового рынка. Это создает риск дефицита SSD и роста цен, аналогично тому, что ранее произошло с DRAM.
Следующее поколение ИИ-систем NVIDIA может кардинально изменить рынок SSD-накопителей
13 января13 янв
~1 мин