Компания Nvidia в свои новую платформу Vera Rubin для ИИ внедрила не только процессор Intel, но также совершенно новый языковой процессор (LPU) на основе технологий Groq. Напомним, Nvidia заключила с Groq лицензионное соглашение на внушительную сумму в 20 млрд долларов, в рамках которого получила не только доступ к технологиям Groq, но также часть специалистов последней, включая основателя.
Если точнее, в платформе Nvidia используется чип Groq 3 LPU. Это специализированный языковой процессор, состоящий из 98 млрд транзисторов, который имеет 500 МБ памяти SRAM. Это очень мало, только вот её пропускная способность достигает 150 ТБ/с. Для сравнения, 288 ГБ памяти HBM4 у GPU Rubin могут похвастаться лишь 22 ТБ/с.
В итоге языковой процессор имеет производительность 1,2 PFLOPS (FP8), и нужно понимать, что это решение для вывода, а не обучения.
В рамках своей платформы Nvidia создала целую отдельную стойку Groq 3 LPX, которая включает 256 процессоров. В совокупности стойка предлагает уже 128 ГБ памяти SRAM с пропускной способностью 40 ПБ/с.
Nvidia рассматривает Groq LPX, как сопроцессор для GPU Rubin, который повысит производительность декодирования на каждом уровне модели ИИ на каждом токене. При объединении Rubin и Groq LPX общая вычислительная мощность для вывода ИИ достигает 315 PFLOPS.