Nvidia готовит принципиально новый для себя тип чипа — специализированный процессор для инференса нейросетевых моделей. Неожиданность не только в самом продукте, но и в его основе: архитектура взята у стартапа Groq по лицензионному соглашению на сумму около $20 млрд. Анонс ожидается уже в марте на конференции GTC.
Кто такой Groq и почему Nvidia заплатила $20 млрд
Два года назад малоизвестный стартап Groq представил языковой процессор — LPU (Language Processing Unit). Архитектура создавалась не для обучения нейросетей, а специально под инференс, то есть под запуск уже обученных моделей в боевом режиме.
По собственным тестам Groq, LPU опережал доступные на тот момент решения по скорости генерации токенов. Nvidia отреагировала нестандартно: вместо того чтобы разрабатывать конкурента, она заключила лицензионное соглашение на сумму около $20 млрд. В рамках сделки к Nvidia перешли не только права на технологии, но и часть команды Groq, включая основателя компании.
Зачем GPU-гиганту чужая архитектура
GPU изначально создавались для параллельных вычислений — рендеринга, а затем обучения нейросетей. С этой задачей архитектура справляется превосходно. Но инференс — другая история. Здесь важна не столько параллельность, сколько скорость последовательной обработки токенов и эффективность работы с памятью.
LPU Groq строился именно под эти требования с нуля. Результат — более высокая скорость вывода при меньшем энергопотреблении на единицу токена по сравнению с GPU в инференс-задачах. Для Nvidia, чьи клиенты всё активнее разворачивают производственные ИИ-системы, это узкое место становилось всё заметнее.
Что известно о новом чипе
Детали архитектуры Nvidia не раскрывала. Известно, что новый процессор создаётся на базе разработок Groq и предназначен специально для инференса. Анонс ожидается на Nvidia GTC в марте.
Отдельный вопрос — связь с флагманским ускорителем следующего поколения Nvidia Feynman. В декабре появилась информация о том, что отдельные блоки на основе LPU-архитектуры могут войти в состав Feynman в качестве специализированных инференс-модулей. Если это подтвердится, Groq окажется не просто источником отдельного продукта, а частью флагманской платформы Nvidia.
Что это меняет
Nvidia впервые выходит за пределы GPU-парадигмы с полноценным специализированным процессором для инференса. Это прямой ответ на растущую конкуренцию со стороны инференс-ориентированных решений? как от стартапов, так и от собственных разработок крупных технологических компаний.
Март покажет, насколько далеко Nvidia готова отойти от привычной архитектуры, и сможет ли лицензированная технология стартапа стать новым стандартом для производственного ИИ.