Компания Groq, базирующаяся в Калифорнии, представила собственный ИИ-ускоритель LPU Inference Engine, который превзошел всех конкурентов в публичных тестах.Ferra
Специальный чип LPU преодолевает проблемы плотности вычислений и пропускной способности памяти, повышая скорость обработки.Ferra
Судя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPU.iXBT.com
В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с.iXBT.com