Стартап Groq разрабатывает чип искусственного интеллекта Groq LPU, который обеспечивает высокую скорость вывода для больших языковых моделей. Groq LPU является одноядерным процессором на базе архитектуры Tensor-Streaming Processor (TSP), достигающим производительности до 750 TOPS при INT8 и 188 TeraFLOPS при FP16. Чип имеет пропускную способность 80 ТБ/с и 230 МБ локальной SRAM.
Он обслуживает различные модели, такие как Mixtral 8x7B, Llama 2 70B и Llama 2 7B, предоставляя высокую производительность и конкурируя с облачными провайдерами на базе GPU. Groq LPU превосходит популярную модель GPT-3.5 в скорости вывода, достигая скорости до 750 токенов/с.
Быстрые чипы для вычислений, такие как Groq LPU, становятся все более востребованными и угрожают аппаратному обеспечению от NVIDIA, AMD и Intel. Промышленность пока не определилась с принятием Groq LPU, но его производительность уже доказана.