51 подписчик
Супер помощник для ИИ 😳🔥
Компания Groq (не путать с Grok Илона Маска!), специализирующаяся на производстве ИИ-чипов, представила инновационные чипы LPU (Language Processing Unit), которые могут значительно ускорить работу чат-ботов.
Сам Groq чат-ботом не является, он выступает в роли "вычислительного движка", который повышает скорость работы уже существующих.
Независимые тесты показали, что чипы Groq могут обрабатывать 247 токенов в секунду, в то время как решения от Microsoft достигают лишь 18.
Кроме того, такой инструмент делает возможным генерацию ответа за доли секунды, а также позволяет вести живой диалог в реальном времени.
Источник
Около минуты
21 февраля 2024