Найти тему
1275 подписчиков

Хотел показать вам скорость работы ИИ на ускорителях. У этих ребят не просто карты nvidia, а какие-то аппаратные ускорители в итоге скорость фантастически высокая. 600 символов в секунду (они считают в токенах, для русского умножайте на 2). Прикиньте, насколько это важно для RAG - систем, где человек получает ответ моментально на свой вопрос...


p.s. это groq, забыл отметить, цена доступная, скорость высокая

Хотел показать вам скорость работы ИИ на ускорителях. У этих ребят не просто карты nvidia, а какие-то аппаратные ускорители в итоге скорость фантастически высокая.
Около минуты