1275 подписчиков
Хотел показать вам скорость работы ИИ на ускорителях. У этих ребят не просто карты nvidia, а какие-то аппаратные ускорители в итоге скорость фантастически высокая. 600 символов в секунду (они считают в токенах, для русского умножайте на 2). Прикиньте, насколько это важно для RAG - систем, где человек получает ответ моментально на свой вопрос...
p.s. это groq, забыл отметить, цена доступная, скорость высокая
Около минуты
18 октября 2024