Llama3.1-70B достигает невероятной скорости 2,100 токенов в секунду, оставляя позади даже самые мощные решения на основе GPU.
В мире искусственного интеллекта и обработки естественного языка произошло значительное событие. Cerebras Inference, платформа для ускорения обработки естественного языка, объявила о значительном увеличении своей производительности. Теперь она способна обрабатывать тексты в 3 раза быстрее, чем раньше.
Одним из ключевых достижений стало то, что модель Llama3.1-70B, работающая на платформе Cerebras Inference, достигла невероятной скорости 2,100 токенов в секунду. Это не только превышает производительность предыдущей версии, но и оставляет позади даже самые мощные решения на основе GPU.
По сравнению с другими решениями, Cerebras Inference показывает следующие результаты:
- 16 раз быстрее, чем самая быстрая GPU-решение
- 8 раз быстрее, чем GPU-решения, работающие с моделью Llama 3B
Такие результаты можно сравнить с появлением новой генерации аппаратного обеспечения, но вместо этого это достижение было достигнуто всего лишь за счет одного программного обновления.
Платформа Cerebras Inference доступна для использования прямо сейчас на сайте inference.cerebras.ai. Это означает, что разработчики и исследователи могут уже сейчас воспользоваться этими уникальными возможностями для ускорения своих проектов.