🏎 🚀 vLLM v0.17.0: новый стандарт инференса с поддержкой Google TPU и оптимизацией памяти

9 марта9 мар

1 мин

vLLM v0.17.0 — это крупное обновление самого популярного движка для высокопроизводительного инференса (процесса запуска готовой модели). Главный прорыв релиза — официальная поддержка Google TPU v6e, что делает стек vLLM еще более универсальным за пределами экосистемы NVIDIA. Разработчики внедрили Chunked Prefill (метод обработки длинных промптов по частям), который радикально снижает задержки и предотвращает «заикание» генерации при одновременной обработке новых запросов. Это критично для RAG-систем, где контекст часто превышает несколько тысяч токенов. Для тех, кто борется за каждый гигабайт видеопамяти, добавлена поддержка FP8 квантования для большего числа архитектур. Теперь можно запускать тяжелые модели вроде Llama 3 70B на меньшем количестве GPU без ощутимой потери точности. Обновление также включает улучшенную поддержку Multi-LoRA (Low-Rank Adaptation — дообученные слои), позволяя эффективно обслуживать сотни кастомных адаптеров на одном инстансе. Обновиться можно одной коман

Разработчики внедрили Chunked Prefill (метод обработки длинных промптов по частям), который радикально снижает задержки и предотвращает «заикание» генерации при одновременной обработке новых запросов. Это критично для RAG-систем, где контекст часто превышает несколько тысяч токенов.

Для тех, кто борется за каждый гигабайт видеопамяти, добавлена поддержка FP8 квантования для большего числа архитектур. Теперь можно запускать тяжелые модели вроде Llama 3 70B на меньшем количестве GPU без ощутимой потери точности. Обновление также включает улучшенную поддержку Multi-LoRA (Low-Rank Adaptation — дообученные слои), позволяя эффективно обслуживать сотни кастомных адаптеров на одном инстансе.

Обновиться можно одной командой: pip install vllm --upgrade. Движок остается OpenAI-совместимым, поэтому замена бэкенда в существующих приложениях пройдет бесшовно.

#AI #vLLM #Inference #OpenSource

🔗 vllm v0.17.0