vLLM v0.17.0 — это крупное обновление самого популярного движка для высокопроизводительного инференса (процесса запуска готовой модели). Главный прорыв релиза — официальная поддержка Google TPU v6e, что делает стек vLLM еще более универсальным за пределами экосистемы NVIDIA. Разработчики внедрили Chunked Prefill (метод обработки длинных промптов по частям), который радикально снижает задержки и предотвращает «заикание» генерации при одновременной обработке новых запросов. Это критично для RAG-систем, где контекст часто превышает несколько тысяч токенов...