210 подписчиков

🚀 Tokasaurus: Новый движок инференса, покоряющий вершины производительности LLM

6 июня 20256 июн 2025

3 мин

Научный мир снова оказался на шаг ближе к эффективному использованию огромных языковых моделей (LLM) благодаря новому творению исследователей из лаборатории Scaling Intelligence Lab при Стэнфордском университете. Название этого решения — Tokasaurus — и уже сейчас оно уверенно задаёт новые стандарты в области высокопроизводительного инференса. 🔥 Зачем миру понадобился новый движок? Традиционно большие языковые модели вроде GPT и LLaMA чаще всего используются в чат-ботах, где важна минимальная задержка при ответах на отдельные запросы. Но реалии меняются быстро: теперь исследователи и компании часто сталкиваются с задачами массовой генерации текста, например: 📌 Генерация десятков тысяч решений математических задач — для исследований или обучения нейросетей.

📌 Анализ целых репозиториев кода — в целях улучшения безопасности и поддержания стандартов качества.

📌 Генерация синтетических данных — активно применяемых при обучении моделей с подкреплением (RL). В таких сценариях важна уже не

📌 Анализ целых репозиториев кода — в целях улучшения безопасности и поддержания стандартов качества.

🔥 Зачем миру понадобился новый движок?

Традиционно большие языковые модели вроде GPT и LLaMA чаще всего используются в чат-ботах, где важна минимальная задержка при ответах на отдельные запросы. Но реалии меняются быстро: теперь исследователи и компании часто сталкиваются с задачами массовой генерации текста, например:

📌 Генерация десятков тысяч решений математических задач — для исследований или обучения нейросетей.
📌 Анализ целых репозиториев кода — в целях улучшения безопасности и поддержания стандартов качества.
📌 Генерация синтетических данных — активно применяемых при обучении моделей с подкреплением (RL).

В таких сценариях важна уже не столько скорость одиночного ответа, сколько общая пропускная способность, т.е. сколько запросов можно обработать за единицу времени. Именно здесь Tokasaurus и демонстрирует своё главное преимущество.

🔧 Ключевые оптимизации Tokasaurus

Tokasaurus не просто обгоняет существующие движки (vLLM и SGLang) в некоторых тестах, он делает это систематически и с большим отрывом. Почему так происходит? Причина кроется в нескольких важных технических решениях:

💻 Минимальная нагрузка на CPU

Многие движки сталкиваются с проблемой узких мест именно на стороне CPU, из-за чего GPU простаивает. Разработчики Tokasaurus решили это, создав полностью асинхронный и адаптивный менеджер задач. Он контролирует глубину очереди запросов и пропускает необязательные этапы, если ресурсы близки к исчерпанию. Это позволяет избежать остановок и значительно повысить общую производительность.

🔍 Динамическое выявление общих префиксов

При массовых генерациях текста, особенно когда модель снова и снова обрабатывает похожие задачи, возникает множество повторяющихся фрагментов. Tokasaurus использует интеллектуальный алгоритм на основе жадного поиска, заранее выявляя общие префиксы, что сокращает вычислительные затраты на внимание. Особенно это заметно при работе с небольшими моделями.

🔗 Параллелизм: выбирайте подходящий вариант
Tokasaurus гибко работает как с маломощными GPU без NVLink, так и с топовыми конфигурациями с быстрым соединением NVLink:

🎛️ Pipeline Parallelism (для GPU без NVLink) — это способ существенно снизить расходы на меж-GPU взаимодействия за счёт микробатчей, распределённых по стадиям конвейера.
⚡ Async Tensor Parallelism (для GPU с NVLink) — новейшая функция PyTorch, позволяющая скрыть задержки при обмене данными между GPU за счёт асинхронного параллелизма. Tokasaurus автоматически включает этот режим при достижении достаточного размера батча.

💡 Личное мнение автора статьи
Tokcccasaurus — яркий пример того, как важен баланс между инженерными решениями и глубоким пониманием практических задач инференса. Лаборатория Scaling Intelligence не просто выпустила очередной движок; она разработала инструмент, который непосредственно отвечает на вызовы времени. Особенно впечатляет подход к адаптивности и динамическому управлению ресурсами: это не просто улучшение на уровне кода, это качественный скачок в управлении большими потоками данных.

📈 Реальные преимущества
Тесты на широко используемых наборах данных вроде ShareGPT и GSM8K наглядно подтверждают эффективность Tokasaurus. На крупных батчах текстовых задач его производительность превосходит аналоги в два-три раза.

🌐 Открытый код и доступность
Что особенно ценно, Tokasaurus — полностью open-source решение, которое можно свободно исследовать, использовать и модифицировать. Любой желающий уже сегодня может установить его с помощью простой команды:

pip install tokasaurus

🎯 Итоговые мысли
Разработка Tokasaurus подчеркивает значимость новых инженерных решений для эффективного применения больших моделей. Чем быстрее и дешевле будут становиться подобные вычисления, тем шире станет круг практических приложений LLM. Возможно, мы стоим на пороге новой волны приложений, где генерация больших объемов текста перестанет быть проблемой и станет стандартом.

🔗 Оригинальная новость и дополнительная информация: