Китайский разработчик Qwen выпустил небольшую, но мощную нейронку QwQ-32B с открытой лицензией. Новинка принадлежит к категории рассуждающих. При столь скромном числе параметров в ряде задач заметно превосходство над крупной DeepSeek R1 671B. Рассказываем, для каких сценариев это может быть полезно.
Плюсы умеренного размера
Локальный запуск языковых моделей даёт немало премуществ технически подкованным пользователям. Среди них — работа офлайн, приватность за счёт отсутствия сообщения с облаком, точечная настройка под свои нужды. Однако здесь всё упирается в характеристики домашнего ПК. С приличной скоростью на передовых компьютерах нетрудно запускать решения на 7–32 млрд параметров. Тогда как с гигантскими вариантами, включая 671-миллиардную DeepSeek R1, не обойтись без серверного оборудования.
Qwen QwQ 32B — свежее пополнение семейства моделей Alibaba, где упор сделан на обдумывание сложных задач, требующих дополнительного времени и контекста. Окно расширили до 32 тысяч токенов, что позволяет принимать длинные инструкции и документы (около 24 тысяч слов за раз). За счёт лицензии Apache 2.0 продукт можно применять в академических и коммерческих задачах без ограничений.
Сравнение с конкурентами и первые тесты
Согласно бенчмаркам, Qwen действительно сопоставима с масштабной DeepSeek R1. По части кода, математики, общей связности и следованию инструкциям конкуренты примерно равны. А вот в отношении факт-чекинга QwQ 32B оказалась на 6% лучше. Другую миниатюрную «рассуждалку» — OpenAI o1-mini — китайский аналог обходит в четырёх из пяти тестов.
Модель неплохо отвечает на русском языке и не ошибается на вопросах с подвохом, в отличие от неразмышляющих аналогов. Правильные ответы на запросы вроде «Что больше — 3,11 или 3,9?» и «У Оли есть два брата и три сестры. Сколько сестёр у брата Оли?» говорят о приличных логических способностях.
Температуру (степень случайности при генерации слов) стоит ставить в диапазоне 0,3–0,7 для задач, требующих точности. Подытоживая, инструмент предлагает достойное соотношение качества и размера. Это пригодится для развёрнутых и комплексных заданий вроде программирования или анализа крупных текстов.