12 ноября 2024 года команда Qwen представила новую серию моделей Qwen2.5-Coder, которые сочетают в себе мощность, разнообразие и практичность. Эти модели разработаны для продвижения развития Open CodeLLMs и предлагают разработчикам широкий спектр возможностей для работы с кодом.
Мощность: Qwen2.5-Coder-32B-Instruct — новый стандарт для открытых моделей
Серия Qwen2.5-Coder включает модели различных размеров: 0.5B, 1.5B, 3B, 7B, 14B и 32B. Все модели, кроме 3B, распространяются под лицензией Apache 2.0, что делает их доступными для широкого использования.
Мощь: Qwen2.5-Coder-32B-Instruct стала новой вершиной среди открытых моделей для программирования, демонстрируя результаты, сопоставимые с GPT-4o.
Разнообразие:
Серия охватывает шесть размеров моделей, что позволяет удовлетворить потребности разработчиков с разными ресурсами.
Вот собственно и они:
Практичность: Модели Qwen2.5-Coder могут быть использованы в различных сценариях, включая создание кода, его исправление и генерацию визуальных артефактов.
Qwen2.5-Coder-32B-Instruct демонстрирует выдающиеся результаты в нескольких ключевых областях:
Генерация кода:
Модель показала лучшие результаты среди открытых моделей на бенчмарках EvalPlus, LiveCodeBench и BigCodeBench.
Её производительность сопоставима с GPT-4o, что делает её серьёзным конкурентом для закрытых моделей.
Исправление кода:
Исправление кода — важный навык для программирования. Qwen2.5-Coder-32B-Instruct помогает пользователям исправлять ошибки в коде, делая процесс программирования более эффективным.
На бенчмарке Aider, который оценивает способность моделей исправлять код, модель набрала 73.7 балла, что сопоставимо с результатами GPT-4o.
Логика выполнения кода:
Логика выполнения кода (code reasoning) — это способность модели понимать процесс выполнения кода и предсказывать его входные и выходные данные.
Qwen2.5-Coder-32B-Instruct демонстрирует впечатляющие результаты в этой области, превосходя предыдущие версии моделей, такие как Qwen2.5-Coder-7B-Instruct.
Поддержка множества языков программирования:
Модель отлично справляется с более чем 40 языками программирования. На бенчмарке McEval она набрала 65.9 балла, показывая особенно высокие результаты в таких языках, как Haskell и Racket.
Это стало возможным благодаря уникальной очистке и балансировке данных на этапе предварительного обучения.
Многоязычное исправление кода:
Модель также демонстрирует впечатляющие результаты в исправлении кода на разных языках программирования. На бенчмарке MdEval она набрала 75.2 балла, заняв первое место среди всех открытых моделей.
Соответствие предпочтениям пользователей:
Для оценки соответствия модели предпочтениям пользователей был создан внутренний бенчмарк Code Arena (аналог Arena Hard). Используя GPT-4o в качестве модели для оценки, Qwen2.5-Coder-32B-Instruct показала высокие результаты в сравнении с другими моделя
Разнообразие:
Шесть размеров моделей для разных задач
Серия Qwen2.5-Coder предлагает шесть размеров моделей, что позволяет разработчикам выбирать оптимальное решение в зависимости от их ресурсов и задач. Вот основные характеристики каждой модели:
Модель Параметры (B) Контекст (токены) Лицензия
Qwen2.5-Coder-0.5B 0.49 32K Apache 2.0
Qwen2.5-Coder-1.5B 1.54 32K Apache 2.0
Qwen2.5-Coder-3B 3.09 32K Qwen Research
Qwen2.5-Coder-7B 7.61 128K Apache 2.0
Qwen2.5-Coder-14B 14.7 128K Apache 2.0
Qwen2.5-Coder-32B 32.5 128K Apache 2.0
Производительность моделей
Базовые модели (Base): Оценка проводилась на бенчмарке MBPP-3shot, который лучше всего подходит для оценки базовых моделей.
Инструктивные модели (Instruct): Оценка проводилась на последних вопросах LiveCodeBench (июль-ноябрь 2024 года), что исключает возможность утечки данных в обучающий набор.
Результаты показывают, что производительность моделей растёт с увеличением их размера, и Qwen2.5-Coder демонстрирует SOTA-результаты на всех размерах.
Практичность:
Применение в реальных сценариях
Qwen2.5-Coder и Cursor
Qwen2.5-Coder интегрирована с Cursor, популярным инструментом для разработчиков. Это позволяет использовать модель в качестве мощного помощника для написания и исправления кода.
Пример использования Qwen2.5-Coder в Cursor демонстрирует её способность эффективно дополнять код и исправлять ошибки, что делает её отличной альтернативой закрытым моделям.
Qwen2.5-Coder и Artifacts
Artifacts — это приложение для генерации визуальных работ с помощью кода. Qwen2.5-Coder была протестирована в Open WebUI, где показала свою способность создавать сложные визуальные проекты.
Пример: Моделирование задачи трёх тел (Three-body Problem Simulation) демонстрирует, как Qwen2.5-Coder может быть использована для создания научных визуализаций.
Лицензирование
Модели Qwen2.5-Coder размером 0.5B, 1.5B, 7B, 14B и 32B распространяются под лицензией Apache 2.0, что делает их доступными для коммерческого использования.
Модель 3B распространяется под лицензией Qwen Research, которая требует дополнительного согласования для коммерческого применения.
Команда Qwen продолжает исследовать возможности моделей для программирования и планирует выпуск более мощных версий, включая модели с улучшенной логикой выполнения кода и поддержкой новых сценариев использования.
Протестить можно здесь "
Презентация
Заключение
Серия Qwen2.5-Coder представляет собой значительный шаг в развитии открытых моделей для программирования. С моделями различных размеров, от 0.5B до 32B, она предлагает решения для широкого круга задач — от простого автодополнения кода до сложной генерации и исправления программ на множестве языков программирования.
Qwen2.5-Coder-32B-Instruct устанавливает новый стандарт для открытых моделей, демонстрируя результаты, сопоставимые с GPT-4o, и становится мощным инструментом для разработчиков, исследователей и любителей программирования.
С поддержкой множества языков, высокой производительностью в бенчмарках и практическими применениями в таких сценариях, как Cursor и Artifacts, Qwen2.5-Coder открывает новые возможности для автоматизации и улучшения процессов разработки.
Команда Qwen продолжает работать над улучшением моделей и планирует представить ещё более мощные решения в будущем. Мы приглашаем всех разработчиков и исследователей опробовать Qwen2.5-Coder и внести свой вклад в развитие открытых технологий искусственного интеллекта.