Microsoft совместно с Пекинским университетом и университетом Цинхуа разработала технологию rStar-Math, которая позволяет компактным языковым моделям (SLM) превосходить современные крупные аналоги, включая OpenAI o1-preview, в решении математических задач.
Результаты тестирования
Технология была протестирована на языковых моделях:
- Microsoft Phi-3 mini,
- Alibaba Qwen-1.5B (1,5 млрд параметров),
- Qwen-7B (7 млрд параметров).
Испытания проводились с использованием теста MATH, включающего 12 500 задач из геометрии, алгебры и других разделов математики. Все модели продемонстрировали значительное улучшение производительности благодаря rStar-Math.
Ключевые особенности
rStar-Math сочетает:
- Метод Монте-Карло для поиска по дереву, оптимизирующий процесс выбора решений.
- Пошаговые рассуждения, повышающие точность вычислений.
Применение и перспективы
Технология обещает найти применение в:
- Геометрических доказательствах,
- Символьных вычислениях,
- Образовательных и исследовательских проектах.
Исследовательская команда планирует опубликовать код и данные на GitHub после завершения внутренней проверки.
Фон и значение
Недавно Microsoft также открыла исходный код Phi-4 — модели с 14 миллиардами параметров, размещённой на Hugging Face под лицензией MIT. rStar-Math подтверждает, что компактные модели могут быть мощным инструментом в математических рассуждениях, открывая новые горизонты для ИИ в различных областях.
Группа: Настройка и новости linux
Тема: Linux центр Крылья
Что думаете вы, дорогие наши подписчики? Делитесь своими впечатлениями в комментариях