Xiaomi представила свою первую открытую языковую ИИ-модель MiMo, способную как рассуждать, так и делать математические вычисления и генерировать код. MiMo-7B включает 7 миллиардов параметров и демонстрирует производительность, сопоставимую с более крупными решениями от OpenAI и Alibaba.
Разработкой занималась новая команда Xiaomi Big Model Core Team. Эффективность модели с 7 миллиардами параметров обеспечена за счёт глубоко продуманной стратегии предобучения и обучения с подкреплением. А благодаря небольшому размеру, модель потенциально подходит для корпоративных клиентов и устройств с ограниченными ресурсами.
Для обучения использовалось 25 триллионов токенов и специализированный набор из 200 миллиардов токенов рассуждений. В ходе обучения применялась продвинутая фильтрация данных, прогнозирование нескольких токенов и многоступенчатое смешивание обучающих выборок. Это позволило добиться высокой плотности логических шаблонов. На этапе постобучения MiMo «скормили» 130 тысяч задач по математике и программированию, дополнительно оптимизированных системой ускоренного вывода Seamless Rollout Engine. Такой подход увеличил скорость обучения в 2,29 раза, проверки — в 1,96 раза, а также повысил стабильность работы RL-алгоритмов системы вывода.
MiMo доступна в четырёх версиях. Например, флагманская MiMo-7B-RL (по производительности сопоставима с o1-mini от OpenAI) демонстрирует высокие результаты в математических тестах, программировании и общем понимании текста.
Все модели имеют открытый исходный код и доступны на Hugging Face и GitHub.