Компания Xiaomi выпустила свою первую большую языковую модель — MiMo-7B, которая уже доступна для всех на платформах Hugging Face и GitHub. Это компактная нейросеть с 7 миллиардами параметров, разработанная специально для решения логических задач и анализа кода. По производительности она сравнима с моделью o1-mini от OpenAI, но требует значительно меньше ресурсов и может работать локально.
Разработка MiMo велась новой командой внутри Xiaomi. Модель обучалась в два этапа. Сначала ее научили базовым навыкам анализа текста, рассуждению и обработке данных — получилась версия MiMo-7B-Base. Затем ее дообучили на задачах по программированию и математике, используя специально подготовленный датасет из 130 тысяч заданий. Во время обучения модель обработала примерно 25 триллионов токенов. Такой подход — сначала научить рассуждать, а потом погрузить в профильные знания — позволил добиться высокой точности без увеличения размера модели.
Инженеры Xiaomi подчеркивают, что большинство открытых моделей, способных логически мыслить, обычно основаны на больших нейросетях с десятками миллиардов параметров. MiMo показывает, что компактная модель, обученная «с нуля» с акцентом на рассуждения, может быть не менее эффективной. Благодаря открытому коду, разработчики по всему миру могут свободно использовать MiMo и адаптировать ее под свои задачи.
Анонс новой ИИ-модели совпал с ростом интереса инвесторов к Xiaomi. Акции компании на Гонконгской бирже выросли на 5%, а бумаги Kingsoft Cloud Holdings, в которой Xiaomi имеет долю, — на 14%. В компании также заявили, что видят в создании таких моделей шаг к более амбициозной цели — созданию сильного искусственного интеллекта (AGI), способного мыслить как человек.