Microsoft представила новую малую языковую модель Mu
Microsoft только что анонсировала свою новейшую компактную языковую модель Mu
🛸Ключевые особенности Mu
Размер и производительность:
- Всего 330 миллионов параметров (в 10 раз меньше Phi-3.5-mini)
- Скорость генерации более 100 токенов в секунду
- Архитектура энкодер-декодер для максимальной эффективности
Оптимизация для NPU:
- Полностью работает на Neural Processing Unit (NPU)
- На 47% быстрее генерация первого токена
- В 4,7 раза выше скорость декодирования по сравнению с моделями decoder-only
⚙️ Технические инновации
Продвинутые техники:
- Dual LayerNorm — нормализация до и после каждого слоя
- Rotary Positional Embeddings (RoPE) — улучшенное понимание контекста
- Grouped-Query Attention (GQA) — сниженное потребление памяти
Квантизация и оптимизация:
- Post-Training Quantization до 8-16 бит
- Совместная работа с AMD, Intel и Qualcomm
- Более 200 токенов/сек на Surface Laptop 7
🔬 Практическое применение
Агент в Windows Settings:
Mu уже интегрирована в Windows Settings на Copilot+ PC, позволяя:
- Управлять сотнями системных настроек через естественный язык
- Время отклика менее 500 миллисекунд
- Понимание сложных многословных запросов
📊 Сравнение производительности
Задачи и результаты:
🔘SQUAD
Mu (330M): 0.692
Phi-3.5-mini (3.8B): 0.846
🔘CodeXGlue
Mu (330M): 0.934
Phi-3.5-mini (3.8B): 0.930
🔘Settings Agent
Mu (330M): 0.738
Phi-3.5-mini (3.8B): 0.815
Впечатляющие результаты при размере в 10 раз меньше
❔Почему это важно
- Локальная обработка — никаких данных в облако
- Энергоэффективность — оптимизация для мобильных устройств
- Низкая latency — мгновенные ответы
- Масштабируемость — подходит для edge-устройств
