🚀 Mercury: как диффузионные модели взламывают скорость кодинга

В центре кадра сияющий процессор выбрасывает две струи световых частиц — холодно-голубую и огненно-оранжевую, символизируя сверхбыструю диффузионную генерацию токенов Mercury.

За последние годы нейросети успели захватить практически все сферы жизни, от текста и картинок до кода. Однако казалось, что генеративные модели для программирования уже достигли потолка. GPT-4, Claude, Codestral и десятки других моделей так или иначе обеспечивали приемлемое качество генерации, но часто страдали от низкой скорости и высокой задержки. Однако теперь на арене появился Mercury Coder, представленный командой Inception Labs, и он буквально перевернул представления о скорости генерации кода, используя диффузионные модели.

⚡️ Почему Mercury — настоящая революция?

Главный секрет Mercury — переход от привычных авторегрессионных моделей (которые генерируют код токен за токеном последовательно) к диффузионным моделям, которые способны генерировать сразу множество токенов параллельно.

🧠 В отличие от стандартных нейросетей, Mercury не просто последовательно выстраивает код. Вместо этого он стартует с «шумного» (случайного) набора токенов и постепенно «очищает» их до корректного результата. Этот процесс известен как диффузия, и ранее он успешно применялся в генерации изображений и видео (например, в моделях Stable Diffusion или DALL-E 3).

📌 Технические преимущества Mercury:

• 🚅 Сверхбыстрая генерация: Mercury Coder Mini достигает фантастической скорости в 1109 токенов в секунду на графических ускорителях NVIDIA H100, что почти в 10 раз быстрее ближайших конкурентов, таких как GPT-4o Mini и Claude 3.5 Haiku.
• 🎯 Высокое качество кода: Mercury не жертвует качеством ради скорости. Согласно независимым тестам Artificial Analysis, Mercury находится на втором месте по качеству генерации на Copilot Arena, уступая лишь на доли процента лидеру, но многократно превосходя его в скорости.
• 🔄 Масштабируемость и гибкость: Архитектура Mercury основана на трансформерах, что обеспечивает лёгкую совместимость с существующими инструментами и системами, ранее разработанными для традиционных моделей вроде GPT и Claude.

Сравнение моделей Co-Pilot Arena по задержке, рейтингам Эло и рангам. Данные получены через Copilot Arena. Источник: https://arxiv.org/pdf/2506.17298

🔬 Под капотом: как устроена магия Mercury?

Mercury опирается на «диффузионную» логику:

1. 🌫️ Этап шума: Исходные токены заменяются случайными символами, образуя шумную последовательность.
2. 🔄 Этап очистки (денойзинг): Mercury последовательно «очищает» эту последовательность, уточняя код сразу по многим направлениям параллельно.
3. 📏 Этап тонкой настройки: Модель корректирует код на уровне отдельных токенов, постепенно приходя к оптимальному решению.

Ключевые технические решения:

• 🖥️ Использование Transformer-архитектуры, хорошо зарекомендовавшей себя на больших данных и GPU.
• ⚙️ Coarse-to-fine подход: модель генерирует код «от общего к частному», улучшая сразу целые блоки токенов.
• 📐 Контекст до 32K токенов с возможностью расширения до 128K, что позволяет работать с большими проектами и задачами.

🌍 Где Mercury уже эффективен?

Ключевые сценарии применения Mercury Coder:

• 💻 Автодополнение кода в реальном времени: Благодаря сверхнизкой задержке Mercury может использоваться в редакторах кода и IDE, предоставляя мгновенные рекомендации программистам.
• 🤖 Автономные агенты и AI-ассистенты: Модели Mercury идеально подходят для AI-агентов, требующих моментальной реакции и работы с минимальной задержкой.
• 🚩 Edge-вычисления: Высокая скорость генерации позволит реализовывать AI-приложения даже на устройствах с ограниченными ресурсами.

💡 Личный взгляд автора: пределы и перспективы Mercury

На мой взгляд, Mercury — это не просто очередной игрок на рынке LLM. Это первый серьёзный шаг к замене авторегрессионных моделей в большинстве сценариев кодинга. Однако есть несколько моментов, которые стоит учесть:

• ⚖️ Компромисс качества и скорости: Mercury демонстрирует впечатляющие результаты на текущих тестах, но остаётся открытым вопрос, сможет ли диффузионный подход так же хорошо масштабироваться до крупных моделей (например, на уровне GPT-4o или Claude 3.5 Sonnet).
• 📈 Сложность обучения: Диффузионные модели требуют гораздо больше вычислительных ресурсов при обучении по сравнению с традиционными авторегрессионными. Это может замедлить распространение модели в сообществе.
• 📦 Интеграция: Несмотря на совместимость с API OpenAI, требуется адаптация существующих инфраструктур и воркфлоу под новый подход.

Тем не менее, появление Mercury знаменует новую эпоху в развитии нейросетей для кодинга, открывая двери к ультрабыстрой генерации и снижению затрат на инференс. Я уверен, что в ближайшие несколько лет мы увидим повсеместное внедрение диффузионных моделей, вдохновлённых подходом Mercury.

🔗 Ссылки и источники:

• 📄 Mercury: Ultra-fast language models based on diffusion
• 🛠️ Inception Labs Playground и API
• 📊 Artificial Analysis — независимые тесты и сравнение LLM.

Mercury — это не просто скорость. Это новый стандарт взаимодействия человека с AI в программировании.