В четверг компания Inception Labs выпустила Mercury Coder – новую языковую модель ИИ, которая использует методы диффузии для генерации текста быстрее, чем обычные модели.
В отличие от традиционных моделей, которые создают текст слово за словом (например ChatGPT), основанные на диффузии модели, такие как Mercury, одновременно производят целые ответы, преобразуя их из изначально замаскированного состояния в связный текст.
Традиционные большие языковые модели строят текст слева направо, по одному токену за раз. Они используют технику, называемую «авторегрессия». Каждое слово должно ждать всех предыдущих слов, прежде чем появиться. Вдохновленные техниками из моделей генерации изображений, таких как Stable Diffusion, DALL-E и Midjourney, языковые модели диффузии текста, такие как LLaDA (разработанные исследователями из Университета Жэньминь и Ant Group) и Mercury, используют подход, основанный на маскировании. Эти модели начинают с полностью скрытого контента и постепенно раскрывают все части ответа одновременно.
Согласно Inception Labs, их подход позволяет модели уточнять выходные данные и устранять ошибки, поскольку она не ограничивается рассмотрением только ранее сгенерированного текста. Эта параллельная обработка обеспечивает заявленную Mercury скорость генерации более 1000 токенов в секунду на графических процессорах NVIDIA H100. Эти модели диффузии поддерживают производительность быстрее или сопоставимую с обычными моделями аналогичного размера. Исследователи LLaDA сообщают, что их модель с 8 миллиардами параметров работает аналогично LLaMA3 8B в различных тестах, с конкурентоспособными результатами в таких задачах, как MMLU, ARC и GSM8K.
Однако Mercury заявляет о кардинальном улучшении скорости. Их Mercury Coder Mini набирает 88,0% на HumanEval и 77,1% на MBPP – сопоставимо с GPT-4o Mini – при этом, как сообщается, работая со скоростью 1109 токенов в секунду по сравнению с 59 токенами в секунду у GPT-4o Mini. Это примерно в 19 раз больше скорости по сравнению с GPT-4o Mini при сохранении аналогичной производительности в тестах.
В документации Mercury указано, что их модели работают «со скоростью более 1000 токенов/сек на NVIDIA H100, скорость, которая ранее была возможна только при использовании специальных чипов» от специализированных поставщиков оборудования, таких как Groq, Cerebras и SambaNova. По сравнению с другими оптимизированными по скорости моделями заявленное преимущество остается значительным: Mercury Coder Mini, как сообщается, примерно в 5,5 раза быстрее Gemini 2.0 Flash-Lite (201 токен/сек) и в 18 раз быстрее Claude 3.5 Haiku (61 токен/сек).
Самостоятельно попробовать Mercury Coder можно на демонстрационном сайте Inception, а также загрузить код для LLaDA или попробовать демоверсию на Hugging Face.