Компании Mistral AI и NVIDIA представили Mistral NeMo — передовую языковую модель с 12 миллиардами параметров, которая может похвастаться контекстным окном в 128 000 токенов и заявляет о передовой производительности в рассуждениях, знании мира и точности кодирования.
Дебют Mistral NeMo
18 июля 2024 года Mistral AI и NVIDIA совместно объявили о выпуске Mistral NeMo — современной языковой модели, разработанной в результате их совместных усилий. Эта модель с 12 миллиардами параметров представляет собой значительный шаг вперед в технологии искусственного интеллекта, объединяя опыт Mistral AI в области обучающих данных с оптимизированной аппаратной и программной экосистемой NVIDIA. Модель была обучена на платформе NVIDIA DGX Cloud AI с использованием 3072 графических процессоров H100 80 ГБ Tensor Core, что демонстрирует передовую инфраструктуру, лежащую в основе ее разработки.
Обзор основных характеристик
Модель, разработанная для обеспечения высокой производительности при выполнении различных задач обработки естественного языка, отлично справляется с генерацией текста, обобщением контента, переводом языков и анализом настроений. Её контекстное окно размером 128 тыс. токенов позволяет обрабатывать обширную и сложную информацию более согласованно. Внедрение Tekken, нового токенизатора на основе Tiktoken, обеспечивает примерно на 30% более эффективное сжатие исходного кода и улучшение распознавания всех основных языков, включая корейский и арабский.
Сравнение с другими моделями
Mistral NeMo 12B демонстрирует впечатляющие характеристики по сравнению с другими моделями в своем размерном диапазоне. Согласно бенчмаркам, он превосходит Gemma 2 (9B) и Llama 3 (8B) по точности и эффективности. Цена модели конкурентоспособна и составляет 0,3 долл. США за 1 миллион токенов ввода и вывода, что выгодно отличает ее от более крупных моделей, таких как GPT-4 (контекст 32 тыс.) и Mixtral 8x22B, которые значительно дороже. Окно контекста Mistral NeMo размером 128 КБ и расширенная токенизация с Tekken дают ему преимущество в обработке длинного контента и многоязычных задач, превосходя токенизатор Llama 3 в сжатии текста примерно для 85% всех языков.
Доступность и развертывание
Весовые коэффициенты для Mistral NeMo доступны на HuggingFace как для базовой версии, так и для версии Instruct, что позволяет разработчикам легко получать доступ к технологии и внедрять ее. Его можно использовать с mistral-inference и адаптировать с помощью инструментов mistral-finetune. Для корпоративного развертывания Mistral NeMo упакован как микросервис вывода NVIDIA NIM, доступный через ai.nvidia.com. Разработанная для работы на одном графическом процессоре NVIDIA L40S, GeForce RTX 4090 или RTX 4500, эта модель обеспечивает мощные возможности искусственного интеллекта непосредственно на корпоративных серверах, что делает ее доступной для различных организаций.
Возможные сферы применения
Разработанная как универсальная, модель может применяться для широкого спектра задач, включая решения ИИ корпоративного уровня, чатботы и разговорные системы ИИ. Ее многоязычные возможности делают ее особенно полезной для глобальных предприятий и организаций, имеющих дело с различными языковыми требованиями. Кроме того, высокая производительность модели в сфере кодирования позиционирует ее как ценный инструмент для задач разработки программного обеспечения и генерации кода. Сочетание большого контекстного окна и расширенных возможностей рассуждения также делает Mistral NeMo хорошо подходящим для сложного анализа текста, реферирования и исследовательских приложений в различных отраслях.
