Найти тему
109 подписчиков

Mistral выпустили свою 1-ю модель на Mamba и модель для математических задач


Codestral Mamba 7B — одна из первых моделей с открытым исходным кодом, использующая архитектуру Mamba 2
Лучшая 7B модель для кода
Обучена на 256.000 токенов

Также выпустили Mathstral 7B - это новая языковая модель, специализирующаяся на математических задачах

На бенчмарке MATH модель достигает 56.6 % с первой попытки

Этот результат превосходит показатели Minerva 540B (гораздо более крупной модели с 540.000.000.000 параметров) более чем на 20 %

Результаты показывают значительный прогресс в производительности небольших моделей для математических задач и кодирования
Около минуты