Линейка языковых моделей MiMo получила новое обновление, ориентированное на ускорение генерации текста. Разработчики сосредоточились не на увеличении числа параметров, а на повышении скорости работы модели в реальных сценариях использования. Изображение: Xiaomi Xiaomi объявила о запуске режима UltraSpeed для модели MiMo-V2.5-Pro, которую создала совместно с TileRT. Модель содержит 1 триллион параметров и, по данным разработчиков, способна работать на универсальных графических процессорах со скоростью более 1000 токенов в секунду. В Xiaomi связывают этот результат с совместной оптимизацией самой модели и базовой инфраструктуры, на которой она работает. По словам компании, новый режим обеспечивает примерно десятикратный прирост производительности по сравнению со стандартным доступом к API MiMo-V2.5-Pro. Для сравнения, представленная ранее MiMo-V2-Flash на момент запуска генерировала около 150 токенов в секунду. Новая версия заметно увеличивает этот показатель. При этом ускорение сопровож
Модель Xiaomi MiMo-V2.5-Pro в режиме UltraSpeed выдает 1000 токенов в секунду на обычных видеокартах
9 июня9 июн
11
1 мин