Введение в REST API за 7 минут
Модель Xiaomi MiMo-V2.5-Pro в режиме UltraSpeed выдает 1000 токенов в секунду на обычных видеокартах
Линейка языковых моделей MiMo получила новое обновление, ориентированное на ускорение генерации текста. Разработчики сосредоточились не на увеличении числа параметров, а на повышении скорости работы модели в реальных сценариях использования. Изображение: Xiaomi Xiaomi объявила о запуске режима UltraSpeed для модели MiMo-V2.5-Pro, которую создала совместно с TileRT. Модель содержит 1 триллион параметров и, по данным разработчиков, способна работать на универсальных графических процессорах со скоростью более 1000 токенов в секунду...