Дочерняя структура МТС — компания MTS AI — выпустила открытую большую языковую модель (LLM) Cotype Nano для решения бизнес-задач, связанных с созданием и анализом текстов на русском языке.
Как заявляют разработчики, модель можно запускать локально на мобильных телефонах, настольных компьютерах и ноутбуках со средней производительностью. Веса модели – параметры, которые используются ей для принятия решений, — открыты для исследователей и разработчиков. Это позволяет им изучать, как модель работает, настраивать её под свои нужды и использовать в собственных проектах без необходимости строить всё с нуля.
Как сообщают разработчики, модель продемонстрировала лучшие результаты в своём классе на бенчмарке Ru Arena Hard – первой в России открытой независимой платформы для оценки LLM-моделей на русском языке. Cotype Nano способна обрабатывать контекст до 32,000 токенов (около 45 страниц текста) за раз.
Модель обучена для создания контента, точных и быстрых переводов между русским и английским языками, обработки и анализа текстовых данных для улучшения клиентского сервиса и может быть использована для разработки чат-ботов и виртуальных помощников. Кроме того, она обладает продвинутыми возможностями классификации данных – это необходимо для таких сценариев, как автоматический поиск и анализ информации в корпоративных базах знаний. Cotype Nano оптимизирована для работы на CPU и GPU, с дополнительной оптимизацией под процессоры Intel. Модель содержит 1.5 миллиарда параметров. MTS AI обучила модель на инструктивных датасетах, включающих компьютерный код, математику и синтетические данные.
Скорость инференса – обработки текста и выдачи результатов – Cotype Nano составляет около 190 токенов в секунду на графическом процессоре Nvidia A100 и 9,5 токенов в секунду на смартфоне с процессором Qualcomm Snapdragon 8 Gen 2. Модель основана на архитектуре трансформера Qwen 2.5 и совместима с популярными фреймворками для инференса, такими как VLLM, OpenVINO и Hugging Face.
Раздел "Новости индустрии" на сайте https://mobile-review.com