📰 Cohere выпустила North Mini Code: бесплатный AI-кодер, который уместится на одном H100!
В мире, где AI-инструменты для разработчиков становятся все более изощренными и, зачастую, дорогими, Cohere решила сделать ход конем. Они представили North Mini Code – новый open-source AI-агент для написания кода, который, по их словам, способен работать даже на одном, казалось бы, таком монструозном GPU, как NVIDIA H100. Это, без сомнения, важный шаг для тех, кто ищет более доступные и гибкие решения для своих инженерных задач.
North Mini Code – это не просто очередная модель, адаптированная из общего назначения. Cohere специально заточили ее под агентные рабочие процессы в разработке программного обеспечения. Это означает, что модель интегрирована с возможностью использования инструментов, поддерживает "интерливинг" мышления (что, по заверениям разработчиков, улучшает работу в многошаговых задачах) и заточена под задачи, которые требуют более глубокого понимания контекста и взаимодействия.
Что же конкретно умеет эта модель? Во-первых, это полноценная поддержка программной инженерии. North Mini Code может анализировать и визуализировать архитектуру систем, выявлять зависимости и проводить ревью кода в больших проектах. А благодаря огромному контекстному окну в 256 тысяч токенов, она способна обрабатывать даже самые объемные многофайловые проекты за один проход.
Во-вторых, модель отлично справляется с терминальными задачами. Она обучена работать в командной строке, обрабатывать скрипты и различные утилиты. Cohere даже протестировали ее на бенчмарке Terminal-Bench v2, который имитирует реальные сценарии работы в терминале, а не просто генерирует код.
В основе North Mini Code лежит архитектура "sparse mixture-of-experts" (MoE) с 128 "экспертами", из которых активируются 8 на каждый токен. Это позволяет добиться впечатляющей производительности, сравнимой с моделями на 3 миллиарда параметров, при общем объеме в 30 миллиардов. Более того, как сообщается, один из сооснователей Cohere, Ник Фрост, даже демонстрировал работу модели на своем Mac Studio с использованием MLX, потребляя всего около 20 гигабайт оперативной памяти. Это открывает двери для локального развертывания даже на относительно скромном железе.
Процесс обучения North Mini Code был весьма основательным. Он включал два этапа обучения с учителем (supervised fine-tuning), а затем обучение с подкреплением (reinforcement learning) с верифицируемыми наградами. Модель прошла через более чем 70 тысяч проверенных задач, охватывающих около 5 тысяч репозиториев. Интересно, что Cohere тренировали модель на трех разных типах агентных фреймворков, что, по их словам, дало прирост производительности в оценке OpenCode на 10 процентных пунктов, сохраняя при этом производительность на SWE-Agent.
На рынке, где уже присутствуют такие игроки, как Mistral Devstral Small 2, GitHub Copilot и Claude Fable 5, North Mini Code предлагает интересную альтернативу. Cohere утверждает, что их модель превосходит Mistral Devstral Small 2 по пропускной способности выдачи в 2.8 раза и имеет 30% преимущество в задержке между токенами при одинаковых аппаратных конфигурациях. Независимые тесты Artificial Analysis также ставят North Mini Code высоко по скорости вывода – 210 токенов в секунду.
Однако есть и нюанс. В независимых тестах Artificial Analysis модель сгенерировала 75 миллионов выходных токенов для выполнения задачи, в то время как медиана по классу составила 25 миллионов....
🔗 Полный текст статьи читайте у нас на сайте: Читать на TechLoot
📢 ТехноЛут
