381 подписчик
Arce-Agent, локальная языковая модель основанная на Qwen2-7B c нативной поддержкой вызова функций.
Разработчики заявляют, что эта модель может потягаться по качеству с более крупными аналогами, но при этом, в силу своей величины (всего 7B параметров), она может быть запущенна на большом диапазоне устройств.
Основная фишка модели - поддержка вызова функций, что позволяет легко внедрять ее в различные API
Модель хорошо показывает себя в двух режимах:
Инструментальный маршрутизатор: Arcee Agent может служить интеллектуальным промежуточным GJ, анализируя запросы и эффективно направляя их в соответствующие инструменты или более крупные языковые модели для обработки.
Автономный чат-агент: Несмотря на то, что он ориентирован на вызов функций, Arcee Agent способен вести человекоподобные беседы и самостоятельно выполнять широкий спектр задач.
Из особенностей - заявлена поддержка Function Calling.
Для локального запуска квантованной до Q4_K_M версии потребуется минимум 6 Гб оперативной памяти.
Скачать модель в формате GGUF можно тут:
#llm #localllm #coding
Около минуты
7 июля 2024