🔓⚡⚡ Trinity-Mini: 26B MoE-модель от Arcee AI с 128k контекстом и FP8-оптимизацией

🔓⚡⚡ Trinity-Mini: 26B MoE-модель от Arcee AI с 128k контекстом и FP8-оптимизацией

Arcee AI представили Trinity-Mini — компактную MoE (Mixture of Experts — модель активирует только часть параметров для каждого токена) архитектуру на 26B параметров, из которых активны всего 3B. Модель обучена на колоссальном датасете в 10 триллионов токенов и оптимизирована под сложные рассуждения и кодинг.

Главная фишка этого релиза — официальный FP8-квант с поблочным скалированием. Это позволяет запускать модель практически без потери качества, но с ДЕСЯТИКРАТНЫМ преимуществом в пропускной способности на картах NVIDIA Hopper (H100/H200). На бенчмарке BFCL V3 (Berkeley Function Calling Leaderboard — тест на работу с инструментами и API) Trinity-Mini набрала 59.67%, уверенно обойдя конкурентов вроде gpt-oss и Magistral.

Архитектура использует 128 экспертов (8 активных на токен), что дает высокую плотность знаний при низких затратах на инференс. Модель поддерживает контекстное окно в 128k токенов и поставляется под лицензией Apache 2.0, что делает её идеальным кандидатом для self-hosted enterprise решений.

Запустить модель можно через vLLM с поддержкой ускорения DeepGEMM:

VLLM_USE_DEEP_GEMM=1 vllm serve arcee-ai/Trinity-Mini-FP8-Block --trust-remote-code.

Это отличный пример того, как маленькие активные параметры (3B) в связке с огромным объемом претрейна (10T) выдают уровень производительности, сопоставимый с тяжелыми проприетарными моделями.

#AI #ArceeAI #Trinity #MoE #OpenSource #FP8 #vLLM

🔗 arcee-ai/Trinity-Mini-FP8-Block