Команда популярного сервиса частных объявлений «Авито» поделилась новым достижением фирменной нейросети. Как рассказали в пресс-службе, большая языковая модель A-Vibe заняла первое место среди облегченных моделей (до 10 млрд параметров) в независимом российском бенчмарке MERA, обойдя международные аналоги от OpenAI, Google и Anthropic.
A-Vibe обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие популярные небольшие нейросети. Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Результаты тестирования MERA:
- Генерация кода: на 25% лучше Gemini 1.5 с 8 миллиардами параметров
- Ведение диалога: на 32% точнее Llama 3.1 с 405 миллиардами параметров
- Способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
A-Vibe лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог. Технология уже работает в сервисах «Авито» — например, помогает продавцам писать продающие описания и быстрее договариваться о сделке в мессенджере. До конца года компания планирует добавить ещё 20 новых сценариев, а в будущем может открыть код модели для всех.