Платформа для ИИ-агентов Backboard достигла впечатляющего результата 90,1 % в бенчмарке LoCoMo, который предназначен для оценки долговременной диалоговой памяти. Ранее популярные библиотеки показывали показатели в диапазоне 67–69 %, поэтому новый результат значительно повышает планку.
LoCoMo проверяет способность системы запоминать, обновлять и извлекать факты о пользователе и контексте диалога на протяжении множества сессий. Высокий балл означает, что виртуальные ассистенты могут лучше следовать инструкциям, реже переспрашивать пользователя и требовать меньше пояснений, что снижает расход токенов и повышает эффективность взаимодействия.
Backboard предоставляет API для долгосрочной памяти, мультимодельный API для роутинга между более чем 2200 LLM, а также RAG-слой для интеграции внешних знаний. Все результаты теста воспроизводимы — компания опубликовала скрипты, логи и промпты на GitHub, что позволяет другим исследователям проверять и использовать достижения Backboard в своих проектах.
Высокий показатель долговременной памяти открывает новые возможности для создания персонализированных ИИ-ассистентов, способных адаптироваться к пользователю и сохранять контекст на протяжении длительных взаимодействий.
Источник: https://habr.com/ru/companies/bothub/news/965620/