МОСКВА, 11 ноября. /ТАСС/. Исследователи управления экспериментальных систем машинного обучения Сбербанка разработали открытую компактную ИИ-модель Pollux для оценки качества ответов нейросетей по заданным пользователем критериям. Об этом сообщили ТАСС в пресс-службе банка.
"В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов", - приводятся в сообщении слова директора по развитию технологий искусственного интеллекта Сбербанка Сергея Маркова.
Как отметили в пресс-службе, для оценки качества ответов нейросетей обычно используются большие языковые модели, применение которых при массовых проверках требует значительных вычислительных ресурсов. Новая разработка позволяет проводить такую оценку локально, снижая вычислительные затраты.
Открытая модель-судья содержит 4 млрд параметров и способна оценивать ответы нейросетей на русском и английском языках по критериям и шкалам, которые определяет пользователь. Кроме того, она может анализировать многоходовые диалоги, результаты работы систем с использованием внешних источников информации (RAG), а также последовательности вызовов инструментов ИИ-агентами.
Ожидается, что разработка позволит ускорить выявление ошибок в ответах нейросетей, а также повысить качество и безопасность систем искусственного интеллекта.