Кратко разбираем, почему BLEU и ROUGE уже не справляются с оценкой современных языковых моделей
Когда мы оценивали первые чат-боты, основным инструментом были автоматические метрики: BLEU, ROUGE, METEOR. Однако с появлением сложных языковых моделей стало очевидно, что эти метрики не справляются с оценкой качества ответов.
Три причины, почему старые метрики не работают
1. Поверхностное сравнение
Традиционные метрики анализируют только совпадение слов, игнорируя смысл. Они не понимают, что разные формулировки могут содержать одинаковую информацию.
2. Отсутствие контекста
Эти метрики не учитывают нюансы формулировок и стиля общения. Они не могут оценить, насколько ответ уместен в конкретной ситуации.
3. Непредсказуемость LLM
Один и тот же запрос может получить разные, но равноценные ответы. Традиционные метрики не могут работать с такой вариативностью.
Пример провала традиционных метрик
Запрос: "Как правильно завести автомобиль зимой?"
Эталонный ответ: "Для зимнего запуска двигателя проверьте уровень масла, заряд аккумулятора и используйте предпусковой подогреватель."
Ответ модели: "Перед запуском зимой убедитесь в исправности аккумулятора, уровне масла и при необходимости включите подогреватель."
BLEU-оценка: 0.45 (низкая)
Человеческая оценка: Отлично (содержит всю необходимую информацию)
Этот пример показывает, как традиционные метрики могут вводить в заблуждение, снижая оценку качественного ответа.
Что использовать вместо старых метрик?
Современные подходы к оценке LLM основаны на использовании самих языковых моделей как "судей". Эти LLM-оценщики способны анализировать качество ответов по более сложным критериям, учитывая контекст, стиль и полноту информации.
В следующих статьях мы подробно разберем ключевые метрики и фреймворки для оценки LLM.