Создание LLM-судьи, которое приводит к бизнес-результатам

Автор Хамель Хусейн

Пошаговое руководство с выводами из более чем 30 внедрений ИИ

Проблема: команды ИИ тонут в данных

Вы когда-нибудь тратили недели на создание системы ИИ, только чтобы понять, что вы понятия не имеете, работает ли она на самом деле? Вы не одиноки. Я заметил, что команды повторяют одни и те же ошибки при использовании LLM для оценки результатов ИИ:

1. Слишком много метрик: создание многочисленных измеряемых характеристик, которые становятся неуправляемыми.
2. Произвольные системы оценок: использование некалиброванных шкал (например, от 1 до 5) по нескольким измерениям, где разница между оценками неясна и субъективна. Что делает что-то 3 вместо 4? Никто не знает, и разные оценщики часто интерпретируют эти шкалы по-разному.
3. Игнорирование экспертов в предметной области: не вовлечение людей, которые глубоко разбираются в предмете.
4. Непроверенные метрики: использование измерений, которые на самом деле не отражают то, что важно для пользователей или бизнеса.

Результат? Команды оказываются погребенными под горами показателей или данных, которым они не доверяют и которые не могут использовать. Прогресс останавливается. Все расстраиваются.

Например, я нередко вижу панели мониторинга, которые выглядят так:

Отслеживание множества оценок по шкале от 1 до 5 часто является признаком плохого процесса оценки (позже я расскажу, почему). В этом посте я покажу вам, как избежать этих ловушек. Решение — использовать технику, которую я называю «Critique Shadowing (Критическое отслеживание)». Вот как это сделать, шаг за шагом (ссылки на английский текст).

Шаг 1: Найдите главного эксперта в предметной области

• Следующие шаги

Шаг 2: Создайте набор данных

• Почему важен разнообразный набор данных
• Измерения для структурирования вашего набора данных
• Примеры характеристик, сценариев и персонажей
• Эта таксономия не универсальна
• Создание данных
• Пример промптов LLM для создания пользовательских входов
• Создание синтетических данных
• Следующие шаги

Шаг 3: Поручите эксперту в предметной области выносить суждения «прошел/не прошел» с помощью критики

• Почему важны простые метрики «прошел/не прошел»?
• Роль критики
• Примеры хорошей критики
• Не отклоняйтесь от бинарных суждений «прошел/не прошел» при начале работы
• Упростите эксперту в предметной области просмотр данных
• Сколько примеров вам нужно?

Шаг 4: Исправьте ошибки

• Шаг 5: Создайте своего LLM-судью, итеративно
• Скрытая сила критики
• Начните с примеров экспертов
• Продолжайте итерацию в промтах, пока не сойдетесь с экспертом в предметной области
• Как оптимизировать промпт LLM-судьи?
• Человеческая сторона процесса
• Как часто следует проводить оценку?
• Что делать, если это не сработает?
• Ошибки, которые я заметил в промптах LLM-судьи

Шаг 6: Проведите анализ ошибок

• Классифицируйте по признакам
• Интерактивное пошаговое руководство по анализу ошибок
• Исправьте свои ошибки, еще раз
• Чтобы делать это хорошо, требуется грамотность в работе с данными

Шаг 7: Создайте больше специализированных LLM-судей (при необходимости)

Обзор Critique Shadowing

• В конце концов, не судья создал ценность
• Вам это действительно нужно?

Часто задаваемые вопросы

• Если у меня есть хороший LLM-судья, разве это не та LLM, которую я хотел бы использовать?
• Рекомендуете ли вы тонкую настройку судей?
• Что не так со стандартными LLM-судьями?
• Как вы оцениваете LLM-судью?
• Какую модель вы используете для LLM-судьи?
• Что насчет ограничений?
• Я использую LLM в качестве судьи и получаю огромную ценность, но я не следовал этому подходу.
• Как вы выбираете между традиционными методами машинного обучения, LLM-как-судья и человеческими аннотациями?
• Можно ли создавать судей из небольших моделей?
• Как вы обеспечиваете согласованность при обновлении своей модели LLM?
• Как вы постепенно исключаете человека из цикла, чтобы масштабировать это?

Ресурсы

Источник