LLM в роли судьи: что это такое, почему это работает и как использовать для оценки AI
LLM в роли судьи: Полное руководство по использованию LLM для оценок LLM в роли судьи — это распространённая техника для оценки продуктов на базе LLM. Она стала популярной по одной простой причине: это практическая альтернатива дорогой человеческой оценки при анализе открытых текстовых выводов. Оценка сгенерированных текстов является сложной задачей — как в случае с «простым» резюме, так и с чат-ботом. Метрики, такие как точность, не всегда работают, потому что существует множество способов быть «правым», не совпадая точно с примерным ответом...
MLLM: что это такое и чем отличается от “обычного” LLM
Если вы уже привыкли к LLM (типа ChatGPT), то MLLM — это следующий шаг: модель, которая понимает не только текст, но и несколько типов данных сразу. MLLM (Multimodal Large Language Model) — это “большая языковая модель”, которая умеет работать с разными модальностями: ✅ текст ✅ изображения (фото/скриншоты/документы) ✅ иногда аудио/видео (в зависимости от реализации) В чём разница между LLM и MLLM 1) Входные данные • LLM: понимает только текст. Пример: “Составь договор”, “Объясни ошибку в коде”. • MLLM: понимает текст + картинку (и иногда аудио). Пример: “Вот скрин 1С/Bitrix/Telegram — что тут...