10,2 тыс подписчиков
🌟 MM-Vet v2: Бенчмарк LMM на встроенные возможности.
MM-Vet оценивает шесть основных возможностей LMM: распознавание, знание, пространственная ориентация, генерация языка, распознавание текста и математика. В версии v2 бенчмарка добавлена новая функция "понимание последовательности изображений и текста", которая может оценить способность моделей обрабатывать последовательности визуальных интерпретаций.
Вторая версия была подготовлена на большем наборе исходных данных (517 пар вопросов-ответов из различных областей), которые были сгенерированы GPT-4V и переработаны вручную исследовательской группой.
📌Лицензирование : Apache-2.0 license
#AI #Benchmark #LMM #MMVetV2
Около минуты
6 августа 2024