Человек и LLM. Как оценивать качество моделей и строить метрики | Ирина Барская, Яндекс Поиск
Разработан новый метод оценки качества изображений, в случае атак на метрики
Команда исследователей с факультета ВМК МГУ разработала новый метод оценки качества изображений, который помогает обнаружить их слабые стороны в случае атак на метрики качества. Эта инновационная методика включает индекс устойчивости изображений и модель, прогнозирующую их чувствительность к изменениям. Эти открытия помогут сделать современные алгоритмы обработки изображений более надежными. Об этом «Жуковский.Life» рассказали в пресс-службе университета. Работа была опубликована в EUSIPCO 2024....
Оценка качества моделей машинного обучения: метрики и производительность
Как объективно оценить качество работы системы искусственного интеллекта? Этот вопрос становится критически важным для организаций, внедряющих ИИ-решения в бизнес-процессы. Современные системы искусственного интеллекта широко применяются в различных областях: от автоматизации клиентского сервиса до обработки больших объёмов данных. Однако существующие метрики оценки качества, такие как BLEU и ROUGE, фокусируются на поверхностном сопоставлении текстов и не учитывают семантическую корректность, логическую согласованность и фактическую точность ответов...