Google и Imperial College London: качество медицинского перевода ИИ нужно оценивать по «плоскости точности-естественности»
Google и Imperial College London опубликовали исследование, показывающее, что одной метрики для оценки качества медицинского перевода с использованием ИИ недостаточно. В исследовании проанализировали результаты совместной задачи WMT24, включая большие языковые модели (LLM), такие как GPT-4 и Claude, а также системы машинного перевода, такие как Tower70B от Unbabel. Исследователи утверждают, что качество перевода по своей сути является двумерным, охватывая как точность (также известную как верность или адекватность), так и естественность (также известную как понятность или беглость). Эти цели противоречат друг другу, и оптимизация одной из них часто ухудшает другую (https://slator.com/google-calls-for-rethink-of-single-metric-ai-translation-evaluation/, в РФ только через VPN).
