На основе большой лингвистической модели GPT-3, созданной компанией OpenAI, разработана система перевода литературных текстов. Система выложена в открытый доступ и любой может с ней поэкспериментировать. Эксперты утверждают, что литературные тексты, которые система переводила, во многих случаях выглядят в переводе ИИ не хуже, чем в переводе профессионального переводчика.
Последние достижения в области машинного обучения значительно улучшили качество инструментов автоматического перевода. В настоящее время эти инструменты в основном используются для перевода простых предложений, а также коротких текстов или неофициальных документов. Но не для перевода художественной литературы.
Литературные тексты, - романы или рассказы, - по-прежнему переводят опытные переводчики-люди. Хотя в нескольких исследованиях изучался потенциал вычислительных моделей для перевода художественных текстов, результаты в этой области все еще неудовлетворительные.
Исследователи из Университета Массачусетса в Амхерсте провели исследование качества переводов на английский язык литературных текстов, сделанных машинами. Ученые сравнили их с переводами, созданными людьми. «Машинный перевод (МП) может дополнить работу переводчиков-людей, улучшив как процедуры обучения, так и их общую эффективность», — написали ведущий автор работы Кэтрин Тай и ее коллеги. — «Художественный перевод труден, поскольку переводчик должен сбалансировать смысловую эквивалентность, удобочитаемость и интерпретируемость перевода. Это делает литературный МП более сложным для компьютерного моделирования и оценки».
Оценка перевода человеком и машиной
Основная цель новой работы Кэтрин Тай и ее коллег заключалась в том, чтобы лучше понять, почему современные инструменты машинного перевода все еще терпят неудачу при переводе художественных текстов по сравнению с переводом, выполненным человеком. «Мы собираем набор данных (PAR3) неанглоязычных романов, каждый из которых сравнивается по отдельным абзацам как с человеческим, так и с автоматическим переводом на английский язык», — объяснила Тай.
PAR3 - это набор данных, составленный исследователями. Он содержит 121 000 абзацев из 118 романов, написанных на разных языках, кроме английского. Для каждого из этих абзацев набор данных включает несколько различных переводов, сделанных человеком, а также перевод, сделанный Google Translate.
Исследователи сравнили качество человеческого перевода абзаца с переводом Google, используя общие показатели для оценки инструментов машинного перевода. Одновременно ученые опрашивали опытных переводчиков, какие переводы они предпочитают.
«Используя PAR3, мы обнаружили, что опытные литературные переводчики отдали предпочтение человеческим переводам абзацев в 84% случаев, в то время как современные автоматические метрики машинного перевода не коррелируют с этими предпочтениями», — написали Тай и ее коллеги. — «Эксперты отмечают, что результаты машинного перевода содержат не только неверные переводы, но и стилистические несоответствия».
По сути, результаты, полученные Тай и ее коллегами, показали, что показатели принятые для оценки машинного перевода (например, BLEU, BLEURT и BLONDE) не особенно эффективны, поскольку переводчики-люди не согласились с их результатами. А вот отзывы, полученные от переводчиков-людей, позволили исследователям выявить конкретные проблемы с переводами, созданными с помощью Google Translate.
И тут пришла GPT-3...
Используя отзывы экспертов в качестве руководства, команда в конечном итоге создала модель автоматического постредактирования на основе GPT-3, большой лингвистической модели, разработанной OpenAI. Ученые обнаружили, что опытные переводчики-люди предпочитали художественные переводы, сделанные этой машинной моделью в 69% случаев. Это очень высокий результат.
В будущем результаты этого исследования могут стать основой для новых исследований, посвященных использованию инструментов машинного перевода для перевода художественных текстов. Кроме того, набор данных PAR3, собранный Тай и ее коллегами, общедоступен на GitHub и может использоваться другими командами для обучения или оценки своих языковых моделей художественного перевода.