Вслед за улучшенным генератором изображений компания «Яндекс» представила новую версию технологии перевода текста на фото и картинках. Благодаря использованию нейросети, перевод не только выполняется лучше и точнее, но также сохраняется визуальный стиль оригинального текста.
Во время перевода нейросеть YandexGPT понимает стиль оригинального текста и может сохранить игру слов. Она точнее подбирает формулировки во фразах с несколькими значениями и не переводит выражения дословно. За счёт этого выросло качество перевода как простых текстов, так и сложных: публицистических статей, энциклопедий и инструкций. Перевод на основе большой языковой модели пока что работает для изображений с текстом на английском.
Разработчики также улучшили визуализацию перевода для нескольких десятков языков. Технология стирает оригинальный текст с изображения и располагает переведённый поверх него. Как рассказали в компании, нейросеть подбирает шрифт, размер и цвет букв, а также убирает различные артефакты таким образом, чтобы переведённые изображения выглядели наиболее естественно. Кроме того, текст получается контрастным, что улучшает его читаемость. Немаловажно, что технология распознаёт переносы слов и может понять их значение, даже если в кадр попала только часть.
Для перевода текста на изображениях была создана отдельная модель семейства YandexGPT, адаптированная под задачи перевода с английского на русский. Её обучали на множестве пар оригинальных и переведённых текстов с примерами качественных и плохих переводов.
Обновление уже доступно в «Переводчике» и «Браузере», а позже появится и в «Умной камере».
