Обученный нейросетью «Яндекс Переводчик» точнее понимает контекст, распознает фразеологизмы и ориентируется в профессиональной лексике
Как сообщает пресс-служба «Яндекса», переводчик стал качественнее справляться с длинными и сложными текстами — благодаря дообучению он лучше определяет взаимосвязи внутри предложений и между ними. Выросло качество перевода статей по узконаправленной тематике — сервис по контексту определяет, какие слова нужно оставить без перевода.
Нейросеть в «Переводчике» обучалась только на парах текстов — оригинале и переводе — чтобы научиться видеть между ними взаимосвязи. Большая языковая модель YandexGPT способна генерировать сложные, лексически и стилистически разнообразные тексты, в том числе со специфической терминологией.
Поэтому компания использовала ее потенциал для создания эталонных примеров, чтобы расширить датасет и повысить его качество. Нейросеть в «Переводчике» не утратила скорость своей работы, но стала умнее, отмечают разработчики. Для генерации эталонных примеров была разработана специализированная модель семейства YandexGPT, адаптированная под задачи перевода.
Во время этапа pretraining модель анализировала множество текстов на английском и русском языках и изучала правила лексики, морфологии и синтаксиса. Следующим этапом шла тонкая настройка языковой модели под задачи перевода. На этапе reinforcement learning специалисты оценивали качество перевода YandexGPT и ранжировали ответы от лучших к худшим.
Здесь мы рассказываем, что представляет собой модель YandexGPT:
«Яндекс»