Для обучения сервиса задействовали YandexGPT
«Яндекс переводчик» был обучен на базе собственной нейросети YandexGPT. Сервис стал лучше ориентироваться в профессиональной лексике, распознавать фразеологизмы и понимать контекст. Об этом сообщила пресс-служба компании «Яндекс».
Для генерации эталонных обучающих примеров использовалась модель семейства YandexGPT. Обучение системы сервиса было разбито на несколько этапов.
Модель проанализировала множество текстов на английском и русском языках на этапе предподготовки. Далее пришел черед контролируемой точной настройки (supervised finetuning — SFT)языковой модели для задач перевода. SFT — метод, используемый в машинном обучении для повышения производительности предварительно обученной модели. Сначала модель обучается на большом наборе данных, а затем настраивается на меньшем конкретном наборе данных. Это позволяет модели сохранять общие знания, полученные из большого набора данных, и в то же время адаптироваться к специфическим характеристикам меньшего набора данных.
В заключении специалисты оценили качество ответов YandexGPT, отсортировав их от лучших к худшим.
Для оценки работы использовался метод Side by Side (сравнение 1:1 двух объектов). Пары длинных текстов на русском и английском языках переводились при помощи старой и новой технологии. Новая справилась с задачей на 57% лучше.
Теперь разработчики сервиса обещают, что он будет лучше переводить тексты в узконаправленных тематиках и определять взаимосвязи как внутри предложений, так и между ними.
Напомним, что «Яндекс переводчик» работает с 2018 года, переводя тексты со 100 языков. Сервис также умеет переводить надписи с картинок и фотографий.
Ранее www1.ru сообщал, что «Яндекс» запустил нейросеть YandexGPT 3 Lite.