В сервисе «Яндекс Книги» появилась обновлённая версия виртуального рассказчика с улучшенной нейросетевой моделью синтеза речи. Теперь функция доступна для более чем 120 тысяч произведений и позволяет слушать книги, у которых нет готовой аудиоверсии.
Обновлённая система делает голос более живым и естественным, а интонация адаптируется в зависимости от жанра произведения. По результатам тестов, в 80% случаев новая модель звучит лучше, чем решения мировых лидеров, включая ElevenLabs.
Виртуальный рассказчик особенно полезен для незрячих и слабовидящих людей. Если предыдущая модель иногда звучала монотонно, то новая технология устраняет этот недостаток. Интонации стали более выразительными, а диалоги и реплики персонажей выделяются более явно. Такой подход позволяет по-новому воспринимать знакомые произведения в аудиоформате.
Для обучения модели «Яндекс» использовал записи, сделанные совместно с профессиональными дикторами. Они озвучивали тексты разных жанров, включая фантастику, детективы, романы и учебную литературу. Алгоритм научился определять начало диалога и автоматически корректировать интонацию в зависимости от жанра. Чтобы речь звучала плавно, модель начинает синтезировать слово ещё до того, как закончено формирование предыдущего.
Слепое тестирование показало, что новая версия виртуального рассказчика превосходит прежнюю: на 74% по общему впечатлению от голоса, на 78% по интонации и на 73% по естественности звучания. Виртуальный рассказчик работает в веб-версии и мобильном приложении «Яндекс Книг», а в настройках можно выбрать мужской или женский голос.