Вы когда-нибудь хотели бы прочитать книгу или статью на иностранном языке, не прибегая к текстовому переводу? Или может быть вы хотели бы услышать перевод своего текста на другом языке, не теряя своего индивидуального голоса? Теперь это стало возможным благодаря новой технологии от Google, которая может переводить тексты голосом пользователя.
Эта технология называется Audio-Palm и является продолжением проекта Translatotron 2.0, который был представлен в 2023 году. Translatotron 2.0 позволял переводить речь на любой язык, сохраняя особенности голоса говорящего. Audio-Palm же позволяет переводить тексты на любой язык, используя голос пользователя.
Audio-Palm работает следующим образом: пользователь загружает текст, который хочет перевести, в приложение Google Translate. Затем он выбирает целевой язык и нажимает кнопку “прочитать”. Приложение тогда активирует камеру смартфона и просит пользователя показать свою ладонь перед объективом. Приложение анализирует движения ладони пользователя и сопоставляет их с звуками на целевом языке. Затем оно синтезирует аудио-дорожку, которая звучит как будто пользователь читает текст на этом языке.
Audio-Palm использует искусственный интеллект (AI) для того, чтобы распознавать движения ладони и преобразовывать их в звуки. Она основана на принципе, что движения ладони отражают артикуляцию голосовых связок при произношении звуков. Таким образом, по движениям ладони можно определить, какие звуки произносит человек. Для этого Audio-Palm использует нейронную сеть, которая обучена на большом количестве видео с разными языками и акцентами. Нейронная сеть извлекает признаки из видео и преобразует их в звуковые спектрограммы, которые затем синтезируются в аудио-дорожку.
Google утверждает, что Audio-Palm может переводить тексты на 31 язык, включая английский, испанский, французский, немецкий, китайский и русский. Она также может адаптироваться к различным диалектам и акцентам внутри одного языка. Например, она может перевести текст на американский английский голосом британца или наоборот.
Audio-Palm предназначена для использования в различных целях. Она может помочь в изучении иностранных языков, развлечении, творчестве и других областях, где требуется аудио-перевод текстов. Она также может способствовать лучшему пониманию между людьми разных культур и национальностей.
Google планирует запустить Audio-Palm в ближайшее время как часть своего сервиса Google Translate. Пользователи смогут загружать свои тексты или вводить их в приложении и получать перевод в виде аудио или текста. Google также работает над тем, чтобы сделать Audio-Palm доступной для реального времени, чтобы пользователи могли слушать перевод своих текстов по мере их набора.
Audio-Palm является одним из самых инновационных примеров применения AI в области перевода текстов. Она демонстрирует, что AI может не только переводить слова, но и передавать голос пользователя. Она также открывает новые возможности для экспериментов с голосом.
-
Если вам интересна тема ИИ, вы хотите знать больше и не пропускать последние новости и обзоры, подпишитесь на наш канал в Telegram или перейдите на наш сайт: https://www.gptalk.ru/