Чем быстрее компания коммуницирует с клиентами, тем вероятнее она достигнет успеха. Оперативное взаимодействие позволяет оперативно реагировать на запросы и потребности потребителей, что повышает их удовлетворённость и лояльность. Скорость ответа сокращает время ожидания, и вероятность, что покупатель уйдёт к конкурентам, снижается. Ускорить общение помогает искусственный интеллект для работы с голосом.
Рассказываем, как работают синтез и автоматическое распознавание речи, где внедряют эти технологии и какие у них перспективы.
Что такое распознавание речи (ASR)
Распознавание речи — это преобразование акустических сигналов устной речи в формат текста или команды для устройства. Мы сталкиваемся с ASR, когда используем голосовых помощников или звоним в кол-центр и отвечаем на вопросы робота. В обоих случаях система сопоставляет звуки с буквами, а затем формирует из них слова, фразы и предложения.
Впервые технологию применили в 1950-х годах — тогда устройство могло распознать лишь десяток озвученных цифр. Спустя четыре десятилетия появились первые коммерческие программы, которые форматировали произнесённые слова в текст. Они пользовались спросом, но всё ещё недостаточно хорошо улавливали детали и допускали ошибки. Сегодня за счёт использования нейросетей алгоритмы ИИ неплохо понимают контекст и точнее передают информацию, а обработка речи занимает меньше секунды.
До активного внедрения нейросетей процесс распознавания речи выглядел так:
- Микрофон фиксировал колебания воздуха во время записи и создавал звуковую дорожку — визуальное отображение речи в виде графика амплитуды и времени.
- Далее такая волна проходила через фильтры и спектрограммы: звук «раскладывали» на составляющие, выделяя ключевые частотные пики, характерные для гласных и согласных.
- На основе этих данных система идентифицировала фонемы, а затем переводила их в буквы, слова и предложения.
На третьем этапе использовали языковую и акустическую модель распознавания речи, а также словарь произношений. Акустическая модель связывала звуковые сигналы с фонемами — отдельными звуками из нашей речи. Словарь произношений сопоставлял полученные данные с буквами, а языковая модель — со словами и фразами.
У старой системы было много ограничений. Пользователю приходилось чётко проговаривать слова и делать паузы, иначе алгоритмы выдавали бы ошибки из-за фонового шума и нечёткости. С развитием нейросетей процесс преобразования стал проще.
Расскажем, как компьютер понимает человеческую речь сейчас.
Как работает современная технология распознавания речи
Сегодня автоматическое распознавание голоса строится на нейросетевых end-to-end моделях: акустической и языковой. Благодаря машинному обучению они работают эффективнее и быстрее.
Процесс также начинается с записи и оцифровки голоса, после чего:
- Фильтры удаляют шумы и разбивают речь на короткие отрезки.
- Алгоритмы напрямую превращают звуки в буквы, минуя этап с фонемами.
- Языковая модель анализирует контекст отрывка и выбирает наиболее вероятные для этого текста варианты слов.
Основная часть работы происходит на втором этапе — её выполняет акустическая система, которая состоит из энкодера и декодера. Энкодер трансформирует речь человека в команды, понятные для алгоритмов. Декодер производит синтез текста.
В end-to-end системах есть три подхода к декодированию: CTC, RNN Transducer, LAS.
CTC — это способ, который помогает системе понять, как соотносить звуковые фрагменты с буквами или словами. Технология работает быстро, но может допускать ошибки.
RNN Transducer, как синхронный переводчик, переводит речь на лету, не дожидаясь конца предложения. Система постоянно обновляет текст по мере поступления звука. Учитывает контекст лучше, чем CTC, и допускает меньше ошибок.
LAS содержит встроенную языковую модель, похожую на ChatGPT. Декодер запоминает всю входящую последовательность для каждого символа. Подходит для обработки длинных записей и перевода аудио на другой язык.
Что представляет собой синтезирование речи (TTS)
Синтез голоса — это, наоборот, преобразование текста в устную речь. Благодаря TTS (text to speech) работают виртуальные ассистенты, а пользователи могут прослушать статью или инструкцию, когда нет возможности прочитать. Голосовые боты в контактных центрах — также результат синтезирования речи.
Бизнес всё чаще использует подобные системы, чтобы стать доступнее для клиентов, снизить расходы и нагрузку на операторов. Искусственная речь увеличивает охват пользователей, включая иностранную аудиторию. Компания может создавать подкасты и аудиокниги без расходов на студию и актёров озвучки.
Синтезирование голоса бывает трёх типов:
- конкатенативное;
- формантное;
- нейросетевое (параметрическое).
Конкатенативный синтез работает как конструктор из готовых фрагментов: берёт заранее записанные фрагменты человеческой речи (фонем, слогов, слов) и соединяет их между собой. Подход обеспечивает качественный звук, а искусственный голос получается максимально приближённым к человеческому. Минус в том, что требуется большой объём данных, чтобы работать без ограничений.
Формантный метод более гибкий по сравнению с конкатенативным. Он помогает создавать речь с нуля и не требует большой базы записей. Минус — речь звучит недостаточно естественно.
Нейросетевой синтез голоса обучается на большом количестве данных. Благодаря этому звук получается максимально естественным и качественным. Подход требует серьёзных вычислительных мощностей.
Дальше расскажем, как компьютер генерирует человеческую речь.
Как технологии синтезируют речь
Разберем поэтапно принципы работы речевых технологий TTS.
- Оцифровка текста. Компьютер читает текст и разбирает его на слова, определяет, где стоят точки, запятые и другие знаки. Переводит в формат, доступный для алгоритмов. Переписывает сокращения в полные формулировки.
- Лингвистическая обработка. Каждое слово разбивается на маленькие звуковые кусочки (фонемы). Система запоминает, как эти звуки должны звучать на языке пользователя. Например, определяет, где ставить ударения, какая эмоция подходит для озвучки.
- Синтезация голоса. Компьютер обрабатывает цифровые сигналы с помощью конкатенативного, параметрического или нейросетевого подхода. И озвучивает пользователю ответ.
Процесс похож на чтение вслух. Компьютер осознаёт смысл текста, затем формирует произношение и только затем озвучивает.
Где применяются распознавание и синтез речи
Применение речевых технологий охватывает маркетинг и телеком, промышленность, банковский сектор и другие сферы. Рассказываем, где применяют системы автоматического распознавания речи, а где — TTS.
Какие задачи решают с помощью ASR
Работа голосовых помощников (Алиса, Siri)
ASR преобразует голосовые команды в текст, который обрабатывается для выполнения задач. Например, управление устройствами («включи музыку», «настрой будильник») или поиск информации («найди рецепт пасты», «закажи такси»). Для бизнеса это способ увеличить продажи и удержать клиентов через голосовые покупки и удобное управление голосом.
Допустим, сеть кофеен может внедрить голосовой заказ через приложение, чтобы сократить время ожидания и повысить удовлетворённость потребителей.
Запуск автосубтитров в реальном времени
Пользователи часто смотрят видео без звука, что снижает эффективность коммерческих блогов. Благодаря ASR эту проблему легко решить — технология распознает речь на видео и запустит автоматические субтитры.
Расшифровка войсов в мессенджерах
Отсылать голосовые сообщения удобно, а вот слушать — не всегда. Чтобы упростить пользователям общение, разработчики внедряют технологии распознавания речи для расшифровки записей.
Автоматизация кол-центров голосовыми роботами
Голосовые роботы обрабатывают простые запросы: проверка баланса, статус заказа, перенаправление к нужному сотруднику на основе ключевых слов. Например, «возврат» или «жалоба». Также ASR расшифровывает диалоги, выявляя частые проблемы потребителей, и автоматизирует ввод данных в CRM.
Проведение первичных собеседований
Если компания приглашает много соискателей, первый этап найма удобнее автоматизировать. Роботы выясняют у кандидатов стандартные данные: образование, опыт работы, цели. Система сохраняет запись разговора и переводит её в текст для HR-менеджера.
Автоматизация туризма и сферы гостеприимства
Сейчас широко используется технология бронирования услуг через умные устройства. Пользователю не приходится заполнять формы, чтобы забронировать номер или столик. Это увеличивает вероятность обращения именно в данную компанию.
Какие задачи решают с помощью TTS
Синтезирование речи используют в следующих сферах:
Озвучивание контента
Голосовые гиды в отелях и музеях, книги, статьи на сайтах и даже новости — озвучка доступна для любого контента. Без диктора, студии и сопутствующих трат.
Создание голосовых интерфейсов в устройствах
Умные устройства используют синтез для обратной связи с пользователем. Например, навигаторы озвучивают маршрут, и водителю не нужно отвлекаться на карту.
Помощь людям с ограниченными возможностями
TTS можно применять для озвучки кнопок и других навигационных элементов, в том числе на улице или в магазине. Эта функция будет полезной, например, для слабовидящих людей.
Индивидуализация автоответчика
Благодаря синтезу можно выбирать голоса для автоответчиков в компании.
Автоматизация работы отделов по работе с клиентами
Голосовые роботы обрабатывают звонки разной степени сложности. С их помощью компании совершают холодные обзвоны, информируют покупателей, оформляют заказы и фиксируют бронирование. Такие программы общаются сразу с несколькими пользователями. Они готовы ответить в любое время суток и часто неотличимы от реальных операторов.
Проблемы и ограничения речевых технологий
Несмотря на сильный рывок в развитии, распознавание и синтез речи всё ещё нельзя назвать идеальным инструментом. Есть три проблемы.
Акценты и диалекты
Речевые системы не всегда хорошо понимают нестандартное произношение или слова, которые употребляют только в определённом регионе. Особенно заметно эта проблема проявляется в многоязычных странах, где люди смешивают два языка (например, татарский и русский). Для устройства это всё равно что слушать шифровку.
В итоге пользователи с выраженным акцентом могут сталкиваться с ошибками при взаимодействии с голосовыми помощниками. Компаниям сложнее масштабироваться в регионах с выраженными языковыми особенностями, например, в Индии, где в ходу десятки диалектов.
Эмоциональная окраска синтезированной речи
Проблема заключается в том, что эмоции в речи — это не просто тон, но и паузы, ритм, произношение, едва уловимые изменения. Современные нейросети уже умеют добавлять в речь эмоции, но часто перегибают палку или, напротив, звучат безжизненно. Механический голос снижает вовлечённость, а иногда даже вызывает недовольство аудитории.
Конфиденциальность голосовых данных
Когда человек говорит «Привет, Алиса», его голос записывается, обрабатывается и где-то хранится. Это биометрическая информация, которую можно использовать для идентификации личности. Утечки или неправомерное использование таких данных приводят к рискам для пользователей и бизнеса. Компании пытаются шифровать данные и внедрять проверки подлинности, но идеальной защиты пока не придумали.
Перспективы распознавания и синтеза речи
Современные речевые технологии станут ещё точнее, индивидуальнее и доступнее. Рассмотрим три тенденции.
Персонализация голосов
Синтезация речи продолжит движение в сторону «очеловечивания» роботов. Они смогут генерировать голос с нужными характеристиками: пол, возраст, характер. Сейчас уже есть сервисы TTS с выбором эмоций и персонажа и боты с голосами знаменитостей.
Улучшенное понимание контекста
Разработчики виртуальных ассистентов активно внедряют в них искусственный интеллект. Предполагается, что в скором времени голосовые помощники научатся генерировать более осмысленные и персонализированные диалоги с пользователями. Допустим, человек сделает запрос «Напомни купить молока» — а потом через час добавит: «И хлеб». Система не станет создавать два отдельных напоминания, а объединит их, как это сделал бы живой собеседник.
Бесшовное взаимодействие человек-машина
Технология продолжит развиваться в направлении Speech-To-Speech, когда пользователь общается с виртуальным ассистентом как с человеком. Умные устройства будут лучше понимать разные языки, реагировать как живой собеседник, подстраиваться под эмоции. Голос станет естественным продолжением интерфейсов: вы начнёте разговор с роботом в приложении, продолжите в умных очках, а закончите в автомобиле без перезагрузок и повторных авторизаций.
Коротко о главном
- Функция распознавания речи и синтезирования голоса быстро развивается и, вероятнее всего, станет незаменимым инструментом в ведении бизнеса.
- Системы распознавания речи преобразуют устную речь в текст, используя нейросетевые модели, что обеспечивает высокую скорость и точность обработки, а также лучшее понимание контекста по сравнению со старыми алгоритмами.
- Технологии TTS преобразуют текст в естественно звучащую речь, позволяя компаниям создавать голосовых ассистентов, озвучивать контент, автоматизировать кол-центры и делать сервисы более доступными для разных групп пользователей.
- ASR и TTS используются для создания голосовых помощников, генерации субтитров, озвучивания контента, помощи людям с ограниченными возможностями, а также в туризме, банковском секторе и промышленности.
- Виртуальные ассистенты, аудиоконтент, расшифровка записей и голосовые боты помогают удерживать клиентов, обрабатывать больше заявок и расширять аудиторию.
Голосовой робот МТС Exolve может совершать и принимать звонки по скрипту, рассылать SMS и эффективно заменяет до 1000 сотрудников кол-центра. У сервиса есть API для работы с голосом — доступна интеграция с CRM и другими корпоративными решениями.
Переходите по ссылке, чтобы попробовать сейчас
Подписывайтесь на наш канал. Делимся полезными решениями для малого и среднего бизнеса, помогаем разобраться, рассказываем про тренды.
Ещё полезные статьи: