Яндекс представил «эмпатичную» нейросеть, основанную на технологии распознавания речи Yandex SpeechKit, которая умеет определять эмоции человека по его голосу и содержанию разговора. В компании рассказали, зачем нужна новая нейросеть и что ещё она умеет.
Нейросеть определяет эмоции во время прослушивания голоса человека, учитывает содержание речи, её скорость, высоту голоса и тембр. Также нейросеть умеет определять пол человека и при прослушивании диалога помечать, кому какая реплика принадлежит. В будущем ИИ научат работать с YandexGPT, после чего эта пара сможет определять более сложные эмоции. Например, неуверенность и сарказм. В «Яндексе» считают, что на практике новая нейросеть сможет в реальном времени распознавать, какие реплики вызывают у человека негативные эмоции, и поможет бизнесу найти подход к клиентам. Также она может экстренно реагировать на нештатные ситуации во время звонков. К примеру, определит хамство в отношении виртуального ассистента и переключит человека на оператора для решения проблемы.
Помимо интеграции с YandexGPT, в планах компании — расширить диапазон распознаваемых эмоций и дать возможность корпоративным пользователям выборочно отслеживать чувства клиентов. Нейросеть представлена как часть платформы облачных вычислений Yandex Cloud.