Исследователи из Сбербанка и Высшей школы экономики разработали новую систему, способную точнее распознавать человеческие эмоции. Она анализирует не только мимику, но и голос с речью одновременно, что делает работу искусственного интеллекта (ИИ) ближе к восприятию человека.
Разработка использует комбинацию временных сверточных сетей и трансформеров — современных технологий машинного обучения. Это позволяет учитывать, как эмоции меняются с течением времени, а не просто фиксировать выражение в один момент. При тестировании модель показала более чем 10-процентное преимущество в точности по сравнению с системами, которые опираются только на выражения лиц.
Главная особенность новой технологии — устойчивость к внешним помехам. Система справляется даже в ситуациях с плохим освещением или фоновым шумом, когда невозможно четко рассмотреть лицо или расслышать голос. Это открывает возможности для ее применения в разных сферах.
Систему уже рассматривают для использования в кол-центрах, где нужно оценивать настроение клиента, в маркетинге — для анализа реакции на рекламу, а также в системах безопасности, образовании и телемедицине.