Ученые лаборатории искусственного интеллекта Сбербанка предложили инновационный подход к распознаванию эмоций при помощи легковесных моделей искусственного интеллекта. Результаты их исследования были представлены на международном воркшопе Affective Behaviour Analysis in-the-Wild (ABAW) в рамках конференции CVPR (Core A*).
Работа, озаглавленная Leveraging Lightweight Facial Models and Textual Modality in Audio-visual Emotional Understanding in-the-Wild («Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций в естественных условиях»), демонстрирует, как комбинирование визуальных, акустических и текстовых данных может существенно повысить точность эмоционального анализа.
Современные системы распознавания эмоций сталкиваются с рядом проблем, включая низкую точность в условиях изменяющегося освещения и фонового шума, а также высокие вычислительные затраты и необходимость больших объемов размеченных данных для обучения моделей. Решение исследователей основано на трех ключевых аспектах: использование легких нейронных сетей (EmotiEffNet, MobileViT, MobileFaceNet), фильтрация кадров для снижения нагрузки на систему, а также метод «позднего слияния» (late fusion) для комбинирования данных из разных источников.
Точность (средняя F1-мера) изменилась на 1,5–15% по сравнению с базовыми методами, основанными на традиционных нейросетевых моделях. Применение данной технологии ожидается в виртуальных ассистентах и чат-ботах, а также в образовательных платформах, позволяющих адаптировать контент в зависимости от эмоционального состояния пользователей. Умные системы мониторинга психического здоровья смогут выявлять признаки тревожности и депрессии на ранних стадиях, что представляет собой важный шаг вперед в области психического здоровья.
Глеб Гусев, директор Лаборатории искусственного интеллекта Сбербанка, подчеркнул, что разработанные новые методы мультимодального анализа приближают создание эмпатичного искусственного интеллекта, способного точно и быстро распознавать эмоции человека в реальных условиях. Применение этой технологии может значительно улучшить взаимодействие пользователей с ИИ-инструментами.
]]>
