Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) разработали технологию автоматического распознавания эмоционального состояния человека по данным электроэнцефалограммы (ЭЭГ) головного мозга. Разработка предназначена для цифровых помощников, которые будут следить за психологическим здоровьем в реальном времени.
Безопасность объектов транспортной, промышленной и оборонной инфраструктуры напрямую зависит от психофизиологического состояния операторов, водителей и специалистов информационных центров. Для контроля их состояния активно внедряются цифровые помощники на основе нейросетей.
Традиционные системы анализируют внешние проявления человека: мимику, речь и язык тела. В СПб ФИЦ РАН разработали программное обеспечение, расширяющее возможности мониторинга — оно оценивает опасные состояния через анализ фото- и видеоматериалов, пульса и особенностей моргания. Однако у этих методов есть ограничения: на точность влияют условия освещения, фоновый шум и культурные особенности выражения эмоций.
«Чтобы преодолеть эти ограничения, мы усовершенствовали систему. В рамках нового исследования мы применили еще один тип данных — и обучили нейросеть распознавать по ЭЭГ эмоции человека в режиме реального времени с высокой точностью: позитивные, негативные или нейтральные», — рассказал один из авторов исследования, старший научный сотрудник лаборатории автоматизированных систем СПб ФИЦ РАН Алексей Кашевник.
Общая выборка исследования составила 146 участников. Обучение нейросети проводилось на двух крупных базах данных ЭЭГ — FACED и SEED, содержащих обезличенную информацию о мозговой активности более 130 человек разного пола и возраста. Для проверки эффективности системы было проведено дополнительное тестирование на группе из 16 добровольцев. В ходе эксперимента исследователи использовали компактное носимое устройство для записи ЭЭГ, а также вели видеосъемку. Это позволило сравнить эффективность двух методов распознавания эмоций: по данным мозговой активности и по визуальным показателям.
«Одна из главных проблем, с которой мы столкнулись — необходимость учета различных паттернов ЭЭГ у разных респондентов. Мозговая активность каждого участника уникальна, что приводит к различиям в сигналах ЭЭГ даже при ощущении одних и тех же эмоциональных состояний. Несмотря на эти трудности, предложенная модель анализа ЭЭГ показала многообещающие результаты в классификации валентности эмоций. Точность составила в среднем от 70% до 80% в зависимости от человека», — отмечает Алексей Кашевник.
Исследование выполнено при финансовой поддержке Минобрнауки России в рамках госзадания.