Ученые НовГУ разработали программный комплекс на основе ИИ, который способен в реальном времени определять уровень концентрации внимания человека. Разработка поможет в подготовке фиджитал-спортсменов: надевая VR-шлем и нейроинтерфейс, атлет может в режиме реального времени видеть, когда его внимание «уплывает», и научиться быстрее возвращаться в оптимальное состояние для прохождения сложных симуляторов.
Авторы работы — ученые НовГУ: заведующий лабораторией «Виртуальная и дополненная реальность» ПИШ программист Евгений Менделеев и доктор физико-математических наук и доцент Роман Петров. Статья опубликована в журнале «Моделирование систем и процессов».
В современном мире от способности концентрироваться зависит не только успеваемость студентов или эффективность офисных работников, но и результаты спортсменов. Особенно остро этот вопрос стоит в фиджитал-спорте, где виртуальная реальность сочетается с физической активностью. Спортсмену в VR-шлеме необходимо мгновенно принимать решения и выполнять точные движения, а любое падение концентрации ведет к проигрышу.
До недавнего времени объективно оценить этот параметр было сложно: существующие методики либо опирались на субъективные ощущения, либо требовали сложной и долгой обработки данных. Новгородские исследователи предложили элегантное и технологичное решение, превратив поток сырых данных с электроэнцефалографа (ЭЭГ) в понятные и точные показатели.
Чтобы обучить ИИ распознавать внимание, ученым нужно было для начала собрать эталонные данные, то есть примеры графиков мозговой активности, где уже точно известно, был ли человек внимателен в данную минуту или отвлекался. Для этого в НовГУ собрали необычный экспериментальный комплекс.
Участники исследования надевали на голову нейроинтерфейс с ЭЭГ-датчиком, а поверх него — шлем виртуальной реальности. VR-среда полностью изолировала испытуемого от внешних раздражителей, гарантируя, что внимание колеблется только из-за внутренних когнитивных процессов. Пока добровольцы находились в виртуальной реальности, специально разработанное авторами программное обеспечение в реальном времени считывало данные с нейроинтерфейса и преобразовывало их в график — временной ряд динамики внимания.
В основе разработки лежит метод маркировки так называемых временных рядов. Сигналы головного мозга превращаются в кривую внимания, которую ученые разбили на множество мелких отрезков и вручную пометили как «повышенное внимание» или «пониженное внимание». На этих данных обучили классификатор на базе метода опорных векторов (SVM) — математического алгоритма, который проводит разделяющую линию между объектами разных классов так, чтобы расстояние от этой линии до ближайших точек каждого класса было максимальным.
Чем ближе точки находятся к предполагаемой границе, тем сильнее они влияют на ее итоговое положение, помогая алгоритму игнорировать случайные выбросы. В отличие от нейросетей, которым нужно огромное количество данных и мощные компьютеры для долгого обучения, метод опорных векторов показал высокую скорость работы, что критически важно для анализа в реальном времени. Итоговое тестирование подтвердило эффективность подхода — точность классификации состояний внимания составила 97,6%.
— Работа стала фундаментом для более масштабной системы мониторинга в фиджитал-спорте, — рассказал Евгений Менделеев. — Разработанный модуль отслеживания внимания интегрируется в экспериментальный комплекс, который уже сегодня позволяет изучать, как физическая нагрузка влияет на когнитивные способности спортсмена в моменте. Это не единственный, но один из ключевых параметров, позволяющих тренеру и самому атлету понимать его истинное функциональное состояние.
При этом, по словам ученого, систему можно интегрировать напрямую в VR-шлемы, чтобы фиджитал-спортсмен видел свой уровень концентрации внимания прямо во время соревнования. Программа также может помочь и тренеру понять, что атлет выдохся не физически, а ментально, и, соответственно, корректировать план тренировок, делая упор не на физнагрузку, а на когнитивный отдых.
— Уже сейчас разрабатывается математическая модель, которая могла бы определить причины падения внимания по ЭЭГ-ритмам, — пояснил Евгений Андреевич. — На данный момент уже имеется концептуальная математическая модель, которая находится на этапе валидации и проверке воспроизводимости результатов.
С помощью нового инструмента можно будет также отследить стрессоустойчивость фиджитал-спортсмена — например, отследить, что его внимание начинает рассеиваться в момент критического промаха и тренировать способность быстро возвращать фокус после ошибки.
— Это возможно благодаря тому, что ЭЭГ может отражать психологическое состояние человека, — заключил исследователь. — Если разработанная математическая модель подтвердит свою адекватность, то в мы сможем обучать алгоритмы ИИ на сформированных датасетах по стрессоустойчивости и предупреждать спортсмена о таких состояниях. На данном этапе пока речь идет об исследовании ментальной усталости фиджитал-спортсмена в результате длительных изнурительных тренировок, а не о сохранении стрессоустойчивости.
Помимо спорта, технология имеет и прикладное социальное значение. Поскольку программа представляет собой готовый программный модуль, ее можно легко встраивать в приложения для дистанционного обучения, чтобы видеть, действительно ли студент усваивает материал, или в цифровые тренажеры для коррекции СДВГ. Таким образом, созданная в НовГУ система переводит контроль за когнитивным здоровьем из разряда лабораторных экспериментов в повседневную практику.
Исследование создано в рамках Десятилетия науки и технологий, объявленного указом Президента РФ. Десятилетие науки и технологий в России проводится с 2022 по 2031 год. Его основная цель — достижение технологического лидерства страны.
Эту и другие новости читайте в официальном МАХ-канале Новгородского университета.