Исследователи из Корнелльского университета разработали две компактные технологии, GazeTrak и EyeEcho, которые отслеживают направление взгляда и выражения лица человека с помощью звуковых волн, подобно сонару. Устройства достаточно малы, чтобы поместиться на коммерческих умных очках или гарнитурах виртуальной и дополненной реальности, при этом потребляя значительно меньше энергии, чем аналогичные инструменты с камерами.
GazeTrak - это первая система отслеживания взгляда, основанная на акустических сигналах. EyeEcho - первая система на базе очков, которая непрерывно и точно определяет выражения лица и воссоздаёт их через аватар в реальном времени.
Устройства используют динамики и микрофоны, установленные на оправе очков, для отражения неслышимых звуковых волн от лица и улавливания отражённых сигналов, вызванных движениями лица и глаз. Полученные звуковые сигналы подаются в специальный конвейер глубокого обучения, который использует искусственный интеллект для непрерывного вывода направления взгляда человека и интерпретации мимики.
Устройства могут работать несколько часов от батареи умных очков и более суток от гарнитуры виртуальной реальности. Они компактны, дёшевы и сверхмаломощны, поэтому их можно носить на умных очках каждый день, не разряжая аккумулятор.
Эти две разработки имеют приложения помимо улучшения VR-опыта пользователя. GazeTrak может использоваться со скринридерами для озвучивания фрагментов текста людям со слабым зрением при просмотре веб-сайтов. GazeTrak и EyeEcho также потенциально могут помочь в диагностике или мониторинге нейродегенеративных заболеваний, таких как болезнь Альцгеймера и Паркинсона, отслеживая аномальные движения глаз и менее выразительную мимику пациентов из комфорта их дома.
Технологии GazeTrak и EyeEcho от учёных Корнелльского университета открывают новые возможности в сферах виртуальной реальности, ассистивных технологий и здравоохранения. Их компактность, энергоэффективность и способность непрерывно отслеживать взгляд и мимику через звуковые волны делают эти разработки по-настоящему революционными. Они могут значительно улучшить взаимодействие пользователей в VR, помочь людям с нарушениями зрения и даже проводить мониторинг нейродегенеративных заболеваний на дому.
Источник:
DOI: 10.48550/arxiv.2402.14634
-------------------------------------
Поддержите наш проект: подпишитесь на канал, поставьте лайк или напишите комментарий, а также подписывайтесь на наши страницы на других площадках, в том числе на сервисе поддержки авторов Бусти. Ссылки найдёте в описании канала. Заранее спасибо!