49,2 тыс подписчиков
Придумали, как создавать видеоаватары с помощью акустики
Что случилось: разработали технологию акустического восприятия EarIO, чтобы отслеживать мимику лица и создавать цифровой аватар с помощью наушников.
Как работает? Наушники излучают из динамиков акустические сигналы, которые отражаются от лица. Микрофон улавливает эхосигналы, которые меняются при движениях пользователя. В зависимости от выражения лица мышцы, ткани и кожа вокруг уха деформируются по-разному, что создаёт уникальные профили эха в отражённых сигналах.
Система с помощью алгоритма глубокого обучения воссоздаёт копию лица по эху. Данные передаются на мобильное устройство в режиме реального времени.
И что? Хотя польза и смысл видеоаватаров являются предметом споров, многие используют эти динамические изображения. Если отслеживать движения лица с помощью видеокамеры, тратится много энергии устройства и собирается много личной информации. С технологией EarIO сохраняется конфиденциальность данных пользователя.
Кто: исследователи Корнеллского университета, США.
Около минуты
25 июля 2022
1138 читали