Жуйдун Чжан, американский инженер и аспирант Корнеллского университета, разработал умные очки EchoSpeech с сонаром. Они предназначены для распознавания и озвучивания бесзвучных команд, передаваемых человеком с помощью лицевой артикуляции.
Очки оснащены миниатюрными динамиками, микрофонами и небольшой батареей, обеспечивающей 10 часов автономной работы. Кроме того, устройство оснащено системой беспроводной связи для передачи данных на смартфон. Специальное приложение-компаньон, работающее на базе искусственного интеллекта, обрабатывает речь пользователя, преобразуя ее в команды или записывая.
EchoSpeech работает по следующему принципу:
•В нижней части левой оправы очков установлены два направленных вниз миниатюрных динамика, а два небольших микрофона находятся под правой частью оправы.
•Динамики излучают неслышимые звуковые волны, которые отражаются от движущегося рта пользователя и регистрируются микрофонами.
•Эхо-сигналы анализируются в режиме реального времени на смартфоне, который подключен по беспроводной сети. Специальный алгоритм обучен связывать определенные звуковые колебания с точными движениями лица и преобразовывать безмолвные команды в цифровые элементы.
Для того чтобы использовать очки EchoSpeech с разными людьми, необходимо провести калибровку устройства в течение нескольких минут, чтобы система адаптировалась к мимике каждого пользователя. Разработчики проекта утверждают, что точность преобразования команд составляет 95% при правильной первоначальной настройке. В настоящей версии приложения система может распознавать до 31 безмолвной или очень тихой команды от пользователя.
Передача данных в мобильное приложение и обработка всех команд на смартфоне позволяют очкам EchoSpeech оставаться компактными. Все вычисления, связанные с анализом данных, происходят локально на самом устройстве и не требуют выхода в интернет.
Чжан утверждает, что его устройство может быть использовано для управления различными устройствами без звуковых команд, для диктовки сообщений при наличии громкого заднего фона, а также для совместной работы с голосовым синтезатором речи. В настоящее время университет занимается коммерциализацией этой технологии и идей Чжана.