Двое старшеклассников из техасского города Фриско разработали приложение Hand Wave, которое в режиме реального времени распознает американский язык жестов (ASL) и озвучивает перевод пользователю через умные очки со встроенной камерой. Инструмент создан без какого-либо школьного задания или финансирования — в домашнем офисе, на базе алгоритмов машинного обучения.
Идея возникла из личного опыта обоих авторов. У Санги есть дядя, общающийся на ASL, а у Велагапуди отец внезапно потерял слух на одно ухо. Осознав, что языковой барьер между слышащими и глухими существенно ограничивает коммуникацию, ребята решили найти технологическое решение. По словам Велагапуди, проект никак не связан со школьной программой: «Мы просто взялись за это ради интереса и потому, что увидели реальную проблему».
Технически система работает следующим образом: алгоритм распознает жесты в виде скелетной модели кисти, сопоставляет их с буквами и фразами ASL, после чего перевод транслируется в наушник пользователя. Камера встроена в умные очки, что позволяет вести разговор в естественном режиме: собеседник жестикулирует, а носитель очков слышит перевод в реальном времени. На текущем этапе система обрабатывает буквы и ряд устойчивых фраз ASL.
Проект пока не выходил за пределы домашней лаборатории. Чтобы подготовить полноценный прототип к публичному использованию, авторам необходимы дополнительное время и финансирование.
Тем не менее даже в нынешнем виде работа демонстрирует, что порог входа в разработку прикладных ИИ-инструментов за последние годы существенно снизился: два старшеклассника без академического бэкграунда смогли собрать функциональную систему компьютерного зрения на базе общедоступных библиотек машинного обучения.
Hand Wave встраивается в более широкий контекст технологий для людей с нарушениями слуха. Коммерческие решения в этой нише — от субтитрирования в реальном времени до автоматического распознавания жестов — развиваются медленно, а сама аудитория остается недостаточно охваченной крупными платформами. По данным ВОЗ, более 1,5 млрд человек в мире живут с той или иной степенью потери слуха.
Санги формулирует социальную миссию проекта в широких категориях: «Язык жестов — это то, что объединяет эти сообщества, а технология помогает нам лучше понять их». Авторы рассматривают Hand Wave не как коммерческий продукт, а как инструмент снижения коммуникационных барьеров.
Дальнейшая судьба проекта зависит от того, удастся ли им привлечь ресурсы для расширения набора данных и отработки модели на большем числе жестов и носителей.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.