Перчатка Wearable-tech,разработанная исследователями Университета Калифорнии Лос-Анджелес(UCLA), переводит язык жестов в речь в реальном времени.
По словам биоинжеров Университета Калифорнии Лос-Анджелес,устройство получилось недорогое,гибкое и долговечное
Биоинженеры UCLA разработали устройство, похожее на перчатку, которое может переводить американский язык жестов в английскую речь в режиме реального времени с помощью приложения для смартфона. Их исследование опубликовано в журнале Nature Electronics.
«Мы надеемся, что это открывает легкий путь для людей, которые используют язык жестов, чтобы общаться напрямую с людьми, не нуждаясь в ком-то другом, чтобы переводить для них», - сказал Джун Чен, доцент кафедры биоинженерии в Школе инженерии UCLA Samueli. и главный исследователь исследования.
«Кроме того, мы надеемся, что это поможет большему количеству людей самостоятельно изучать язык жестов»,- дополнил он.
Система включает пару перчаток с тонкими, растягивающимися датчиками, которые управляют длиной каждого из пяти пальцев. Эти датчики, изготовленные из электропроводящих нитей, фиксируют движения рук и положения пальцев, которые обозначают отдельные буквы, цифры, слова и фразы.
Затем устройство превращает движения пальцев в электрические сигналы, которые отправляются на печатную плату размером с долларовую монету, надетую на запястье. Плата передает эти сигналы по беспроводной связи на смартфон, который переводит их в произнесенные слова со скоростью примерно одно слово в секунду.
Исследователи также добавили адгезивные датчики на лица тестеров - между их бровями и на одной стороне рта - чтобы фиксировать выражения лица, которые являются частью американского языка жестов.
По словам Чена, прежние носимые системы, которые предлагали перевод с американского языка жестов, были ограничены громоздкими и тяжелыми конструкциями устройств или их было неудобно носить.
Устройство, разработанное командой UCLA, изготовлено из легких и недорогих, но долговечных, эластичных полимеров. Электронные датчики также очень гибкие и недорогие.
При тестировании устройства исследователи работали с четырьмя людьми, которые глухи и используют американский язык жестов. Владельцы повторяли каждый жест рукой 15 раз. Собственный алгоритм машинного обучения превратил эти жесты в буквы, цифры и слова, которые они представляли. Система распознала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9.
В дополнение к Чену авторами исследования UCLA являются соавтор Чжихао Чжао, Кайл Чен, Сонглин Чжан, Ихао Чжоу и Вэйли Дэн.
Все они являются членами исследовательской группы Чэнь по носимой биоэлектронике в Калифорнийском университете в Лос-Анджелесе. Другой соответствующий автор - Цзинь Ян из китайского университета Чунцин.
КомпанияUCLA подала заявку на патент на технологию. По словам Чена, коммерческая модель, основанная на этой технологии, потребует дополнительного словарного запаса и еще более быстрого перевода.