Возможности, когда-то далекие от слабослышащего сообщества, станут реальностью благодаря революционному переводчику языка жестов. Инженеры из Университета штата Мичиган разработали и запатентовали технологию, которая, в отличие от предыдущих механизмов перевода, является неинвазивной и такой же портативной, как тюбик Chapstick.
«Мы предоставляем повсеместное решение для перевода на язык жестов», - сказал Ми Чжан, доцент кафедры электротехники и вычислительной техники. «Люди со слабым слухом, которым необходимо общаться с кем-то, кто не понимает язык жестов, могут иметь персонализированного виртуального переводчика в любое время и в любом месте».
Сотни тысяч людей со слабым слухом для общения полагаются на американский язык жестов или ASL. По словам Чжана, без переводчика они не имеют одинаковых возможностей трудоустройства и часто оказываются в невыгодном положении в деликатных или деликатных ситуациях.
«Подумайте о том, находились ли вы в больнице и нуждались ли вы в общении с врачом. Вам нужно было бы подождать, пока переводчик больницы - если он у него есть - приедет, подключится к бесплатной службе или будет полагаться на члена семьи, который будет настоящее ", сказал Чжан. «Это ставит под угрозу вашу конфиденциальность и может ухудшить состояние здоровья. Это только один пример, демонстрирующий острую необходимость в технологии перевода на язык жестов».
Чжан и его коллеги, докторант Бийи Фанг и студентка Jillian Co, увидели возможность помочь слабослышащему населению преодолеть барьер общения для большинства.
Технология Zhang, называемая DeepASL, включает в себя алгоритм глубокого обучения - или машинного обучения, основанный на данных, основанных на структуре и функции мозга - алгоритм, который автоматически переводит знаки на английский язык. Технология работает через трехдюймовое сенсорное устройство, разработанное Leap Motion, которое оснащено камерами для непрерывного захвата движений рук и пальцев.
«Leap Motion преобразует движения рук и пальцев в скелетоподобные суставы. Наш алгоритм глубокого обучения собирает данные с скелетоподобных суставов и сопоставляет их с признаками ASL», - сказал Фанг.
Подобно настройке Siri на новом iPhone, пользователи подписывают определенные слова, чтобы познакомить свои руки и суставы с технологией и датчиками. Они также могут создавать собственные знаки для своих имен или слов, не входящих в словарь, излагая их, и им легче общаться и общаться.
«Одна из отличительных особенностей DeepASL заключается в том, что он может переводить полные предложения, не требуя, чтобы пользователи делали паузу после каждого знака. Другие переводчики дословно требуют, чтобы пользователи делали паузу между знаками. Это ограничение значительно замедляет личные разговоры, усложнять разговор и неловко, - сказал Клык. «Наша технология также ненавязчива, в отличие от других технологий переводчиков, которые требуют, чтобы лица, подписывающие документы, носили перчатки, заставляя их чувствовать себя обособленными, потому что вы буквально видите их инвалидность».
Помимо своей способности помогать слабослышащим общаться с другими, DeepASL может помочь тем, кто практически изучает ASL, предоставляя обратную связь в реальном времени о своем подписании. Ранее технология, пояснил Чжан, с помощью видеоуроков оказала ограниченную личную помощь.
«Около 90 процентов глухих детей рождены от слышащих родителей. Эти родители учат язык жестов общаться со своими детьми, но обычно не имеют времени посещать живые занятия», - сказал Чжан. «Наши технологии могут оценить их подпись, чтобы помочь им учиться и совершенствоваться».
В то время как технология Чжана переводит язык жестов в устную беседу, он объяснил, что существующие, успешные технологии распознавания речи могут помочь другой стороне разговора, позволяя устным коммуникаторам говорить с нарушениями слуха.
Исследователи говорят, что следующим шагом для их технологии является коммерциализация, которая станет доступной для сотен тысяч людей, которым нужен более доступный переводчик. По их словам, Leap Motion продается по цене около 78 долларов, что делает его доступным вариантом. Они также планируют сделать технологию совместимой с iPhone, а также обучать ее различным языкам жестов.