По старой легенде до Всемирного потопа все люди разговаривали на одном языке. Но, наверное, и тогда встречались те, для кого жесты были единственным способом сообщить что-либо миру. Сегодня исследовательская лаборатория Dolphio Technologies создала систему SignAll. Это комплекс из считывающих датчиков и программы, которая переводит жесты в слова.
Автоматический переводчик с языка жестов Дольфио Технолоджиз СинОл распознает пока только Амслен — American Sign Language (ASL).
Всем хоть раз приходилось пользоваться услугами электронных переводчиков. И все знают, что в результате получается: бывает, что на экран выводится малопонятный набор слов. Просто в каждом языке есть свои правила составления предложений. И от того, где слово поставлено, какая частичка или предлог находится рядом, зависит смысл фразы. В языке жестов тоже есть свои правила. Но в венгерской компании Dolphio Technologies утверждают, что создали систему, которая, считывая жесты и мимику глухого человека, составляет письменные предложения, правильные грамматически и лексически.
Но и это не все. При обычном общении ударение или интонация могут полностью изменить значение слова. Авторы доверили своему изобретению даже эмоциональную окраску беседы. И это удивляет, потому что язык жестов — это не только положение рук или направление их движения. Чтобы правильно понять фразу, анализировать нужно все: выражение лица, наклон или поворот головы, ориентацию рук в пространстве и по отношению к телу, активность движений. Выполнить задачу помогают датчик глубины и три веб камеры. Все движения сканируются, а данные отправляются на компьютер. После синхронизации и анализа на экране появляются уже полностью сформированные правильные предложения. И это все почти мгновенно, в режиме реального времени.
Исследования ведутся с 2015 года, и пока удалось создать полноценное программное обеспечение, которое работает с языком амслен — American Sign Language (ASL). На сегодняшний день, чтобы считать язык жестов нужно установить в комнате целую конструкцию, состоящую из трех камер, сенсора и компьютера. Датчик глубины должен находиться напротив груди, а вебкамеры по бокам и спереди, чтобы улавливать все тонкости движения. Но авторы утверждают, что модульная система только помогает изобретению быстрее совершенствоваться. Совсем скоро в статусе личного переводчика можно будет использовать простой смартфон с предустановленной программой.
В мире более ста миллионов человек не могут слышать вообще или слышат плохо. В США, например, на 66 слабослышащих людей, использующих амслен, только один переводчик, а в странах бывшего союза таких исследований вообще не проводится. Команда SignAll компании Dolphio Technologies — это группа энтузиастов, которая с помощью своих технологий разрушает все препятствия в общении. На этот раз слышаны будут даже те, для кого язык жестов единственный из возможных.