Максим Каммерер из «Обитаемого острова» совал в ухо слизня, чтобы понять речь жителей планеты Саракш. Неприятно, результативно, но фантастично. Реальность состоит в том, что около 1% населения США пользуются амсленом (ASL или американский язык жестов). Между собой люди со слуховыми и речевыми нарушениями общаются, но как установить связь с другими собеседниками, не владеющими языком жестов. Актуальная проблема нашла свое решение «по месту жительства» несколько лет назад.
Привет, друзья! Наш канал вновь нашел для вас порцию кое-чего новенького, интересного и завлекательного. Усаживайтесь поудобнее, запасайтесь тарелкой с плюшками и чашечкой вкуснейшего турецкого кофе или аристократичного английского чая и приступайте к чтению статьи о новом гаджете, примочке, волшебной перчатке Таноса, как угодно. Главное, что изобретение уже создано, работает и продолжает модифицироваться.
Язык жестов, чтение по губам или перевод на английский при помощи сенсоров?
Сложности общения затрудняют людям, имеющим инвалидность или ограничения по слуху и речи, адаптацию в социуме, не позволяют устроиться на работу, заняться образование в обычной среде. Некоторые люди преодолевают сложности, обучаясь языку жестов, читая по губам, используя специальные приборы для введения текста, но все эти варианты не позволяют в полном объеме компенсировать потребности обычного человека.
Интересно! В ASL часто задействуются мимика лица, поэтому ученые установили на лицо (между бровями и вокруг лица) дополнительные датчики. Это повышает качество перевода. Изначально в исследовании участвовало 4 человека. Каждый доброволец повторял жесты 15 раз подряд, в результате чего система смогла распознать порядка 600 знаков, в том числе буквы английского алфавита и арабские цифры от 0 до 9.
В 2015 году исследователи Техасского университета A&M смогли разработать и воспроизвести устройство, способное «перевести» язык жестов на английский язык. Главные элементы приспособления — датчики движения. Сначала речь шла об экспериментальном прототипе, способном распознавать не более 40 жестов с точностью в 96%. Сегодня показатели впечатляют: устройство стало более компактным, а словарный запас системы существенно увеличился.
Принцип работы устройства
Система распознавания автоматически задействует сенсоры движения с акселерометром и гироскопом. Датчики позволяют определить, какая часть руки и даже палец были задействованы в жесте.
Сенсоры фиксируются на правом запястье, а поступающие на них данные передаются на компьютер через Bluetooth. В свою очередь компьютер запускает заранее разработанные алгоритмы, переводящие жесты в слова, после чего на мониторе появляется английское слово или фраза. Голосовой модулятор озвучивает полученное слово.
Какие возможности может получить система распознавания жестов в будущем?
Разработка гаджета, позволяющего перевести жесты в слова, откроет для людей с речевыми и слуховыми проблемами будущее. Конечно, система должна работать быстро, уметь распознавать сложные фразы, иметь компактные размеры.
По заявлению представителя команды разработчиков, профессор Роозбеха Джафари, конечная цель проекта — встроить в гаджет мини-компьютер и поместить весь комплекс в обычных наручных часах. Добившись таких успехов, можно будет закрыть все проблемы и сложности, связанные с общением у людей с ограниченными способностями, а также, реализовать другие проекты, связанные с переводом разговорной речь на одном языке в другой.
Напоследок…
Разработка новых систем распознавания речи и трансформация ее в текстовый и звуковой материал позволят сделать прорыв и в изучении иностранного языка. Вполне возможно, что появление такого устройства избавит нас от необходимости изучать английский онлайн и сидеть по несколько часов в неделю на занятиях у репетитора. Кто знает, поживем — увидим.
Друзья, вопрос поднят в статье интересный, но очень фантастичный. Особенно актуальной становится задача изучения английского языка при появлении нейронных сетей и ИИ. Отсюда небольшой тест (ответы в комментариях ДА/НЕТ):
1. Стоит ли тратить свое время на онлайн-обучение и курсы английского языка?
2. Лучше дождаться создания переводчика от нейросетей и ИИ, не учить иностранный язык, а воспользоваться благами цивилизации.