Согласно статье, опубликованной в Nature Communications, новая система распознавания речи, разработанная южнокорейскими исследователями, точно распознает слова, отслеживая движения лица. Это принципиально новая система поможет людям с нарушением слуха. Раньше они могли использовать только кохлеарный имплантат или слуховой аппарат.
Кохлеарная имплантация требуется для пациентов с двусторонней тугоухостью или глухотой тяжелой степени. Слуховой аппарат только усиливает звук. В отличие от него, кохлеарный имплант использует специальный набор программ для преобразования и очищения звуков, делая их восприятие более естественным.
Авторы новой разработки хотели помочь пациентам с нарушениями слуха, которые не всегда могут общаться с помощью языка жестов. Однако устройство пригодится и для обычных людей, которые находятся в экстремальных условиях, когда радиосвязи мешает окружающий шум.
В устройстве есть датчики деформации, которые фиксируют движения кожи — сжатие и расширение, когда человек произносит слова. Затем подключается алгоритм глубокого обучения, который преобразует движения лица в слова.
«Датчик деформации, прикрепленный к лицу, растягивается и сжимается, когда человек говорит. В процессе электрические свойства тензодатчиков меняются», — сказал Euronews Тэмин Ким из Школы электротехники и электроники Университета Ёнсе.
На данный момент система может распознавать набор из 100 слов с почти 88-процентной точностью. Как отмечают авторы разработки, работе датчиков не помешает пот и кожное сало. Сам прибор гораздо меньше проектируемых аналогов.
Читать далее:
Названы последствия утечки газа из «Северного потока»
Массивный удар космического объекта запустил магнитное поле Земли
Названа главная опасность храпа: ученые рассказали, как это влияет на мозг