В Петербурге создали программный комплекс, который способен на основе интеллектуального анализа видео распознавать жестовый язык людей с нарушениями слуха, а также преобразовывать его в текст.
Его собираются использовать в медучреждениях для того, чтобы повысить эффективность оказания врачебной помощи глухим пациентам. Об этом пишет «Вечерка» со ссылкой на Санкт-Петербургский Федеральный исследовательский центр РАН (СПб ФИЦ РАН).
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», – рассказал старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.
Видеокамера фиксирует жесты пациента, а затем программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%, добавил ученый, уточнив, что для обучения нейросети ученые разработали уникальную базу данных жестов, которые глухие люди используют при описании связанных с медициной и здоровьем сфер. Она состоит из 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. Общая продолжительность всех видеозаписей – почти семь часов.
К слову, в 2021 году в мире, по данным ВОЗ, насчитывалось примерно 466 миллионов человек (более 5 % от общего количества населения земного шара, из них 34 миллиона – дети), страдающие полной глухотой или испытывающие проблемы со слухом. Эксперты считают, что к 2050 году число людей с такими проблемами достигнет двух миллиардов.
«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», – заключил Дмитрий Рюмин.
Ранее врач первой категории Евгений Доценко рассказал, чем чаще всего болеют блокадники как, несмотря на голод и стужу, отсутствие элементарных условий для научной работы, ленинградские ученые разрабатывали основы терапии и медицинской реабилитации блокадников.