Специалисты НГТУ создали систему распознавания знаков русского жестового языка для последующего перевода в звуковую форму. Информацию опубликовал «Интерфакс» со ссылкой на профессора кафедры автоматизированных систем управления НГТУ НЭТИ Михаила Грифа.
«Для нормального перевода с точностью на уровне 90% необходимо распознавать около 5 тысяч жестов, на данный момент мы подготовили датасет (структурированный набор данных) на 5 тысяч жестов, начали внедрение. В ближайшее время мы сделаем программу, которая будет распознавать жесты в непрерывном потоке — пока около 400 жестов, которую будем развивать», — пояснил он.
Известно, что информацию собирают с помощью видео. Затем оцифрованные изображения объединяются в базу данных, на которой обучается нейросеть.
По словам Михаила Грифа, систему двустороннего перевода с языка жестов в звучащую речь и обратно, которая может быть установлена на смартфон, планируется создать примерно через год. Двусторонний переводчик планируют представить к концу 2024 — началу 2025 года.
Собеседник агентства отметил, что люди с ограничениями по слуху считают перевод с жестового языка в звучащую речь или текст более важной задачей, чем сурдоперевод, однако в научном плане необходимо решить ряд сложных задач.
«На данный момент мы умеем уверенно распознавать 400 жестов, этого, конечно, недостаточно. В различных словарях мы насчитали 8,5 тысячи жестов, но их, наверное, еще больше. Мы оцениваем максимальное число жестов примерно в 10 тысяч», — сказал Михаил Гриф.
Ранее мы писали о том, что учёные из Сибири создадут торфяное болото.
Светлана Малахова