Студент третьего курса Новосибирского государственного университета Ярослав Чеканов разработал приложение RSL Interpreter, предназначенное для перевода жестовой речи глухонемых в текст. Перед этим молодой человек самостоятельно изучил русский жестовый язык и собрал большую базу материала.
Приложение работает и на компьютерах, и на мобильных устройствах, куда изображение жестов поступает с видеокамеры. Искусственный интеллект анализирует полученное изображение в режиме реального времени и выдает перевод на экран в текстовом формате.
Подобные разработки в мире уже существуют, но Ярослав построил свое приложение на другой архитектуре, в связи с чем оно работает быстрее.
Конечно, это только начало, потому что приложение еще несовершенно и много нюансов, которые автору хотелось бы в нем еще отразить. Элементарно: еще недостаточно велик словарный запас, его нужно дополнять. Кроме того, приложение работает только в одну сторону – с языка жестов в письменный текст переводит, а тексты в язык жестов пока не переводит (будет переводить тексты, его можно будет и в устной речи использовать, сейчас это быстро делается).
Разработка новосибирского студента наверняка упростит кому-то жизнь.
Кстати, готовя этот материал, когда мне потребовалась иллюстрация, я в обычном чат-боте Mijourney создала запрос: <Молодой человек говорит на языке жестов "Здравствуйте">, и чат-бот мне прекрасно перевел это слово на британский язык жестов.
Жестовое пение – что вы о нем знаете?
