В России наблюдается большой дефицит переводчиков жестового языка: на одного переводчика приходится порядка 500 глухих людей. Несколько лет назад инновационная компания «Адаптис» (актив «РАТМ Холдинга», резидент Фонда «Сколково») поставила перед собой амбициозную задачу — автоматизировать этот процесс и сделать компьютерный переводчик, который мог бы работать 24/7 и был способен переводить неограниченное количество контента на жестовый язык. Сегодня продукт уже находится на пилотной стадии и успешно проходит апробацию не только среди рядовых пользователей, но также в крупнейших вузах и корпорациях.
Актуальность
«Адаптис» занимается разработкой цифровых продуктов для глухих и слабослышащих. Изначально компания предоставляла услуги сурдоперевода, у нее даже есть свой диспетчерский центр. По запросу специалисты компании в режиме реального времени переводили на жестовый язык онлайн-конференции, вебинары и прочие коммуникации в Сети. Так родилась идея создания цифрового продукта, который мог бы существенно улучшить коммуникацию глухих и слабослышащих людей. В мире существует порядка 150 жестовых языков, при этом количество пользователей русского жестового языка в России составляет около 300 тысяч человек. Много это или мало — вопрос риторический, однако необходимость подобных цифровых сервисов не вызывает вопросов. Именно жестовый язык для глухих людей является главным: через него происходит основная коммуникация и получение информации.
Суть технологии
Продукт был разработан инженерами компании «Адаптис» совместно со специалистами Новосибирского государственного технического университета. В его основе лежит программный код, созданный на базе уникального алгоритма смыслового анализа текста. По сути, переводчик является облачным сервисом, который состоит из нескольких компонентов: словарь жестового языка, датасет (структурированный набор данных) и нейросеть, которая обучается на основе этого датасета.
Лицо продукта — это цифровой 3D-аватар, который может принимать мужское, женское и даже мультяшное лицо. Аватар превращает речь в жесты и транслирует их пользователю. Создать анимированный персонаж довольно просто, а вот наделить его «мозгами» и заставить их работать — гораздо сложнее. Для этого разработчикам нужно было создать словарь, перевести каждое слово в жест, обучить программу качественно распознавать смыслы и доносить их до пользователя в живом режиме. Для обучения аватара «Адаптис» прибегнул к технологии Motion Capture, которая активно применяется в кино и игровой индустрии. Человеку устанавливают датчики движения, которые фиксируют живые жесты и переносят их в память цифрового аватара. На данный момент в словарь аватара загружено более 5 тысяч жестов, и их количество постоянно увеличивается.
Сферы применения
Со стороны процесс выглядит предельно просто: пользователь смотрит контент, а цифровой аватар превращает звук в жесты. Для этого нужно совершить всего несколько действий: установить приложение, выбрать цифровой аватар и нужный контент. Поставить программу можно на смартфон или персональный компьютер. Так как технология является облачной, она может быть использована в качестве дополнения или виджета на сайтах и в сторонних приложениях. Прямо сейчас апробация продукта проходит в крупнейших компаниях и вузах, среди которых ВТБ, ВДНХ, МГТУ им. Баумана. В Бауманке в приемной комиссии работает чат-бот, а в ВТБ виртуальный помощник помогает глухим клиентам получать информацию об основных продуктах. Сервис можно также использовать для перевода телепрограмм, кинофильмов и различных выступлений.
Когда технология выйдет в массы
Сейчас онлайн-переводчик и его экосистема находятся в состоянии апробации и проходят процесс доработки и улучшений. Когда удастся достигнуть необходимых качественных показателей, онлайн-переводчик будет доступен для всех желающих. Но это не значит, что после этого работа будет окончена. Выход дополнений и улучшений в данном случае — процесс почти что бесконечный. Представители компании отмечают, что в ближайшем будущем ни одна программа не сможет полноценно заменить живого переводчика.
Несмотря на то что разработчикам уже удалось совершить большой прорыв, существует целый ряд сложностей и нюансов, которые только предстоит решить. Например, обучить ИИ правильно понимать контекст. Русский язык наполнен многозначными словами и омонимами (одинаковыми по написанию и звучанию, но разными по смыслу словами). Создание модулей, которые будут выявлять значения и контекст в конкретном случае, — одна из первоочередных задач. Прямо сейчас специалисты «Адаптиса» занимаются разработкой технологии распознавания жестов на видео. Следующим шагом будет опция обратного перевода — с языка жестов на голосовую речь.
Не только для России
Выпуск готового продукта для массового пользователя и освоение новых площадок для полноценного внедрения технологии поможет выработать новый стандарт обслуживания глухих клиентов в России и СНГ. В то же время программисты компании намерены усовершенствовать код для перевода на другие жестовые языки мира, что обеспечит конкурентоспособность продукта за рубежом. Сейчас компания активно продвигает себя на китайском рынке.
Максим Нечай, генеральный директор компании «Адаптис»: «По большому счету в мире существует порядка пяти живых проектов, развивающих данную технологию. Аудитория здесь довольно узкая, а сама технология является очень сложной, поэтому многие компании сдаются еще на ранних этапах. Наши пилотные проекты получают высокую оценку от пользователей и профессиональных сообществ. В этом году наша компания участвовала в одном из крупнейших китайских акселераторов. В итоге мы прошли в полуфинал, причем конкуренция была очень высокая — участвовало более 7500 команд. Сотрудничество со "Сколково" и Новосибирским государственным техническим университетом позволяет нам улучшать технологию и приближаться к тому качественному уровню, который от нас ждут люди».
