Японская компания SoftBank разработала систему искусственного интеллекта, которая может в реальном времени переводить язык жестов в текст на экране
Что происходит
Японский холдинг SoftBank разрабатывает приложение на основе искусственного интеллекта, которое позволит переводить язык жестов в текст на экране смартфона или ноутбука в режиме реального времени.
В основе данного проекта — система перевода жестов в текст, которая используется во время видеоконференций. Сообщается, что в настоящее время она способна перевести на японский язык до 5 тыс. знаков.
SoftBank начал первые исследования в 2017 году, совместно с Токийским университетом электросвязи.
В разработке ИИ-переводчика с языка жестов также принял участие японский стартап ABEJA, специализирующийся в области искусственного интеллекта.
Для разработки приложения алгоритмы ABEJA изучили 50 тыс. видео, в которых используется язык жестов, чтобы обнаружить характерные движения для каждого подписанного слова.
Сейчас компания работает над повышением точности системы, — отмечается, что алгоритм должен научиться считывать более 100 вариаций одного жеста на слово.
В настоящее время данная услуга предоставляется на пробной основе медицинским организациям в Токио и Фукусиме.
Предполагается, что открытый доступ к сервису откроется в 2024 году.
В будущем SoftBank планирует разработать подобные системы на других языках.
Что это значит
По оценкам ВОЗ, к 2050 году почти 2,5 млрд человек будут страдать от проблем со слухом в той или иной степени, из них 700 млн потребуется реабилитация из-за инвалидизирующей потери слуха. Несмотря на стремительное распространение цифровых форм коммуникации, люди с нарушениями слуха до сих пор испытывают определенные барьеры при живом общении.
В Японии в настоящее время насчитывается более 300 тыс. человек с нарушениями слуха или речи, которые используют язык жестов для коммуникации с окружающими, — с помощью ИИ-переводчика SoftBank надеется облегчить жизнь этих людей.
Помимо японской компании, разработкой переводчика с языка жестов занимается стартап SLAIT. В апреле 2021 года компания представила систему перевода, доступную для общего пользования, которая может переводить около 200 слов и простых предложений с помощью компьютера и веб-камеры