Программу можно установить на любой телефон с видеокамерой.
Фото: www.globallookpress.com / Vikki Grant
Работники Санкт-Петербургского федерального исследовательского центра РАН научили искусственный интеллект понимать русский язык по движениям губ. Эту информацию сообщили в Министерстве науки и высшего образования РФ.
Известно, что программа доступна для установки на любом устройстве с видеокамерой. Новшество стало первой нейросетью в мире, которая может воспринимать русские слова таким нестандартным способом.
Стоит отметить, что разработку создали для работы в шумных помещениях. Теперь электронным голосовым помощником могут пользоваться водители грузового транспорта, пилоты и остальные профессионалы, чья деятельность соприкасается с громким оборудованием.
«Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания», — заявил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько в беседе с изданием «Известия».
Отмечается, что разработчики стремились достичь лучшего понимания человека для робота с помощью визуальных и звуковых источников. В достижении этой цели им помог метод машинного обучения. Нейросеть воспринимала специальное видео со звуком, где человек говорит определенные слова. Таким образом программа стала понимать простые и часто используемые команды. Помимо этого робот сам определяет, когда для понимания следует «слушать», а когда «смотреть» на губы.
Ранее 5-tv.ru сообщал, как искусственный интеллект может переиграть человека.