Петербургские ученые обучили нейросеть читать по губам

Ученые из Северной столицы научили нейросеть читать по губам. Это нужно для повышения точности распознавания речи в смартфонах.

Новая разработка поможет использовать голосовые команды в сложных условиях и при высоком уровне шума. Об этом рассказали в пресс-службе Санкт-Петербургского Федерального исследовательского центра РАН.

Для улучшения точности распознавания программа анализирует данные из двух источников и совмещает их. Эксперименты показали, что такая система намного лучше распознает команды человека.

В основе разработанного учеными приложения лежит нейросетевая модель, обученная распознаванию речи по аудиовизуальным сигналам – видео со звуком. Она может понимать несколько сотен самых распространенных команд.

По словам разработчиков, нейросеть может распознавать аудиовизуальные сигналы и самостоятельно решать, какие данные – видео или звук – дадут максимальную точность.