Оно работает при помощи нейросети и поможет понять и научиться разговаривать на языке людей с нарушением слуха.
Мобильное приложение разработали в Саратовском государственном техническом университете имени Гагарина. В его основе лежит нейросеть, которая считывает жесты в реальном времени. Достаточно включить смартфон и навести рамку камеры на руки собеседника. «Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», — рассказывает руководитель проекта Екатерина Кулакова. Также есть обучающий режим для тех, кто в перспективе желает общаться языком жестов без помощ
Оно работает при помощи нейросети и поможет понять и научиться разговаривать на языке людей с нарушением слуха.
Мобильное приложение разработали в Саратовском государственном техническом университете имени Гагарина. В его основе лежит нейросеть, которая считывает жесты в реальном времени. Достаточно включить смартфон и навести рамку камеры на руки собеседника.
«Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест», — рассказывает руководитель проекта Екатерина Кулакова.
Также есть обучающий режим для тех, кто в перспективе желает общаться языком жестов без помощи приложения. Обучение проводится на трехмерных изображениях кистей руки.
По словам разработчиков, мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным.
Подписаться на iGuides в Telegram, чтобы узнать обо всем первым