Студент Таврического колледжа Денис Щербаков разработал систему для распознавания языка жестов. В его проект вошла система на основе нейросети.
«Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить ее всему тому, что нужно», – отметил студент в интервью пресс-службе колледжа.
Денис использовал базу данных, на основе которой обучается нейросеть. С помощью нее он научил нейросеть распознавать дактильную азбуку – побуквенного языка жестов. В своей разработке студент использовал систему, состоящую в сравнении координат – костяшек руки. В основу разработки также легли специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет (база данных), при помощи которого можно распознать жест.
С помощью веб-камеры программа может распознать жесть и вывести буквы на экран компьютера. По словам студента, одним из самых сложных моментов в процессе разработки было создание датасета.
«Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть», – поделился Денис Щербаков.
Пока что система может распознавать более тридцати знаков. Денис Щербаков также увлекается программированием и кинематографом. Кроме того, молодой человек силен в области робототехники и 3D-печати.