Созданный инженерами компании алгоритм доступен в виде открытого исходного кода на GitHub, а также в приложении для Android. Алгоритм, позволит с большой точностью отслеживать движения рук пользователя с помощью смартфона. Разработка позволит распознавать язык жестов и жестовые команды на включение, выключение смартфона или изменение уровня громкости, говорится в блоге компании.
Система сначала анализирует изображения с камеры на задней панели смартфона, определяет на них руку и анализирует ее положение.
Алгоритм работает не со всем изображением, а только с необходимой областью, которая ограничивается пределами руки — это значительно снижает вычислительные мощности, необходимые для работы алгоритма.После определения кисти и разбивки ее на 21 точку алгоритм составляет двумерную или трехмерную модель, а затем и сравнивает положение пальцев и изгиб кисти с дата-сетом из 30 тыс. изображений.
