ИИ обрабатывает видео с камеры и анализирует положение пальцев.
Алгоритмы работают только с той областью, где есть рука, не анализируя фон — это экономит вычислительные мощности, необходимые для системы. После того, как нейросети определили положение кисти в пространстве, они переключаются на пальцы, сравнивают их с датасетом из 30 тыс. изображений и ищут совпадения.
Пока знания ИИ ограничиваются пальцем вверх, счетом до пяти и жестом «всем мир». Сделать полноценный переводчик компания пока не в силах: потребуется анализировать две руки одновременно и учитывать их совместную работу каждую секунду.
Чтобы поскорее научить компьютер понимать язык жестов, создатели выложили код в открытый доступ и предложили всем желающим присоединиться к разработке. А пока — ждем возможности лайкнуть видео, не нажимая кнопки.
Подписывайтесь на наш канал, чтобы читать новости из будущего!