Разработчик собрал умные очки, которые позволяют взмахом руки включить лампу или музыку на колонке. Они понимают, на какой именно предмет, подключенный к системе умного дома, показывает пользователь.
Итак, записывайте рецепт: инженер взял обычные солнцезащитные очки, на дужке закрепил с помощью скотча камеру для одноплатного компьютера Raspberry Pi, которая через провод подключается к плате NVIDIA Jetson Nano. Плату парень засуну в картонную коробку и повесил на грудь.
В работе используются две сверточные нейросети: одна распознает объекты в кадре, другая — жесты руки. Если алгоритмы находят совпадение по знакомой лампе и жесту, они посылают команду на устройство через Wi-Fi.
Инженер сам собрал датасет из 10 тыс. фотографий для обучения алгоритмов. Пока умные очки распознают только взмах руки, однако изобретатель выложил код на GitHub — теперь любой желающий может дообучить модель на собственных жестах.
Код на GitHub: https://github.com/nickbild/shaide
Подписывайтесь на наш канал, чтобы читать новости из будущего!
