Инновационные очки на базе одноплатного компьютера Raspberry Pi представил разработчик по имени Nekhil. Ему удалось создать очки, которые в режиме реального времени распознают язык жестов и озвучивают его для окружающих. Принцип работы основан на применении технологий искусственного интеллекта для анализа видеопотока с камеры. Система обучена распознавать жесты руками и сопоставлять их с буквами алфавита. Как только буква определена, Raspberry Pi с помощью речевого преобразователя "Text-to-speech" озвучивает ее. Таким образом любой человек рядом может понять, что передается на языке жестов, даже если он им не владеет.В основе проекта лежит ВИАМ - инструмент с открытым исходным кодом для создания интеллектуальных систем. Поскольку проект в значительной степени опирается на возможности искусственного интеллекта и компьютерного зрения, изначально рассматривался новейший Raspberry Pi 5. Однако вскоре стало ясно, что для этих целей подойдет и Raspberry Pi Zero 2 W, так как при меньших размерах он обладает достаточной производительностью.
Raspberry Pi Zero 2 W подключен к камерному модулю V3, расположенному во фронтальной части очков. Это позволяет получать изображение и видеопоток того, на что смотрит пользователь. Пока человек жестикулирует, Pi распознает жесты и озвучивает их. Интересно, что корпус очков был разработан в Fusion 360 и напечатан на 3D-принтере специально для этого проекта.
Детально останавливаясь на реализации, разработчки отмечает, что ВИАМ поддерживает модели машинного обучения Tensor Flow Lite. Однако в данном проекте используется модель YOLOv8, обученная распознавать буквы английского языка жестов при их написании в воздухе. Хотя этот язык включает множество жестов для слов и фраз, текущая система ориентирована именно на буквенную составляющую.