Энтузиасты создали фановый проект на Python, который превращает ваше тело в клавиатуру и игровой джойстик с помощью обычной веб-камеры. Рассказываю, как это работает и зачем вообще нужно.
Как это вообще возможно?
Вся магия строится на двух китах: библиотеке компьютерного зрения OpenCV и нейросети MediaPipe. Если по-простому:
- Ваша обычная веб-камера снимает видео.
- Нейросеть в реальном времени находит на видео ваше тело и его ключевые точки: плечи, локти, запястья, колени и так далее.
- Программа на Python вычисляет углы между вашими конечностями и переводит их в команды — то есть в нажатия кнопок.
каждый может попробовать это у себя дома.
Печатаем текст, как сигнальщик на флоте
Первый проект называется "Semaphore". Его цель — полностью заменить клавиатуру. Чтобы напечатать букву, нужно вытянуть руки под определенным углом, имитируя позы из семафорной азбуки.
Думаете, это всё? Как бы не так!
- Хотите нажать Backspace? Просто закройте рот обеими руками.
- Нужен Shift? Разожмите кулаки и покажите открытые ладони.
- Хотите поставить восклицательный знак? Присядьте во время основной позы.
- Ошиблись и хотите повторить последнюю букву? Просто подпрыгните!
Конечно, я с трудом представляю себе офисного работника, который приседает, чтобы поставить смайлик в рабочем чате. Но выглядит забавно 😂
Играем в игры, как в фильмах про будущее
Второй проект — "Semaphore Games" — это уже полноценный игровой контроллер. Тут всё еще интереснее, потому что вы сами решаете, какое движение за что отвечает.
Вы можете создать файл настроек для своей любимой игры. Например, в гонках взмах правой рукой — это "газ", а в драках высокий удар ногой — это "суперудар".
Можно настроить управление для стареньких платформеров, файтингов или любых других игр. Проект даже поддерживает двух игроков одновременно — экран делится пополам, и вы можете устроить настоящее соревнование с другом. Главное, чтобы комната была побольше, а то в пылу битвы можно и люстру снести.
На первый взгляд, это просто веселое развлечение для гиков. И это правда. Но для разработчиков — это отличный пет-проект, чтобы поиграться с computer vision, не погружаясь в математические дебри.
Делитесь мнением в комментариях, занялись бы парным программированием при помощи этого инструмента? 😉