Компания Apple представила новое устройство виртуальной/дополненной реальности (VR/AR) - Apple Vision Pro (AVP). Разработанное Юнгхё Парком и Пулкитом Агравалом, AVP обладает расширенными возможностями отслеживания движений пользователя, в частности движений запястья и пальцев. Эта технология вызвала интерес в сообществе робототехников. Главная особенность AVP - способность отслеживать различные движения человека с исключительной точностью.
Используя ARKit от Apple, устройство записывает движения головы, запястья и пальцев в режиме реального времени, что помогает ему получать ценные данные для робототехнических приложений. Возможность отслеживания делает AVP идеальным инструментом для регистрации поведения человека в реальных условиях. Благодаря этому они получают сведения о задачах навигации и манипулирования, которые используются при программировании роботов и принятии решений.
Согласно исходному коду, Tracking Streamer - это приложение для VisionOS, которое можно установить из App Store. Код также размещен в репозитории с открытым исходным кодом. Приложение служит двум основным целям: (а) отслеживанию движений человека и (б) передаче данных по сети. Кроме того, AVP облегчает телеуправление роботами с помощью интуитивно понятных движений человека. Устройство передает данные отслеживания по сети, чтобы пользователи могли управлять роботами дистанционно, используя естественные жесты и движения, улавливаемые устройством.
Парк и Агравал представили приложение Tracking Streamer: VisionOS для поддержки разработчиков в использовании AVP в робототехнических приложениях. Это приложение служит платформой для отслеживания движений человека и потоковой передачи данных на подключенные устройства в той же сети. Приложение использует ARKit и протокол связи gRPC от Apple для обеспечения надежной и эффективной передачи данных и интеграции с широким спектром устройств. Кроме того, разработчики могут получить доступ к данным отслеживания с помощью Python API.
Казалось бы, достаточно многообещающих возможностей, но есть ли ограничения? Есть. Например, устройство может столкнуться с проблемами в условиях ограниченного движения, таких как лифты или движущиеся автомобили. Кроме того, пользователю может понадобиться следить за положением рук, чтобы обеспечить точное отслеживание. Например, когда руки расположены в районе талии или бедра. В таких случаях возможности отслеживания ограничены.
Однако, заглядывая в будущее, можно сказать, что потенциал AVP в робототехнике огромен. Они будут часто обновлять репозиторий, добавляя новые функции для робототехнических приложений, использующих ARKit и RealityKit от Apple. Следующий шаг - изучение возможности установления двусторонней связи между симуляцией/реальным миром и AVP.