«Хабр» публикует рассказ участников соревнований ANA Avatar XPRIZE по созданию удаленно-управляемых аватаров, позволяющих человеку физически присутствовать в любой точке пространства, где есть интернет. Полуфинал соревнований состоялся в сентябре 2021 года в Майами, где команда Dragon Tree Labs заняла второе место среди 15 команд, прошедших в финал.
Команда использовала VR-headset (гарнитуру виртуальной реальности). Она позволяла пространственно ощущать себя в удаленном месте реалистично — за счет того, что вращения головой синхронизировано с перемещением стереокамеры. Но есть и минусы: реципиент в таком случае не может видеть лицо оператора, теряется зрительный контакт, потому как лицо закрыто шлемом.
В результате реципиент может фокусироваться лишь на том, как выглядит и двигается аватар, а не реальный пользователей, находящийся «за» аватаром. Поскольку целью конкурса было улучшение human-to-human remote interaction (а не human-machine), то путей решения этой ситуации было два: либо средствами CV синтезировать взгляд глаз оператора, либо убрать шлем и стримить реальный взгляд.
Помимо перечисленных областей разработчики сделали «панцирь» на плечевой пояс, грудь, руки-манипуляторы и голову — так, чтобы это не было похоже ни на робота, ни на человека, а воспринималось как симбиоз человека (оператора) и его универсального электронного тела.
К конкурсу разработчики решили с нуля собрать аватар из доступных им компонентов. В одной из студенческих лабораторий они нашли колесную базу с шеей на ременном приводе и экспериментально соединили с VR-шлемом, в шутку назвав получившегося аватара Джонни. Далее несколько раз менялось тело Джонни, а торс — робот Reachy с одной рукой — был приобретен у французской компании Pollen Robotics.
Еще до его покупки участники вели разработку собственного манипулятора, который должен был выдерживать нагрузку в несколько килограмм. Процесс интеграции двух изначально несовместимых систем был сложным, однако его результатом стала собственная разработка команды — система управления головой и рукой робота Reachy. Участники также создали свой собственный интерфейс передачи стерео-видео для VR-шлема и соединили с VR-контроллерами Oculus для управления манипуляторами в реальном времени.