Китайские инженеры разработали систему управления, позволяющую человекоподобным роботам выполнять сложные движения и трюки, используя зрение для самостоятельной адаптации к окружающей среде. Система объединяет данные с камеры глубины и датчиков тела, благодаря чему робот может планировать свои движения, учитывая геометрию препятствий и независимо от исходного положения. Во время испытаний андроид Unitree G1 успешно выполнил кувырки через барьер с перекатами через голову и перебрался через препятствия, опираясь на них ними руками и телом. Препринт статьи опубликован на сайте arXiv.org.
Современные методы управления человекоподобными роботами обычно делятся на два направления. Первое предполагает ходьбу с использованием восприятия. Робот анализирует рельеф местности (например, с помощью карт высот) и корректирует свои шаги, чтобы не споткнуться. Как правило, в таком случае андроид ограничен использованием ног и не способен задействовать руки и корпус для взаимодействия с препятствиями. Второе направление — имитация движений, когда робот учится точно повторять записанные действия человека. С помощью этого подхода андроида можно научить делать сложные акробатические трюки, например, сальто. Однако выполнять их он будет «вслепую», без учета геометрии окружения. Иными словами, если робот, обученный только путем имитации, попытается выполнить прыжок через высокий ящик, он, вероятно, врежется в него или промахнется руками мимо точки опоры, так как не видит препятствия и не может скорректировать свой разбег.
Для решения этой проблемы группа инженеров под руководством Чжао Хана (Hang Zhao) из Университета Цинхуа разработала систему управления, позволяющую человекоподобным роботам выполнять акробатические трюки, задействуя все тело. Авторы создали набор данных, записав движения людей и отсканировав лидаром геометрию препятствий. Данные адаптировали под кинематику робота Unitree G1, заложив основу для обучения нейросети, способной корректировать движения в реальном времени на основе визуальных данных.
Обучение проходило в симуляторе Isaac Gym с помощью метода обучения с подкреплением и алгоритма proximal policy optimization. Нейросеть получала данные о состоянии суставов, эталонную траекторию и зашумленную карту глубины с артефактами, имитирующими недостатки реальной камеры. Функция вознаграждения поощряла не только выполнение трюка, но и точность перемещения ключевых точек тела — рук, ног и таза — относительно препятствия.
Готовую систему проверили на андроиде Unitree G1 с камерой Intel RealSense, всего робот выполнил четыре типа движений. Он научился взбираться на препятствие с опорой на колено, прыгать через барьер с последующим перекатом через голову, перекатываться через препятствие на спине и садиться на него, запрыгивая задом. Препятствиями выступили барьер и деревянный короб размером 0,5 × 0,6 × 0,4 метра. Тесты подтвердили, что андроид успешно адаптируется к условиям улицы и визуальным помехам, а благодаря зрению самостоятельно изменяет длину шага для точного попадания на край препятствия даже при изменении стартовой позиции.
Недавно институт RAI совместно с Boston Dynamics показал, как человекоподобный робот Atlas выполняет сложный акробатический трюк — элемент рондад и обратное сальто.