Ученые Сколтеха разработали весьма эффективный метод развертывания роя спасательных и исследовательских дронов. Используя шлем виртуальной реальности и тактильный интерфейс, оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку. Для предотвращения столкновений дронов используется глубокое обучение с подкреплением.
Результаты исследования были представлены на XXI Международном симпозиуме IEEE по смешанной и дополненной реальности. Это первый российский проект, который был отобран для участия в этом престижном мероприятии за его более чем двадцатилетнюю историю.
«Стив Джобс перевернул представление о том, как человек может интуитивно взаимодействовать с цифровым миром, предложив использовать сенсорные экраны и жесты. Цель наших исследований — преодолеть еще более сложный вызов: каким образом пользователь без опыта управления дроном сможет в считанные секунды развернуть целый рой!», — говорит руководитель исследования и Лаборатории интеллектуальной космической робототехники Сколтеха доцент Дмитрий Тетерюков.
«Сегодня существует не так много интерфейсов для развертывания роя дронов, — рассказывает первый автор исследования, выпускница магистратуры Сколтеха Екатерина Доржиева. — Управлять одним дроном удобно при помощи джойстика, а для управления целым роем требуется либо несколько операторов, либо очень сложное программное обеспечение, позволяющее автоматически учитывать множество разных данных. Мы предлагаем альтернативное решение этой задачи».
Группа исследователей из Центра системного проектирования предложила использовать для решения задачи тактильный интерфейс, придуманный аспирантом Сколтеха Мигелем Альтамирано. Эту систему вдохновил, в свою очередь, более ранний интерфейс LinkTouch, созданный Тетерюковым в Японии.
Оператор роя дронов использует VR-шлем, перчатки с маркерами и тактильный дисплей. Вокруг «лучника» располагается система захвата движения в составе нескольких IR-камер — они регистрируют положение перчаток и дронов. Благодаря тактильному дисплею оператор чувствует, как при изменении расстояния между перчатками меняется натяжение виртуальной тетивы, и использует эту обратную связь, чтобы задать расстояние до точки, где должен оказаться дрон. При этом VR-шлем в режиме реального времени визуализирует баллистическую траекторию дрона. Когда оператор разжимает кулак, это действие регистрирует камера, и дрон направляется по заданной траектории.
Как только дрон достигает цели, он переводится на традиционный способ управления и переходит к выполнению своей миссии. Это может быть спасательная операция, обнаружение лесных пожаров, мониторинг состояния природных ресурсов, загрязнения окружающей среды, определение индекса роста (NDVI) сельскохозяйственных культур, геологоразведка, осмотр или техническое обслуживание объектов инфраструктуры.
«Преимущество использования баллистической траектории по образцу полета стрелы заключается в том, что для человека такая траектория представляется вполне естественной, что позволяет быстро развернуть группировку дронов, не допуская их столкновения с препятствиями. Для человека это вполне естественная задача, — отмечает Доржиева. — Задавать координаты полета дронов можно и с помощью программного обеспечения, но тогда дронам пришлось бы самостоятельно выстраивать траекторию для обхода препятствий, а это значит, что на каждый дрон нужно устанавливать камеру».
Благодаря использованию в новом методе глубокого обучения с подкреплением, дроны способны предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию.
А использование виртуальной реальности подразумевает, что оператору вовсе не обязательно находиться в непосредственной близости от места развёртывания роя. Любые суровые условия, к которым можно приспособить дронов — холод, пожары, радиоактивное заражение, труднодоступная местность — не касаются оператора.
Если в них может работать дрон, дальше VR-шлем позволит имитировать присутствие оператора непосредственно на месте действия и выводить дроны в заданную точку. Кроме того, виртуальная реальность в сочетании со стрельбой из лука открывает перспективы для применения разработки в индустрии развлечений и видеоигр.