Мы привыкли думать, что дрон всегда знает, где он находится. Достаточно включить пульт — и GPS покажет координаты с точностью до метров. Но что, если спутников нет? Под землёй, в глубоком каньоне из небоскрёбов, на другой планете или в момент, когда сигнал просто глушат? В честь Дня космонавтики поговорили с Александром Меньщиковым, начальником Лаборатории "Искусственный интеллект для автономных систем" о том, как дроны учатся видеть и понимать мир без помощи спутников.
GPS — это удобно, но ненадёжно
Спутниковая навигация — великое изобретение. Сигнал от спутников ГНСС (GPS, ГЛОНАСС и другие) позволяет триангулировать положение приёмника с высокой точностью. Но у этой технологии есть два вида противодействия GPS: глушение и подмена (спуфинг). В первом случае сигнал просто пропадает. Во втором — вам приходят ложные координаты. Вы в центре Москвы, а навигатор показывает аэропорт Шереметьево.
И это ещё не все проблемы. GPS не работает или работает плохо:
- в закрытых помещениях;
- в «городских каньонах» между высотками;
- под землёй и под водой;
- в высоких широтах;
- ну и, конечно, на других планетах.
Визуальная навигация: дрон смотрит — дрон понимает
Как же ориентироваться, когда спутники молчат? Ответ — заставить дрона «видеть». В Лаборатории "Искусственный интеллект для автономных систем" Сколтеха исследуют методы визуальной навигации. Это целое семейство подходов: Visual SLAM (одновременная локализация и построение карты), Visual Odometry (визуальная одометрия), Visual Place Recognition (визуальное распознавание места).
Что это значит на практике? Дрон оснащается одним или несколькими сенсорами: камерами (монокулярными, стереопарами, камерами глубины), лидарами, тепловизорами и инерциальными датчиками (акселерометрами и гироскопами). Все эти данные поступают на бортовой компьютер, где алгоритмы извлекают уникальные визуальные признаки, оценивают движение (смещение и поворот) и строят карту окружающего пространства прямо на лету.
Геопривязка к спутниковым снимкам: космос помогает дрону
Один из самых эффектных методов — VPR. В память дрона заранее загружается геопривязанная карта местности, где каждому пикселю соответствует реальная GPS-координата. Такие карты получают со спутников. Во время полёта дрон делает снимок подстилающей поверхности, сравнивает его с картой — и понимает, где он находится.
Звучит идеально, но есть нюанс. Карта статична, а мир меняется. Снег, листва, тени, время суток, погода — всё это сбивает алгоритмы с толку. Грязное стекло камеры или небольшое смещение тоже могут испортить оценку. Именно здесь на помощь приходят нейросети: они помогают преодолеть эти факторы и улучшить распознавание.
Тепловизоры и всепогодность: найдёт ли дрон дорогу в тумане и ночью?
Да, такие разработки ведутся. Тепловизор (камера инфракрасного диапазона) видит там, где обычная RGB-камера бессильна. Капли воды и снежинки меньше длины волны ИК-излучения, поэтому они практически не рассеивают его. Теоретически дрон с тепловизором может лететь в тумане и метели.
Но теория — это одно, а практика — другое. Всё зависит от температуры объектов, чувствительности матрицы, размеров капель и интенсивности осадков. Исследовать граничные условия, при которых тепловизор перестаёт видеть из-за шумов, — хорошее направление для будущих исследований.
А что насчёт космоса? В открытом космосе другие приборы: звёздные, солнечные, инерциальные датчики. А вот на поверхности других планет — да, визуальная навигация уже работает.
Марсианские дроны: технологии, которые уже там
Вы не ослышались. На Марсе уже летал БПЛА — вертолёт Ingenuity в составе миссии Perseverance. У него не было GPS (спутниковой группировки вокруг Марса пока нет). Вместо этого он использовал алгоритм Granit — визуально-инерциальную одометрию. А сам марсоход Perseveranceприменял технологию Mars Global Localization (MGL), сопоставляя снимки с навигационных камер с орбитальными картами рельефа, полученными спутником Mars Reconnaissance Orbiter. Точность — до 25 сантиметров.
В Лаборатории Сколтеха занимаются тем же самым — только пока для земных условий. Но, как показали специалисты NASA и JPL, те же технологии работают и на другой планете.
RL и адаптивное управление: дрон учится летать сам?
Здесь важно разделять два подхода.
Адаптивное управление опирается на математическую модель (хотя бы частичную). Его не нужно предварительно тренировать. Оно применяется там, где критичны стабильность[AM3] и предсказуемость: сохранение курса при порывах ветра, компенсация изменения массы или повреждений.
Reinforcement learning (RL) — это уже про нейросети. Агента тренируют в симуляторе, а потом дообучают на данных из реального мира. RLхорош для сложных, непредсказуемых сред, где нужно нестандартное решение: посадка на подвижную платформу, полёт в лесу. Но есть и риск: поведение RL-агента непредсказуемо, и во время испытаний дрон может разбиться.
Проблема Sim-to-Real Gap: почему симулятор — это не жизнь
Главная головная боль RL-инженеров — перенос алгоритма из симуляции в реальность. В симуляторе всё идеально: физические модели упрощены, сенсоры работают без шумов, нет ветра и осадков. А в реальном мире — есть.
Кроме того, неправильная функция наград может породить опасное поведение. Захотели обучить дрона быстро лететь к цели — получили агрессивные траектории и столкновения. Захотели экономить энергию — дрон решил не зависать, а сразу сесть. Учтена только конечная точка полёта — и вот дрон уже пролетает сквозь препятствие на одном участке, лишь бы вовремя прибыть в другую точку.
Что изменилось за 10 лет и что до сих пор не получается
Десять лет назад SLAM для дронов был лабораторной игрушкой. Алгоритмы опирались на геометрию и классическую оптимизацию, машинное обучение почти не применялось. Бортовые компьютеры были слабыми, графических процессоров на плате не было.
Сегодня SLAM работает в коммерческих продуктах, нейросети — обычное дело, а компактные бортовые компьютеры могут запускать сложные алгоритмы на миниатюрных дронах.
Но нерешённых вопросов всё ещё много: работа в экстремально неоднородных или, наоборот, однородных средах (пустыня, водная гладь), полёты в сильном дыму, тумане и метели, длительные миссии на огромных пространствах и работа на маломощных бортовых компьютерах.
Дроны — помощники человека
Визуальная навигация на дронах уже применяется в коммерческих продуктах. Дроны ищут пропавших людей, инспектируют здания, помогают в сельском хозяйстве. Но самое интересное — в будущем.
Безопасная интеграция дронов (а затем и летающих автомобилей) в городскую среду — это не фантастика. Они будут доставлять еду, перевозить людей, мониторить пробки и экологию. И алгоритмы визуальной навигации станут ключом к этому будущему. То, что мы разрабатываем сегодня для полётов над лесами и городами, завтра может помочь планетоходу найти путь по склону кратера или дрону — исследовать самые глубокие каньоны на Марсе.
В конце концов, мы живём в мире, где спутники есть не везде. А дроны — уже почти везде. Широкомасштабное внедрение надежных и безопасных БПЛА сильно изменит облик городов и наш быт. А алгоритмы визуальной навигации будут играть ключевую роль в этом процессе.