Учёные из Военно-морской исследовательской лаборатории США (NRL) успешно провели первый в истории автономный полёт робота в космосе с использованием алгоритмов обучения с подкреплением. 27 мая робот Astrobee на борту Международной космической станции отстыковался, выполнил манёвр и пристыковался обратно без участия человека, затратив всего пять минут.
Проект APIARY (Autonomous Planning In-space Assembly Reinforcement-learning free-flYer) направлен на обучение роботов выполнению сложных задач без прямого управления. Это открывает перспективы для создания больших космических телескопов и станций передачи энергии. Тестирование подтвердило жизнеспособность технологии, несмотря на временный сбой камеры.
Для обучения использовался метод Proximal Policy Optimization — глубокое обучение с подкреплением, сочетающее роли «исполнителя» и «критика». Среду для тренировок моделировали в высокоточной симуляции NVIDIA Omniverse, что помогло сократить разрыв между симуляцией и реальностью.
Успех APIARY позволит применять автономных роботов не только в космосе, но и на земле, на воде и под водой, быстро переобучая их под новые задачи и условия. Технология обещает значительные тактические преимущества в военной и исследовательской сферах.
Этот прорыв открывает новые возможности для роботизированных миссий в дальнем космосе и расширяет потенциал автономных систем в самых разных средах.