Система имитационного обучения улучшает навыки четвероногих роботов по управлению автомобилем в дикой природе
Четвероногие роботы, оснащенные манипуляторами, потенциально могут решать задачи, связанные с манипулированием объектами при быстром перемещении в окружающей среде. К ним относятся такие задачи, как сбор мусора по всему дому, сбор определенных предметов и передача их людям или размещение целевых предметов в определенных местах.
Многие подходы, разработанные для обучения роботов успешному решению этих задач, основаны на имитационном обучении. Это означает, что алгоритмы, планирующие действия роботов, изучают стратегии, которые позволят роботу выполнить задачу, обрабатывая демонстрационные данные, показывающие, как агенты справились с этой задачей.
Несмотря на то, что некоторые существующие методы обучения роботов выполнению задач, связанных как с передвижением, так и с манипулированием объектами, показали многообещающие результаты в симуляциях, они часто не так эффективны "в дикой природе". По сути, это означает, что они не позволяют роботам хорошо обобщать различные задачи при тестировании в реальных условиях.
Исследователи из Калифорнийского университета в Сан-Диего недавно представили WildLMa - новую платформу, которая может улучшить навыки управления четвероногими роботами в дикой природе. Эта структура, описанная в статье на сервере препринтов arXiv, состоит из трех компонентов, которые в совокупности могут повысить обобщаемость навыков, приобретенных с помощью имитационного обучения.
"Быстрый прогресс в области имитационного обучения позволил роботам учиться на примере человеческих демонстраций", - сказал Ючен Сонг, автор статьи, в интервью Tech Xplore.
"Однако эти системы часто фокусируются на отдельных, специфических навыках, и им трудно адаптироваться к новым условиям. Наша работа направлена на преодоление этого ограничения путем обучения роботов приобретению обобщаемых навыков с использованием моделей визуального языка (VLM), а затем использования больших языковых моделей (LLM) для объединения этих навыков в последовательности, которые позволяют роботам решать сложные задачи".
Видео: https://youtu.be/Xs6h_jLTxQg
WildLMa, фреймворк, разработанный Сонгом и его коллегами, во-первых, предоставляет простой способ сбора экспертных демонстрационных данных. Это достигается с помощью системы телеуправления на основе виртуальной реальности (VR), в которой люди-агенты могут использовать предварительно обученные алгоритмы управления роботом и управлять движениями всего тела робота только одной рукой.
"Эти предварительно отработанные навыки затем совершенствуются с помощью LLM, которые разбивают сложные задачи на выполнимые этапы — аналогично тому, как человек может подойти к решению сложной задачи (например, "выбрать—сориентироваться—место")", - объяснил Сонг. - В результате получился робот, способный эффективно и интуитивно выполнять длительные многоступенчатые задачи".
Отличительной особенностью подхода, предложенного этой командой исследователей, является то, что он также объединяет механизмы внимания. Эти механизмы позволяют роботам фокусироваться на целевом объекте во время выполнения конкретных задач.
"Интеграция механизмов внимания играет решающую роль в том, что навыки робота становятся более адаптируемыми и обобщаемыми", - сказал Сонг. "Потенциальное применение WildLMa включает в себя выполнение практических домашних обязанностей, таких как уборка или поиск предметов. Мы уже продемонстрировали некоторые из этих возможностей".
Сонг и его коллеги уже продемонстрировали потенциал своей платформы в серии реальных экспериментов, в ходе которых они успешно обучили четвероногого робота выполнять различные задачи. Эти задачи включали в себя уборку мусора в коридорах и на открытых площадках Калифорнийского университета в Сан-Диего, доставку продуктов и перестановку предметов на книжных полках.
"Несмотря на то, что наша система работает хорошо, на нее все еще могут влиять неожиданные помехи, такие как перемещение людей", - добавил Сонг. "Наши следующие шаги будут заключаться в повышении надежности системы в динамичных условиях. В конечном счете, мы стремимся создать роботов-помощников по дому, которые были бы недорогими и доступными для всех".