🤖Как заставить робота решать: новое исследование от Google AI

Несмотря на прогресс в обучении роботов, им до сих пор сложно выбрать наиболее подходящее действие при попытке имитировать точное или сложное поведение. Чтобы побудить роботов быть более решительными, исследователи часто используют дискретное пространство действий, которое заставляет робота выбирать вариант A или вариант B, не колеблясь между вариантами. Например, дискретность была ключевым элементом архитектуры Transporter Networks и используется в обучении игровых агентов: AlphaGo, AlphaStar и бот Dota OpenAI. Но дискретизация имеет свои ограничения - для роботов, которые работают в пространственно-непрерывном реальном мире, есть как минимум два недостатка дискретизации: ограничивает точность и запускает проклятие размерности, увеличивая требования к памяти. Поэтому в области CV недавний прогресс был обеспечен непрерывными, а не дискретными представлениями.

Чтобы разработать политики принятия решений без недостатков дискретизации, исследователи Google AI реализовали open-source проект с открытым исходным кодом Implicit Behavioral Cloning. Implicit BC представляет собой новый простой подход к имитационному обучению и был представлен на CoRL 2021. По сути, подход - это тип клонирования поведения, который, возможно, является для роботов самым простым способом освоить новые навыки на демонстрациях. При клонировании поведения агент учится имитировать поведение эксперта с помощью стандартного обучения с учителем. Традиционно клонирование поведения включает обучение явной нейронной сети, которая принимает наблюдения и выводит действия экспертов. Ключевая идея Implicit BC состоит в том, чтобы вместо этого обучить нейронную сеть выполнять как наблюдения, так и действия, и выводить одно число, низкое для действий эксперта и высокое для действий не эксперта (внизу справа), превращая поведенческое клонирование в проблема энергетического моделирования. После обучения политика Implicit BC генерирует действия, находя входные данные действия с наименьшей оценкой для данного наблюдения.

Implicit BC достигает хороших результатов как в моделируемых тестовых задачах, так и в реальных роботизированных задачах, требующих точного и решительного поведения. Это включает в себя достижение самых современных результатов (SOTA) в задачах, выполняемых человеком-экспертом из недавнего эталонного теста нашей команды для автономного обучения с подкреплением, D4RL. В шести из семи из этих задач Implicit BC превосходит лучший предыдущий метод для автономного RL - Консервативное Q Learning. Интересно, что Implicit BC достигает этих результатов, не требуя никакой информации о вознаграждении, то есть он может использовать относительно простое обучение с учителем, а не более сложное обучение с подкреплением.

https://ai.googleblog.com/2021/11/decisiveness-in-imitation-learning-for.html

https://github.com/google-research/ibc