Исследователи из Национального университета Сингапура, Шанхайского Jiao Tong University и Нанкинского университета разработали новый метод обучения роботов манипуляциям с помощью видео из интернета. В своей работе, опубликованной на arXiv, ученые предлагают использовать обширные видеозаписи, размещенные в сети, для тренировки алгоритмов роботов.
Метод включает три основных компонента: Real2Sim, Learn@Sim и Sim2Real. Первым этапом является Real2Sim, который отслеживает движение объекта в видео и воспроизводит его в симуляции. Далее, Learn@Sim обучает робота захватывать и размещать объекты, используя алгоритмы усиленного обучения. Последним этапом, Sim2Real, применяется для переноса полученных навыков на реального робота, минимизируя разрыв между симуляцией и реальным миром.
Этот подход позволяет роботам эффективно обучаться манипуляциям, даже если видео снято в различных условиях. В тестах, проведенных на задаче завязывания галстука, система успешно справилась с задачей, продемонстрировав потенциал новой методики для сложных манипуляционных задач.
Будущие исследования будут направлены на расширение этой методики для решения других сложных задач в робототехнике и улучшение навыков роботов через имитационное обучение.
