Чем больше они за нами наблюдают, тем совершеннее становятся
Если большие двуногие роботы в стиле Boston Dynamics когда-нибудь заменят людей на рабочих местах, они смогут сделать это после обучения у своих предшественников из плоти и костей. В новой статье исследователи из Стэнфорда рассказывают, как они научили робота, похожего на гуманоида и оснащенного одной RGB-камерой, играть на пианино, в теннис и даже боксировать, просто имитируя движения человека. Новый метод обучения может помочь ускорить время обучения и снизить затраты, связанные с будущей разработкой гуманоидных роботов. Это может оказаться полезным, особенно сейчас, когда такие компании, как Figure и Tesla, спешат выпустить двуногих роботов, способных выполнять работу на производстве и дома.
Представляем HumanPlus – часть слежения
Гуманоиды рождены для использования человеческих данных. Мы создаем систему затенения в реальном времени, используя одну RGB-камеру и политику клонирования движений человека всем телом. Примеры:
- бокс🥊
- игра на пианино🎹/пинг-понг
- бросание
- набор текста
С открытым исходным кодом! pic.twitter.com/DQgVDPiNnS
- Зипенг Фу (@zipengfu) 13 июня 2024 г.
Чем отличаются эти роботы-имитаторы?
Роботы, похожие на людей, существуют в той или иной форме уже несколько десятилетий, но они часто не могут повторить те же плавные движения, которым многие люди учатся естественным образом. Обучение роботов движениям, которые могут показаться человеку относительно простыми, требует больших объемов часто сложных и многогранных данных для обучения человеческим движениям. В прошлом исследователи робототехники пытались разделить различные элементы этих данных - например, данные, связанные с визуальным восприятием или управлением руками и ногами, - но исследователи говорят, что такой подход требует много времени и не подходит для масштабирования.
Учёные из Стэнфорда использовали другой подход. Сначала они использовали модель искусственного интеллекта с подкреплением для обучения специально разработанного робота под названием "HumanPlus" на 40 часах различных данных о движениях человека. Затем они смогли взять базовые уроки, полученные при обучении робота на этих данных в среде симуляции, и применить их в физическом мире. Вооружившись этими знаниями и прикрепив к голове веб-камеру, робот смог "следить" за движениями тела и рук человека-оператора и в конечном итоге имитировать их. Этот процесс, называемый "тенью", привел к тому, что роботы-гуманоиды стали повторять движения человека более естественно.
"Подражая людям, гуманоиды могут потенциально использовать богатый репертуар навыков и движений, демонстрируемых людьми, предлагая многообещающий путь к достижению общего интеллекта роботов", - пишут авторы.
Различные задачи и движения, которые роботу было предложено имитировать, охватывали весь спектр человеческих движений. В одном из примеров роботу было поручено надеть ботинок и пройтись, что позволило проверить ловкость рук и общую локомоцию. В других заданиях, таких как игра в пинг-понг или обучение меткому левому джебу, больше внимания уделялось визуальному восприятию и таймингу. В другом задании, где робот использовал клавиатуру для ввода кодовой фразы "Hello Word", он продемонстрировал более точные движения пальцев. По словам исследователей, после полного обучения HumanPlus успешно выполнял свои движения в 60-100 % случаев, в зависимости от задачи.
Представляем HumanPlus – часть автономных навыков.
Гуманоиды рождены для использования человеческих данных. Подражая людям, наш гуманоид учится:
- складывать толстовки
- разгружать предметы со складских стеллажей
- разнообразным навыкам локомоции (приседать, прыгать, стоять)
- приветствовать другого робота
Открытые ресурсы! pic.twitter.com/jFzfES6mMf
- Зипенг Фу (@zipengfu) 13 июня 2024 г.
Физически HumanPlus представляет собой монстра Фракенштейна, состоящего из различных частей робота. В качестве базового тела исследователи использовали робота Unitree's Robotics H1, а затем присоединили к нему механические руки и запястья от компаний Inspire-Robots и Robotis. Простая веб-камера Razer, прикрепленная к глазам робота, служила ему основным средством наблюдения за окружающим миром. В итоге окончательная цена робота составила примерно 107 945 долларов. Любой, у кого есть доступ к таким деньгам, может научиться создавать своего собственного робота HumanPlus, следуя инструкциям, опубликованным исследователями на этом репозитории GitHub.
На какой аппаратной платформе должен быть воплощён HumanPlus?
Мы построим собственного 33-DoF гуманоида с двумя ловкими руками, используя компоненты:
- Inspire-Robots RH56DFX hands
- @UnitreeRobotics H1 робот
- @ROBOTIS Dynamixel motors
- @Razer веб-камеры
Мы открыто разрабатываем наше оборудование. pic.twitter.com/AkY9MPEzyd
- Зипенг Фу (@zipengfu) 13 июня 2024 г.
Обучение с помощью мимикрии может сделать коммерческих роботов более адаптируемыми
Более гибкие методы обучения исследователей появились на фоне всплеска коммерческого интереса к человекоподобным роботам. Компании Figure и Agility Robots, два лидера в этой области, уже начали тестировать свои продукты на автомобильных и логистических производствах. Компания Tesla, чей робот Optimus превратился из человека в телесном костюме в реальную машину, способную ласкать яйца, представляет себе реальность, в которой эти ходячие говорящие роботы когда-нибудь будут мыть посуду и выполнять другую работу по дому. Несмотря на то, что все эти разработки еще только зарождаются, они могут привести к появлению значительной индустрии человекоподобных роботов. В отчете Goldman Sachs за 2022 год прогнозируется, что мировой рынок гуманоидных роботов к 2035 году достигнет 154 миллиардов долларов.
Нетрудно представить, как робот, способный обучаться с помощью мимикрии, может быть полезен в этих коммерческих целях. Подобно новым работникам, проходящим обучение на рабочем месте, менеджеры или обученные операторы роботов могли бы обучать роботов-гуманоидов выполнению конкретных задач, характерных для той или иной отрасли бизнеса. И в отличие от других запрограммированных роботов, эти более гибкие машины могут быть обновлены для выполнения новых задач. Такой более органичный подход к обучению движениям также может потенциально повысить функциональность растущего сегмента роботов, ориентированных на улучшение доступности, для улучшения жизни людей с ограниченными возможностями.
Приходите на мой канал ещё — буду рад. Комментируйте и подписывайтесь!
Поддержка канала скромными донатами (акулы бизнеса могут поддержать и нескромно):
Номер карты Сбербанка — 2202 2068 8896 0247 (Александр Васильевич Ж.) Пожалуйста, сопроводите сообщением: «Для Панорамы».