Существует проблема, связанная с невозможностью заставить роботов выполнять действия в ситуациях, которые ранее не были им известны. Обычно, исследователи обучают их на новых данных для каждого нового места, что требует много времени и средств.
В настоящий период учеными разрабатываются новые модели ИИ, которые могут научить роботов решать задачи в новом окружении без дополнительного обучения или тонкой настройки. Для того чтобы машины могли выполнять различные действия, используя пять моделей искусственного интеллекта, они получили название robot utility models (RUMs). Эти модели могут выполнять несколько отдельных действий: открывать двери и ящики, брать в руки салфетки, сумки и цилиндрические предметы в незнакомой обстановке.
Команда, которая состоит из исследователей Университета Нью Йорка и компании Hello Robot, надеется на то что ее результаты помогут роботам быстрее и проще обучаться новым навыкам, помогая им в тех областях, которые ранее были для них неизвестны. Следуя этому принципу, можно значительно упростить и снизить затраты на внедрение роботов в наши дома.
Как говорит Махи Шафиулла, аспирант университета Нью-Йорка, который принимал участие в проекте, люди раньше уделяли много внимания проблеме "Как заставить роботов делать все?", но не задавались вопросом "Как заставить их делать то, что они могут делать везде?". Данный вопрос был рассмотрен нами в контексте «Как научить робота, например, открывать любую дверь в любом месте».
Как правило, для обучения роботов новым навыкам требуется большое количество информации, которую очень сложно получить. Из-за того, что данные для обучения роботов должны быть собраны физически, это требует больших затрат времени и средств, а также создания и расширения баз данных для обучения роботов значительно труднее, чем для таких видов ИИ, как большие языковые модели, которые обучаются на основе информации, взятой из Интернета.
В целях ускорения процесса сбора данных, необходимых для обучения робота новому навыку, исследователи усовершенствовали старый вариант инструмента, который они использовали ранее: iPhone, который крепится к простой палке-дождевику, которая чаще всего используется для сбора мусора.
При помощи данного устройства исследователи смогли провести около 1000 демонстраций в более чем 40 различных условиях, включая дома в Нью-Йорке и Джерси-Сити, для каждой из пяти задач. Некоторые из них были подготовлены в ходе предыдущих исследований. Затем они создали пять моделей RUM, используя алгоритмы обучения на пяти комплексах данных.
Эти модели были установлены на робота Stretch, состоящего из колесного блока, высокого шеста и выдвижной руки, держащей iPhone, чтобы проверить, насколько успешно они смогут выполнять задания в новых условиях без дополнительных настроек. Хотя процент выполнения заданий составил 74,4 %, исследователям удалось увеличить этот показатель до 90 %, когда они получили изображения с iPhone и камеры, установленной на голове робота, передали их недавней модели OpenAI GPT-4o LLM и спросили ее, было ли задание выполнено успешно. Если GPT-4o отвечал отрицательно, робот просто перезагружался и пытался выполнить задание снова.
По словам Мохита Шридхара, научного сотрудника, специализирующегося на робототехнике и не принимавшего участия в работе, обучение и тестирование моделей в лабораторных условиях не соответствует тому, что может произойти в реальном мире, поэтому исследования, помогающие машинам вести себя более надежно в новых условиях, очень приветствуются.
«Приятно видеть, что это оценивается во всех этих разнообразных домах и кухнях, потому что если вы можете заставить робота работать в дикой природе в случайном доме, это и есть истинная цель робототехники», - говорит он.
По словам Шафиуллы, этот проект может послужить общим рецептом для создания других полезных роботов для других задач, помогая обучать роботов новым навыкам с минимальными дополнительными затратами и облегчая людям, которые не являются квалифицированными робототехниками, внедрение будущих роботов в свои дома.
«Мечта, к которой мы стремимся, заключается в том, чтобы я мог обучить чему-то, выложить это в Интернет, а вы могли бы скачать и запустить это на роботе у себя дома», - говорит он.