Выполнение задач в ранее им неизвестной среде является огромной проблемой для роботов. Обычно исследователям приходится обучать их новым данным для каждого нового места, в которое они попадают. Иногда это может быть очень трудоемким и дорогостоящим процессом.
Чтобы решить эту проблему, группа исследователей разработала серию моделей искусственного интеллекта на базе GPT-4, которые учат роботов выполнять базовые задачи в новых условиях без предварительного обучения или тонкой настройки. Всего пять моделей ИИ объединены под названием RUM (полезные модели роботов), пишут исследователи на своем сайте robotutilitymodels.com.
В ходе исследования машины, запрограммированные соответствующим образом, достигли 90-процентной успешности на незнакомой местности при выполнении пяти различных задач: открывание дверей и ящиков, сбор салфеток, сумок и цилиндрических предметов.
Обучение роботов новым навыкам обычно требует большого количества данных, которые трудно получить. Поскольку данные для обучения роботов должны быть собраны физически, создать и масштабировать базы данных обучения для роботов гораздо сложнее, чем для больших языковых моделей, обученных с использованием информации из интернета.
Чтобы быстрее собирать данные, необходимые для обучения робота новым навыкам, исследователи разработали новую версию инструмента из предыдущего исследования. iPhone прикрепляется к простому захватному рычагу, подобному тем, которые обычно используются для сбора мусора. Эта конструкция, прикрепленная к роботизированной руке, в конечном итоге использовалась примерно в 1000 демонстрациях в 40 различных средах, включая квартиры в Нью-Йорке и Джерси-Сити. Для каждой из пяти задач были сделаны фотографии, но команда также извлекла пользу из данных, собранных в ходе предыдущей исследовательской работы. Затем они обучили алгоритмы на пяти наборах данных для создания пяти моделей RUM.
Робот Stretch от Hello Robot впоследствии использовал эти модели. Stretch состоит из агрегата на колесах, высокого шеста с камерой и выдвижного кронштейна с iPhone. Этот проект может послужить общей базой для создания других полезных моделей роботов для других задач.