За последние 10 лет множество технологических компаний представили прототипы домашних роботов, но на рынок их выпустили лишь единицы. Дело в том, что даже самые продвинутые роботы плохо взаимодействуют с объектами и окружающей обстановкой, предназначенными для людей. Исследователи из Массачусетского технологического института стремятся решить эту проблему. Специалисты из факультета электротехники и информатики (EECS) использует большие языковые модели (LLM) для наделения роботов "здравым смыслом", который необходим для эффективной помощи в быту.
Роботов можно запрограммировать на выполнение любой физической задачи, находящейся в пределах их физических ограничений, и они всегда будут выполнять ее идеально, если ничего не менять в окружающей обстановке. Роботы плохо справляются с непредвиденными обстоятельствами, именно поэтому компания Boston Dynamics затратила очень много времени на разработку роботов, которые не падают. На первый взгляд это не самое выдающееся достижение, тем не менее, такие роботы до сих пор считаются большой редкостью из-за сложности решения подобных задач.
Инженеры MIT, работающие над этим проектом, нашли способ привязать физическое движение робота с моделями искусственного интеллекта , которые до сих пор использовались в основном для генерации контента. Новая технология позволяет роботу разбивать задачу на подзадачи. Он делает все шаг за шагом и может приспосабливаться к неожиданным событиям, не начиная работу заново. Важно отметить, что разработчикам не нужно программировать роботов на случай каждой возможной непредвиденной ситуации.
Большинство LLM, которых мы видели, используют свои библиотеки данных для отображения связей между словами, что позволяет им генерировать новые слова или изображения, или компьютерный код, или что-то еще, чему их научили создавать. Исследование Массачусетского технологического института, проведенное аспирантом Янвэем Ваном, заменило слова подзадачами. Система была протестирована с помощью роботизированной руки, пытавшейся переложить шарики из одной миски в другую. LLM может создавать такие последовательности, как «дотянуться» или «налить», которые отображаются на физические движения робота.
На этом изображении показано, как неожиданное прерывание заставляет робота заново оценить шаги, которые ему еще нужно выполнить. Фото: Массачусетский технологический институт
Новый алгоритм робота называется «grounding classifier», что означает, он может научиться определять подзадачи в зависимости от того, где рука находится в пространстве. Команда начала с того, что провела руку через задачу по сбору данных, а затем использовала предварительно обученный LLM для составления списка подзадач. Алгоритм смог сопоставить подзадачи с физическими движениями робота. После этого исследователи позволили роботу заниматься своими делами, собирая шарики и бросая их в другую миску. Когда робот освоил эту задачу, команда начала намеренно прерывать движение руки, выводя ее из траектории. Традиционным алгоритмам управления пришлось бы вернуться к известной отправной точке, но робот на базе LLM смог понять, где он находился во время каждого сбоя, и мог просто продолжить с того места, где он остановился.
Ванг отмечает, что проделанная работа может привести к появлению домашних помощников, способных адаптироваться к своей среде и лучше справляться с внешними помехами. Пользователям не нужно будет программировать каждую возможную ситуацию, если робот сможет учиться с помощью модели искусственного интеллекта.
