Разработка бытовых роботов
Роботов учат выполнять все более сложные домашние задачи - от вытирания пролитых напитков до подачи еды.
Оказывается, роботы - превосходные имитаторы. Но если не запрограммировать их приспосабливаться ко всем возможным ударам и толчкам, они начинают свою работу с самого начала.Инженеры разработали метод, который связывает данные о движении робота с большими языковыми моделями, или LLM.
Сейчас роботы могут самостоятельно исправлять ошибки при выполнении задач. В рамках своего нового подхода команда разработала алгоритм, позволяющий автоматически связывать метку LLM на естественном языке для конкретной подзадачи с положением робота в физическом пространстве или изображением, кодирующим состояние робота. Новый алгоритм команды разработан для изучения базового “классификатора”, означающего, что он учится автоматически определять, в какой семантической подзадаче находится робот — например, “дотянуться” или “зачерпнуть”, — учитывая его физические координаты или вид изображения.
“Базовый классификатор облегчает диалог между тем, что робот делает в физическом пространстве, и тем, что LLM знает о подзадачах, а также ограничениями, на которые вы должны обращать внимание в рамках каждой подзадачи.
С этим методом, когда робот совершает ошибки, нам не нужно просить людей программировать или проводить дополнительные демонстрации того, как восстанавливаться после сбоев.
Теперь алгоритм может преобразовывать обучающие данные в надежное поведение робота, способного выполнять сложные задачи, несмотря на внешние факторы.
