Компания ByteDance, владелец TikTok, продемонстрировала новое направление в развитии искусственного интеллекта (ИИ) — систему GR-3, предназначенную для управления роботами, выполняющими домашние задачи. Разработка позволяет машинам ориентироваться в пространстве, распознавать предметы и выполнять команды на естественном языке.
GR-3 представляет собой крупномасштабную модель, объединяющую зрение, язык и действия. Она позволяет роботам действовать в незнакомых условиях и с ранее неизвестными предметами. Система может интерпретировать не только названия объектов, но и абстрактные параметры, такие как размер или расположение, например, команды вроде «большая тарелка» или «предмет слева».
Одним из примеров применения GR-3 стал экспериментальный мобильный робот ByteMini, оснащенный двумя манипуляторами. Согласно видео на сайте компании, этот робот способен вставить в рубашку вешалку и повесить её на рейку. В отчёте разработчиков отмечено, что система успешно справляется даже с короткими рукавами, хотя в обучающих данных использовалась только одежда с длинными рукавами.
Робот также способен находить и перемещать конкретные предметы среди нескольких, следуя голосовой инструкции. Это может быть полезно для автоматизации рутинных задач в быту, таких как уборка стола или сортировка вещей.