Инженеры совершили значительный прорыв в области робототехники, разработав систему обучения машин. С помощью Tool-as-Interface роботы осваивают работу с инструментами по видео с людьми.
Для создания обучающего материала достаточно всего двух видов с обычных камер. По словам авторов разработки, принцип работы системы основан на технологии компьютерного зрения.
Сначала анализируется два кадра видео и создаётся детальная трёхмерная модель происходящего. Затем с помощью специального метода рендеринга под названием 3D Gaussian Splatting система генерирует множество дополнительных точек обзора, что позволяет роботу «увидеть» сцену под разными углами.
По сравнению с традиционными методами телеуправления система показала на 71% более высокие показатели выполнения задач и на 77% быстрее собирала необходимые обучающие данные. Теперь машины смогут учиться с помощью миллиардов видеороликов, доступных на YouTube и других платформах.