Теперь роботы способны перемещать предметы в незнакомой для них обстановке. С помощью новой языковой модели они могут распознать, какие объекты находятся перед ними, чтобы в буквальном смысле заниматься уборкой. За разработку проекта ответственна группа робототехников из Нью-Йорка.
Сначала инженеры сканировали окружение при помощи мобильного приложения Record3D — программное обеспечение использует LiDAR для съёмки 3D-видео. Затем система OK-Robot обрабатывала снимки с помощью открытой модели распознавания объектов.
После этого робот сумел идентифицировать объекты, находящиеся перед ним. К примеру, он понимает, что мягкие игрушки, мячики и другие мелкие предметы нужно перемещать в одну часть комнаты, а мыльные принадлежности, коробки, посуду и мелкую мебель — в другую.
Для оценки производительности OK-Robot запустили в десяти квартирах с разной планировкой. В 58,5% случаев ему удалось правильно переместить заданные объекты. А в помещениях, не загромождённых предметами, его эффективность увеличивалась до 82%.
Разработка пока не лишена минусов. К примеру, когда OK-Robot не может найти нужную вещь, то вместо поиска альтернативных решений он просто останавливается. Этим обуславливается эффективность робота в небольших и незахламлённых объектами помещениях. Несмотря на эти недочёты, потенциал технологии остаётся огромным.