Группа китайских исследователей разработала инновационный метод обучения роботизированной руки навыкам, предполагающим человеческую ловкость. Основная идея заключалась в том, чтобы соединить визуальную информацию (видимое положение руки и объекта) с тактильной (касание поверхности). Это позволяет роботу отслеживать объект даже тогда, когда его пальцы закрывают камеру. Исследование опубликовано в престижном научном журнале Science Robotics. В основе эксперимента — недорогие аппаратные средства: обычная веб-камера и базовые сенсоры, реагирующие на контакт. Такой комплект оказался достаточным для того, чтобы искусственный интеллект мог анализировать сценарии и учиться на собственном опыте. На первом этапе система была обучена на большом наборе видео, где люди выполняли разные бытовые действия руками, а затем прошла фазу практики в виртуальной симуляции. Испытания включали восемь разных задач, в том числе поворот крышки бутылки, перемещение рычага и более сложные действия: заточка карандаш