Учёные Массачусетского технологического института (MIT) представили систему долговременной памяти для роботов DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment), которая позволяет запоминать объекты и их расположение в больших и сложных пространствах. Разработка должна помочь роботам выполнять задачи, требующие памяти о событиях и предметах, с которыми они сталкивались ранее.
Современные роботы хорошо ориентируются в окружающей среде, но плохо связывают конкретные объекты с местом и временем. Если человек способен вспомнить, где оставил ключи вечером или в каком ящике лежит нужная деталь, то для робота такая задача остаётся сложной.
Система DAAAM объединяет уже существующие технологии компьютерного зрения и трёхмерного картирования. Во время движения робот не только строит карту пространства, но и добавляет к объектам подробные текстовые описания. Благодаря этому машина может запомнить, например, красный велосипед со спущенным колесом рядом с определённым зданием или конкретный инструмент в рабочей зоне.
В дальнейшем пользователь сможет задавать вопросы вроде «Где я оставил кошелёк?» или «Принеси деталь, которую мы начали собирать вчера вечером», а робот будет искать нужный объект по своей памяти, а не только по текущему изображению с камер.
По словам разработчиков, DAAAM работает достаточно быстро для использования на мобильных роботах в реальном времени. В испытаниях система показала более высокую точность ответов по сравнению с существующими методами, хотя результат зависел от типа запроса.
Работа была представлена на конференции по компьютерному зрению и распознаванию образов Conference on Computer Vision and Pattern Recognition (CVPR).
Сейчас авторы продолжают совершенствовать систему. В частности, они работают над механизмами оценки уверенности в воспоминаниях робота и над способностью запоминать не только объекты, но и важные события. В перспективе это может сделать взаимодействие человека и робота более естественным и приблизить машины к выполнению задач, требующих настоящей долговременной памяти.