Этот подход ограничен. В частности, эпизодическая память должна прежде всего ссылаться на семантику утверждений (которая, как ожидается, будет связана с событием), а не на конкретную продолжительность жизни.
Однако в некоторых случаях мы полагаемся на этот механизм: некоторые модули, такие как процессор естественного языка , используют кратковременный профиль памяти для обозначения концепций, которыми в данный момент манипулирует робот, как активных концепций : если человек спрашивает робота «Дайте мне все красные объекты» человек, действие Give и все обнаруженные красные объекты помечаются как активные концепции, вставляя в кратковременную память такие операторы, как ЧЕЛОВЕЧЕСКИЙ тип ActiveConcept (что в данном случае можно считать рабочим Память). Аналогично, недавно просмотренные или обновленные геометрические объекты помечаются как ActiveConcept. Мы используем эту функцию во время диалога неоднозначности чтобы получить доступ к концепциям, которые недавно упоминались. С другой стороны, наш уровень восприятия не использует этот механизм. Как описано в следующем разделе, модель окружения робота постоянно обновляется, и поэтому производные символические знания являются временными: они сохраняются только до тех пор, пока окружение остается в том же состоянии.
Для закрепления восприятий в символической модели требуются способности восприятия и их символическая интерпретация. Мы называем оценку физической ситуации когнитивным умением, которое проявляет робот, когда он оценивает природу и содержание своего окружения и следит за его развитием.
Существуют многочисленные подходы, такие как амодальные (в смысле независимой от модальности) прокси, обоснованные амодальные представления , семантические карты или планирование на основе затрат и классификация объектов .
Мы полагаемся на специальный модуль геометрических и временных рассуждений, который называется Spark ( SPAtial Reasoning & Knowledge , представленный в). Он действует как аргумент оценки ситуации, который генерирует символические знания из геометрии окружающей среды относительно отношений между объектами, роботами и людьми ( рис. 5 ), также принимая во внимание различные точки зрения, которые каждый агент имеет на окружающая обстановка. Spark встраивает амодальную (как определено Мавридисом и Роем в : различные модальности восприятия абстрагированы в смешанную пространственную модель) геометрической моделисреды, которая служит как основой для слияния модальностей восприятия, так и мостом с символическим слоем. Эта геометрическая модель построена из трехмерных CAD- моделей объектов, мебели и роботов, а также сфальсифицированных моделей всего тела человека ( рис. 5 (b)). Он обновляется во время выполнения с помощью датчиков робота (обычно это сочетание отслеживания 2D фидуциальных маркеров на основе зрения для идентификации и локализации объектов и отслеживание скелета людей на основе Kinect, опционально с помощью захвата движения для точного отслеживания головы движение, которое требуется для вычисления того, на что смотрит человек).
Рисунок 5 . Протестируйте настройку с использованием блоков видеокассет, которыми манипулируют, а другие объекты выступают в качестве опор или контейнеров. После идентификации и локализации набора объектов (с использованием фидуциальных маркеров) и определения положения и положения человека-партнера (с использованием отслеживания скелета) робот может вычислить, что только две ленты доступны для себя: черная и серая (в 3D модели) ленты. Третья лента и контейнерная коробка доступны только человеку.
Spark работает и постоянно обновляет базу знаний на частоте около 10 Гц. На каждом этапе он пересчитывает пространственные отношения и возможности для всей сцены и отправляет дельту (новые отношения и отношения, которые больше не сохраняются) в базу знаний. Этот подход может вызвать проблемы с масштабируемостью (однако мы не наблюдали проблем с производительностью в наших ограниченных сценариях, в которых обычно задействовано около 10 объектов и двух агентов), а также предотвратить рассуждения об истории ситуации, но упрощает управление динамикой знаний ( когда отменить устаревшие знания? Когда я обновлю их? ). Поскольку он эквивалентен сбросу домена-аргумента, он также сводит на нет проблемы, связанные с немонотонным рассуждением в базе знаний .