В наши дни умные дома значительно улучшили качество жизни человека. Например, интеллектуальные сервисные роботы значительно сократили нашу повсдневную бытовую нагрузку, выполняя некоторые задачи, такие как уборка пылесосом.
В последние годы в связи с ростом численности пожилого населения возникла необходимость в использовании большего числа служебных роботов для ухода за пожилыми людьми.
Пожилые люди могут забыть о том, что они сделали из-за ухудшения памяти. Каждый раз, когда они хотят найти конкретный предмет, для них может быть проблемой вспомнить, куда он был помещен после его последнего использования.
Следовательно, для поиска предметов в домашних условиях крайне желательно использовать автономную роботизированную поисковую систему (ARRS).
Традиционно в подходах к определению местонахождения предметов, которые пользователь положил "не на место" используются беспроводные метки для отслеживания местоположения предметов. Однако срок службы меток ограничен из-за использования батареек.
Альтернативным подходом к поиску недостающих предметов (MIF) является визуальный поиск.
Роботы перемещаются по окружению в поисках неуместного предмета, в то время как камеры, установленные на роботах, получают изображения сцен во время движения. На роботе может быть размещён детектор объектов, способный обнаружить на снимке сцены неверно расположенный предмет. Для этого крайне важно выработать правильную траекторию движения. Лучше, если робот знает, где искать ненадлежащий предмет и как добраться до него, что можно расценивать как проблему планирования пути робота.
Несколько лет назад для удовлетворения целей поиска предмета, размещенного "не на месте" была реализована схема движения робота вперед-назад.
Однако простое движение вперед-назад не является ни точным, ни эффективным. Полный и исчерпывающий поиск в каждом помещении отнимал у робота много времени. Такой результат вынудил разработчиков найти более эффективное решение задачи, в основе которого лежит представление роботу некоторой дополнительной информации для управления поисковым движением робота, которая может быть обеспечена средой "умного дома".
Из нашего повседневного опыта мы знаем, что местоположение каждого предмета повседневного пользования и движения людей тесно взаимосвязаны, потому что местоположение предмета обычно меняется в результате использования человеком.
Представьте себе сценарий, при котором пожилой человек потерял свой ключ после входа в квартиру. При условии, что ключ у человека был при открытии двери, необходимо убедиться, что ключ, находится в месте, близком к тому месту, где пользователь недавно побывал. Таким образом, можно предположить, что пользователь с одинаковой вероятностью оставляет ключи в одном и том же месте после прогулки.
На основании этого в 2019 году разработчиками было предложено новое MIF-решение для обеспечения функциоональности домашнего робота, основанное на исторической информации о человеческом движении, полученной в среде "умного дома".
В данной разработке было использовано 3 базовые методики:
- Метод слияния данных между износостойким датчиком и несколькими распределенными датчиками обнаружения движения для оценки исторической траектории движения резидента. Траекторию движения человека можно рассчитать не с помощью робота, а с помощью среды "умного дома".
- Метод роботизированного планирования пути, в котором предпочтительный путь поиска робота может быть сгенерирован на основе знаний об исторических данных о траектории движения человека.
- Подход, который заключается в том, что "умные дома" могут предоставить крайне необходимую контекстуальную информацию для роботов домашнего обслуживания, чтобы они лучше служили людям.
Ожидается, что роботизированная MIF-система воспользуется преимуществами услуг, предоставляемых в среде "умного дома". Отслеживание местонахождения человека является одной из таких услуг.
Для реализации предложенного подхода использования исторических траекторий движения человека из среды "умного дома" для поддержки MIF, роботизированная MIF-система состоит из четырех частей:
- мобильный служебный робот, оснащенный различной аппаратурой наблюдения для целей визуального поиска;
- сеть человеческой локализации, которая локализует человека в помещении для получения данных о траектории движения человека;
- интерфейс пользователя, позволяющий легко взаимодействовать с роботом;
- планировщик траекторий движения робота, использующий данные истории человека для создания предпочтительного пути поиска, сводящего к минимуму время поиска.
Эти четыре части подключены к локальной вычислительной сети для обеспечения быстрой связи между ними.
Робот состоит из базы мобильного робота, ноутбука и нескольких периферийных датчиков.
Основой робота является платформа TortleBot, которая представляет собой безопасное, надежное, прочное и многофункциональное мобильное шасси.
Вычислительным движком робота является ноутбук, оснащенный двухъядерным процессором, на котором работает операционная система Robot Operating System (ROS, 2018).
Для восприятия объектов в окружающей среде робот оснащён различными датчиками.
Камера с фиксированным фокусом RGB-D делает снимки пространства, необходимые для обнаружения объектов.
Лазерный дальномер (LRF), установленный в верхней части мобильного основания, измеряет препятствия для целей картирования и локализации.
Система работает следующим образом:
После того, как пользователь входит в помещение, локализационная сеть человека и носимый датчик начинают взаимодействовать и оценивать траекторию движения пользователя.
Когда пользователь запрашивает определенный неправильно установленный элемент, пользовательский интерфейс преобразует голосовую команду пользователя в текст, который распознается как команда запуска поиска для инициирования процедуры MIF. Траекторные данные по элементам выбираются из записанных исторических траекторий и затем передаются на интерфейс робота, где эти данные используются для создания маршрута поиска планировщиком путей.
Изображения пространства в режиме реального времени, собранные роботом, передаются в детектор объектов для определения наличия на них предметов, которые не были размещены на любом из изображений. Местоположение обнаруженного элемента определяется, и голосовое уведомление генерируются через интерфейс пользователя, как только найден искомый элемент.
Всё это делает разработанную систему перспективной и весьма многообещающей в направлении решения задач бытового поиска.