Дополненная реальность (AR) и смешанная реальность (MR) используются в приложениях тактического реагирования, информирования и визуализации городских ландшафтов. Камеры видеонаблюдения фиксированного положения, мобильные камеры и другие датчики широко используются в системах контроля и управления для специальных операций. Видеоизображения с видеопрозрачного AR дисплея и оптических устройств слежения также могут передаваться в центры управления и контроля. Способность командования и центра управления иметь представление о том, что происходит на местах в режиме реального времени, очень важна для понимания ситуации. Решения должны приниматься быстро на основе большого объема информации, поступающей от нескольких датчиков изображения, расположенных в разных местах и под разными углами. Обычно видеопотоки отображаются на отдельных экранах. Каждое изображение представляет собой двумерную проекцию 3D мира с определенной позиции под определенным углом с определенным полем зрения. Пользователи должны понимать взаимосвязь между изображениями и воссоздать 3D-сцену в своем сознании. Этот процесс вызывает разочарование, особенно когда речь идет о незнакомой области, как это может быть в случае тактических операций.
В общем, AR - это опыт от первого лица. Это сочетание реального мира и данных, генерируемых компьютером, с точки зрения пользователя. Например, пользователь AR может носить прозрачные очки, благодаря которым он может видеть как реальный мир, так и созданные компьютером изображения, проецируемые на него. В некоторых приложениях AR, таких как применение АR с учетом боевой обстановки и других мобильных наружных приложений, полезно, чтобы центр управления контролировал ситуацию от третьего лица.
Основной целью является интеграция геометрической информации, информации о зарегистрированных изображениях и другой информации с привязками в единую смешанную среду, которая показывает геометрическую взаимосвязь между ними. Система может быть использована для мониторинга безопасности или командно-контрольным центром для руководства полевыми операциями в районе, где несколько операторов участвуют в совместных операциях, таких как операции группы спецназа, пограничное патрулирование, мониторинг безопасности и т.д. Она также может быть использована для сбора разведывательной информации на большой территории или глобального мониторинга. Для наружного применения КИП в качестве платформ могут использоваться географические информационные системы (ГИС) или виртуальные глобальные системы.
Несмотря на то, что проецирование изображений в режиме реального времени поверх 3D-моделей широко практикуется, и предпринимаются попытки расширения потоков видео для удаленного участия и удаленных видеоконференций, работы по интеграции геодезической информации в виртуальном мире для приложений не было найдено.
Google Earth был исследован для приложений, связанных с AR/MR, чтобы обеспечить "дистанционный просмотр" геопространственной информации и городского планирования. Файлы языка разметки скважин (KML), используемые в Google Earth, использовались для определения дополненного объекта и его размещения. Различные методы взаимодействия разработаны и оценены для навигации по Google Earth.
Есть некоторые исследования в области AR с точки зрения игроков от третьего лица. Чтобы избежать использования дорогих, нежных дисплеев, установленных на голове, была разработана игра в кости в AR от третьего лица. Пользовательские тесты показали, что у игроков нет проблем с адаптацией к экрану от третьего лица. Мнение третьего лица также использовалось в качестве интерактивного инструмента в мобильном приложении AR, позволяющего пользователям просматривать контент с точки зрения, которая обычно является трудной или невозможной для достижения.
Технология AR используется совместно с ГИС и системами виртуального земного шара. Система ГИС использовалась для работы с методами AR для визуализации ландшафта. Для визуализации подземной инфраструктуры была разработана портативная система AR. Система AR мобильного телефона пыталась получить контент от Google Earth.
Новизна подхода к этой теме заключается в наложении на Google Earth геодезической информации, такой как изображения в режиме реального времени, иконки и 3D-модели. Это позволяет зрителю смотреть на него не только с позиции камеры, но и с позиции от третьего лица. Когда информация из нескольких источников интегрирована, она служит полезным инструментом для центров управления и контроля.
Новый подход заключается в том, чтобы частично воссоздать и обновить живую 3D-сцену интересующей нас области путем интеграции информации с пространственной георегистрацией и регистрацией времени из различных источников на виртуальном земном шаре в режиме реального времени, который можно просматривать с любой точки зрения. К этой информации относятся видеоизображения (стационарные или мобильные камеры наблюдения, камеры управления движением и другие видеокамеры, доступные по сети), фотографии с высотных датчиков (спутниковых и беспилотных летательных аппаратов), отслеживаемых объектов (личные и транспортные агенты и объекты слежения), а также 3D-модели контролируемой территории.
В качестве платформ для этой цели используются ГИС или системы виртуального земного шара. Бесплатно доступное приложение для виртуального земного шара, Google Earth, очень подходит для такого приложения и было использовано в предварительном исследовании для демонстрации этой концепции.
Целью данного исследования является ознакомление с ситуацией в AR для использования в военных целях или в целях общественной безопасности, таких как осведомленность о ситуации на поле боя или мониторинг безопасности. Было разработано приложение AR, которое позволяет нескольким пользователям носить систему AR на рюкзаках или просматривать систему AR на автомобиле для выполнения различных совместных задач. В систему также включены камеры видеонаблюдения с фиксированным положением. В этих совместных миссиях клиент каждого пользователя отправляет свое местоположение другим пользователям, а также в командно-административный центр. В дополнение к положению пользователей, сетевые камеры в системе каждого пользователя могут передавать потоковое видео обратно в командно-управляющий центр.
Очень важно, чтобы центр командования и управления имел представление о том, что происходит на местах в режиме реального времени. Обычно это делается путем наложения маркеров положения на карту и отображения видео на отдельных экранах. В этом исследовании маркеры положения и видео интегрированы в одном представлении. Это может быть сделано в рамках приложения AR, но свободно доступные приложения виртуального мира, такие как Google Earth, также очень подходят для такой потребности, если живая информация AR может быть наложена на земной шар. Преимущество этой системы также заключается в том, что она позволяет получать спутниковые или аэрофотоснимки в любое время. Когда видеоизображения проецируются на виртуальный земной шар, операторы командования и управления получат детальное представление не только о геометрической структуре, но и о происходящем в реальном времени.
Был разработан прототип модуля информационной интеграции с системой дополненной реальности Battlefield (BARS). Данный модуль представляет собой HTTP-сервер, реализованный на языке C++, который отправляет иконки и изображения в Google Earth. Методы апробированы в типичной городской среде. Один пользователь перемещается по территории, в то время как другой объект представляет собой фиксированную сетевую камеру наблюдения с панорамным наклоном (AXIS 213 PTZ Network Camera). Это моделирует передний наблюдательный пост в военных целях или камеру наблюдения в системах безопасности. Центр управления и контроля расположен в удаленном месте, где запущено приложение MR и Google Earth. И серверный модуль, и Google Earth работают на машине под управлением Windows XP с двумя процессорами Intel Xeon 3,06 ГГц, 2 ГБ оперативной памяти и видеокартой NVIDIA Quadro4 900XGL.
Google Планета Земля поддерживает 3D-взаимодействие; пользователь может осуществлять навигацию в 3D. Это дает пользователю возможность переместить точку обзора в любое положение. Вид от третьего лица очень подходит для командных и управляющих приложений. Проецируемые изображения обновляются с интервалом в 0,5 секунды, чтобы зрители могли видеть происходящее в реальном времени.
Благодаря интеграции изображений, иконок и 3D-модели, командно-административному центру очень легко отслеживать происходящее в реальном времени. В каком-либо конкретном положении пользователь AR на земле и смоделированный передний наблюдательный пост на крыше не могут видеть друг друга. Этот метод может быть интегрирован в наши существующие приложения AR, чтобы каждый пользователь на объекте мог видеть изображения в реальном времени с видеокамер других пользователей или стационарных камер наблюдения. Это расширит возможности систем AR по просмотру рентгеновских снимков, добавив информацию не только с компьютерной графики, но и с изображений других пользователей в реальном времени в полевых условиях.