Введение
VR-театры [1, 2] позволяют нескольким пользователям исследовать виртуальный мир и участвовать в коллективных развлекательных мероприятиях. Исходно прототип VR-театра был реализован Накацу и др. [3]. Однако количество участников в прототипе было ограничено. Ан и др. создали VR-театр, который объединил преимущества VR и IMAX-театров [4]. В этой системе пользователи были закреплены на сиденьях и использовали клавиатуры для взаимодействия с системой. Ю и др. представили своеобразную систему VR-стрелкового театра на основе новой технологии двухвидового дисплея и взаимодействия с аудиторией [5]. Поскольку традиционные VR-театры обычно предоставляют пользователям одни и те же интерактивные устройства и задания, это может привести к однообразности взаимодействия. Хотя пользователи могут совместно выполнять интерактивные задачи, они участвуют во взаимодействии по одной и той же схеме и обычно руководствуются сценарием театра без свободы действий. В такой ситуации отсутствует разделение труда и сотрудничество между пользователями, что ограничивает пользовательский опыт.
В данной статье мы представляем иммерсивную систему VR-театра, оснащенную несколькими интерактивными устройствами, включая платформу с шестью степенями свободы [6], сиденье с тремя степенями свободы [7], симуляционное оружие [8] и смартфон. Для достижения сотрудничества пользователей их разделяют на две группы с разными задачами взаимодействия. В приложении одна группа использует платформу с шестью степенями свободы для управления обзором, в то время как другая взаимодействует с целевыми объектами, используя симуляционное оружие и смартфоны. Во время перемещения пользователи получают реалистичный опыт полета благодаря симулированному движению, создаваемому платформой с шестью степенями свободы или сиденьем с тремя степенями свободы. В нашей системе пользователи могут активно участвовать в задачах по своему усмотрению, а не полностью подчиняться системе.
2. Архитектура системы
Мы предлагаем систему совместного VR-театра, поддерживающую пользователей взаимодействовать с виртуальной средой с помощью различных интерактивных устройств. Вдохновленная [9], архитектура нашей системы разработана с учетом общности и легкой расширяемости и состоит из трех основных компонентов: интерактивных устройств, основного модуля и системного дисплея. Во время работы нашей системы интерактивные устройства непрерывно отправляют пользовательские входные данные на основной модуль по сети. Затем основной модуль генерирует соответствующие выходные данные для интерактивных устройств и системного дисплея, чтобы предоставить тактильную обратную связь пользователю и реалистичное визуальное отображение. Общий обзор предлагаемой архитектуры показан на рисунке 1.
2.1. Интерактивные устройства
Интерактивные устройства не только получают входные данные от пользователей, но и предоставляют тактильную обратную связь. Наша система позволяет пользователям контролировать виртуальную точку обзора и взаимодействовать с целевыми объектами в виртуальном пространстве. Поскольку взаимодействия в нашей системе характеризуются совместным расположением и одновременностью сотрудничества нескольких пользователей, в нашей системе используются четыре различных категории интерактивных устройств, как показано на рисунке 2: платформа с шестью степенями свободы, сиденье с тремя степенями свободы, симуляционное оружие и смартфон.
В соответствии с возможностями интерактивных устройств, они могут быть классифицированы на две категории: устройства ввода и устройства вывода. Для устройств ввода платформа с шестью степенями свободы получает входные данные о перемещении пользователя, а симуляционное оружие и смартфон собирают информацию о стрельбе от других пользователей. Все входные данные отправляются в основной модуль. После обработки данных основным модулем устройства вывода, включая платформу с шестью степенями свободы и сиденье с тремя степенями свободы, получают выходные данные для изменения механических структур и предоставления тактильной обратной связи пользователю.
2.2. Основной модуль
Основной модуль работает как программный контроллер для управления интерактивными устройствами и системным дисплеем. В общем, основной модуль обрабатывает входные данные и генерирует выходные данные, включая обратную связь пользователю и результаты отображения. Аппаратная часть Core Module состоит из высокопроизводительной рабочей станции и серии клиентских компьютеров-сервисов. Программная часть Core Module реализована в виде двух типов компонентов, которые взаимодействуют между собой: Interaction Manager и System Engine.
System Engine содержит логику нашей системы. Он получает нормализованные входные данные, обновляет визуализацию и взаимодействует с Interaction Manager. Для визуализации System Engine использует игровой движок Unity для создания и отображения виртуальной сцены с реалистичной графикой.
Основная функция Interaction Manager состоит в реализации обработки ввода/вывода для интерактивных устройств. Он представляет собой набор сервисов взаимодействия, каждый из которых отвечает за управление одним интерактивным устройством. Interaction Manager непрерывно получает данные от устройств ввода, анализирует и обрабатывает эти данные, и отправляет результаты в System Engine по сети. Когда System Engine реагирует на Interaction Manager, последний немедленно передает данные устройствам вывода.
Для достижения слабой связности между логикой системы и интерактивными устройствами, System Engine использует только нормализованные данные, предоставленные Interaction Manager. В Interaction Manager каждый сервис имеет схожий процесс обработки данных. Сначала сервис декомпрессирует полученные данные и определяет тип интерактивного устройства в данных. Затем данные проходят фильтрацию и удаление шумов с помощью функций фильтра Калмана. Наконец, сервис нормализует обработанные данные в соответствии с типом интерактивного устройства.
2.3. Системный дисплей
В нашей системе используется большой цилиндрический экран (6,75 м × 2,8 м), обеспечивающий погружающий опыт для зрителей активного стерео. Для проецирования на экран применяются три стерео проектора с общим высоким разрешением 2400 × 600 пикселей. Для создания бесшовного и панорамного вида изображения трех проекторов располагают рядом друг с другом с наложением изображения и смешиванием границ.
3. Реализация коллаборативного взаимодействия
Для достижения коллаборативного взаимодействия между несколькими пользователями мы представляем новый дизайн в нашей экспериментальной среде. В нашем дизайне мы разработали сценарий полета на основе шутеров от первого лица, как показано на рисунке 3.
3.1. Основные задачи взаимодействия
В сценарии пользователи могут исследовать виртуальную среду и погрузиться в полетный опыт. Во время исследования пользователей просят стрелять по целям, появляющимся в поле зрения. Таким образом, можно выделить три основные задачи взаимодействия: задачу перемещения, задачу стрельбы и задачу полета.
Задача перемещения. Цель задачи перемещения - позволить пользователям свободно перемещаться по виртуальной среде. Из-за большого количества пользователей сложно предоставить каждому пользователю отдельный вид на одном проекционном экране. Поэтому мы позволяем всем пользователям разделять общую точку обзора.
В нашей системе для управления точкой обзора используется платформа с шестью степенями свободы. С помощью рулевого колеса и ручки газа платформы с шестью степенями свободы пользователи могут свободно настраивать направление и скорость точки обзора.
Задача стрельбы. Задача стрельбы заключается в стрельбе по виртуальной цели и выполняется с помощью симуляционных оружий и смартфонов.
В симуляции стрельбы наша система использует тип симуляционного оружия, которое получает направление выстрела с помощью MEMS-сенсора. Кроме того, смартфон также используется в качестве интерактивного устройства. Для его адаптации к нашей системе мы разработали специализированное приложение, которое вычисляет направления стрельбы с помощью ориентационного сенсора. С помощью этого приложения пользователи могут трясти и касаться смартфона, чтобы стрелять по виртуальным мишеням. На рис. 3 показано использование симуляционного оружия и смартфона в системе, а также разработанное нами приложение. Симуляционное оружие использует общую стратегию взаимодействия со смартфонами в задаче стрельбы. Общий план стратегии выглядит следующим образом:
Шаг 1: Каждому устройству привязывается уникальный 2D прицел, который отображается на экране в качестве элемента пользовательского интерфейса. Затем устройства инициализируются для записи своих исходных положений, включая вращение вокруг оси X, Y, Z.
Шаг 2: Во время работы система непрерывно получает текущие положения устройств и сравнивает их с исходными положениями. Сравнение ограничено углами Эйлера вокруг осей X и Y. Результаты сравнения затем отображаются в горизонтальные и вертикальные смещения для управления соответствующими прицелами.
Шаг 3: По получении запроса на выстрел наша система создает виртуальную пулю в положении соответствующего прицела. Для симуляционного оружия запрос на выстрел генерируется нажатием спускового крючка. Что касается смартфона, события, генерируемые прикосновениями к экрану, рассматриваются как запросы на выстрел.
Симуляция полета. Симуляция полета предоставляет пользователям ощущение движения во время перемещения. В этой задаче мы используем платформу с 6 степенями свободы и кресло с 3 степенями свободы для симуляции полетных действий. Все эти устройства связаны с точками обзора пользователей для изменения своих механических структур с помощью трансляции и вращения точки обзора.
3.2. Многопользовательское сотрудничество
Мы организовали совместную задачу, состоящую из базовых интерактивных задач и разумно распределяемых различных базовых задач между пользователями для достижения совместной работы пользователей. Пользователи разделены на две группы с соответствующими задачами: G1 и G2. Группы классифицируются, как показано в Таблице 1, в соответствии с различиями в интерактивных задачах.
Интерактивные задачи G1 включают Задачу стрельбы и Симуляцию полета. В этой группе каждому пользователю предоставляется симуляционное оружие или смартфон, и он занимает место в кресле с 3 степенями свободы. Пользователи располагаются в определенной области и смотрят на проекционный экран. Когда на экране появляются цели, пользователи используют устройства для стрельбы по целям, управляя соответствующим прицелом. С движением точки обзора пользователей все кресла с 3 степенями свободы регулярно симулируют действия в соответствии с скоростью и направлением. Задачи G2 включают Задачу путешествия и Симуляцию полета. Поскольку многопользовательское управление может вызывать путаницу, в группе G2 есть только один пользователь. В G2 используется платформа с 6 степенями свободы, которая помогает пользователю выполнить свои задачи.
4. Оценка пользователей
Мы оцениваем удобство использования всех интерактивных устройств, примененных в системе. В процессе оценки мы используем специально разработанный сценарий симуляции полета в качестве тестовой сцены. В результате было получено несколько выводов. Относительно платформы с 6 степенями свободы большинство пользователей заявляют, что им легко управлять этим устройством и они получают предпочтительный опыт управления. Что касается симуляционного оружия, все участники отмечают, что устройство легко и точно стреляет по цели и предоставляет предпочтительный опыт стрельбы. Что касается смартфона, результаты показывают, что около половины пользователей удовлетворены использованием смартфонов для выполнения задачи стрельбы. Кроме того, мы также проверяем возможность сотрудничества в нашей системе. Пользователям требуется взаимодействовать одновременно в нашей системе. Результат показывает, что некоторые пользователи чувствуют смущение при взаимодействии в задаче стрельбы. Смущение возникает из-за перекрытия прицелов на экране. Согласно результатам, наша система имеет потенциал увеличить возможности взаимодействия и сотрудничества. При разумном сочетании интерактивных устройств и разделении задач пользователи могут эффективно сотрудничать друг с другом для выполнения поставленной задачи.
5. Заключение
В данной статье мы предлагаем иммерсивную систему виртуального театра, которая поддерживает несколько интерактивных устройств, включая платформу с 6 степенями свободы, кресло с 3 степенями свободы, симуляционное оружие и смартфон. Система позволяет пользователям играть в двух группах с различными интерактивными задачами и сотрудничать друг с другом. Таким образом, пользователи могут свободно исследовать иммерсивную виртуальную среду и совместно взаимодействовать с виртуальными мишенями. В процессе оценки мы исследуем преимущества сочетания разных категорий интерактивных устройств для повышения возможностей сотрудничества в предложенной системе. Результаты показывают, что правильное разделение задач имеет потенциал для улучшения опыта пользователя.
В будущем мы планируем улучшить масштабируемость системы. Поскольку технология многовидовых дисплеев [5] постепенно используется в некоторых виртуальных средах, мы надеемся применить эту технику для улучшения контроля точки обзора в нашей системе.
Текст является переводом одноименной статьи под авторством Huiyu Lia, Shisheng Zhoua, Fan Zhanga , Chenglei Yang
Источники
[1] Wu Q, Boulanger P, Kazakevich M, и др. (2010) «Система производительности в реальном времени для виртуального театра», Доклады
2010 года ACM о медиа Surreal и виртуальном клонировании: 3–8.
[2] Feng M, Du H. (2015) «Интерактивная система виртуального театра», Международная конференция IEEE/ACIS по компьютерным и
информационным наукам: 585–588.
[3] Nakatsu R, Tosa N, Ochi T. (1998) «Создание интерактивной системы фильма для участия нескольких лиц», Международная конференция
IEEE по мультимедиа и вычислительным системам: 228.
[4] Sang C. A, Kim I. J, Kim H. G, и др. (2001) «Взаимодействие с аудиторией для театра виртуальной реальности и его реализация», ACM
Симпозиум по программному обеспечению и технологии виртуальной реальности: 41–45.
[5] Yu H. D, Li H. Y, Sun W. S, и др. (2014) «Двухвидовая система VR-театра стрельбы», Международная конференция ACM SIGGRAPH: 223–226.
[6] Nanua P, Waldron K. J, Murthy V. (1990) «Прямое кинематическое решение платформы Стюарта», IEEE Transactions on Robotics and Automation 6
(4): 438–444.
[7] Huang Z, Tao W. S, Fang Y. F. (1996) «Исследование кинематических характеристик платформы с 3 степенями свободы с параллельным приводом», Mechanism
and Machine Theory 31 (8): 999–1007.
[8] Liu C. (2013) «Проектирование огнестрельного оружия виртуальной стрельбы на основе датчика MEMS», Компьютерное моделирование. 30 (9): 415–418. (на китайском)
[9] Singhal S, Zyda M. (1999) «Сетевые виртуальные среды: проектирование и реализация», Acm Press Siggraph: 150–154.
