Шлемы и технологии виртуальной реальности
Самым распространённым средством погружения в виртуальную реальность, являются специализированные шлемы/очки, которые одеваются на голову человека. Принцип работы такого шлема достаточно простой. На расположенный перед глазами дисплей выводится видео в формате 3D. Прикрепленные к корпусу гироскоп и акселерометр отслеживают повороты головы и передают данные в вычислительную систему, которая изменяет картинку на дисплее в зависимости от показаний датчиков. В итоге, пользователь имеет возможность «оглядеться» внутри виртуальной реальности и чувствовать себя в ней, как в настоящем мире. Для того, чтобы изображение имело высокую четкость и всегда попадало в фокус, используются специальные пластиковые линзы[1].
Устройства шлема виртуальной реальности. Источник: thatsmart.ru
Для более реалистичного погружения в мир виртуальной реальности, помимо датчиков, отслеживающих положение головы, в устройствах VR могут применяться различные трекинговые системы, такие как:
Системы айтрекинга. Предназначены для отслеживания движения зрачков глаз и позволяют определить, куда человек смотрит в каждый момент времени. На данный момент подобные системы не имеют широкого распространения на рынке потребительских услуг и используются в основном для различных медицинских и научных исследований.
Моушн трекинг. Отслеживают любые телодвижения человека и повторяют их в виртуальном мире. Отслеживание может осуществляться с помощью специальных датчиков или видеокамеры, направленной на человека.
3D-контроллеры. Чтобы максимально комфортно чувствовать себя при нахождении в виртуальной реальности, традиционные 2D-контроллеры (мышки, джойстики и др.) заменяются манипуляторами, позволяющими работать в трехмерном пространстве – 3D-контроллерами.
Устройства с обратной связью. Подобные устройства стали разрабатываться еще в 90-х годах и предназначены для того, чтобы пользователь мог в буквальном смысле ощутить на себе все происходящее в виртуальном мире. В качестве таких устройств могут использоваться вибрирующие джойстики, вращающиеся кресла и т.д.
Источником 3D-картинки для устройства виртуальной реальности долгое время служил компьютер или пользовательская консоль (например, PlayStation VR). Однако пару лет назад на рынок вышли «бюджетные» устройства VR, в которых в качестве источника 3D-картинки стал использоваться смартфон. Более упрощенная конструкция позволила значительно уменьшить стоимость устройств виртуальной реальности, поскольку отпала необходимость оснащать очки перечисленными ранее техническими средствами, ведь:
- Современные смартфоны являются высокопроизводительными и способны самостоятельно обрабатывать даже самый «тяжелый» 3D-контент.
- Практически на каждом смартфоне имеются датчики определения положения устройства в пространстве.
Очки виртуальной реальности марки VR BOX 2, с прикрепленным смартфоном
2018: LG Display представила технологию, избавляющую от тошноты в VR-среде
В мае 2018 года LG Display анонсировала технологию, которая, как утверждают в компании, позволяет устранить головокружение и тошноту при погружении в виртуальную реальность (VR). Разработка создана при участии Университета Согён (Sogang University).
Технология, о которой идет речь, с помощью алгоритмов искусственного интеллекта в режиме реального преобразует видео с низким разрешением в контент высокой разрешающей способности. В пять раз снижается время задержки между движениями пользователя и тем, что он видит в шлеме виртуальной реальности.
LG Display представила технологию, избавляющую от тошноты при погружении в виртуальную реальность
Задержка и размытость изображений нередко приводят к головокружению и тошноте. Технология LG Display устраняет эту проблему, а также снижает энергопотребление. Качественный и комфортный просмотр VR-контента обеспечивается без использования дополнительных графических процессоров и устройств, поскольку глубокое обучение позволяет задействовать только внутреннюю память шлемов.
Одна из причин возникновения тошноты при погружении в виртуальную реальность заключается в «обмане» мозга. Положение и движение человека в пространстве фиксируется вестибулярным аппаратом, находящимся во внутреннем ухе. Именно этот орган передает мозгу информацию о том, что происходит с телом в данный момент. Вкупе с информацией, получаемой другими органами чувств (в частности, глазами), мозг определяет, что нужно делать и чувствовать остальному организму.
В виртуальной реальности показатели вестибулярного аппарата и органов зрения разнятся, поскольку человек видит движение, но тело остается в покое. Мозг воспринимает визуальную информацию как галлюцинацию, которую можно испытать при отравлении, а потому вызывает тошноту, чтобы очистить организм. Это явление называется кинетоз.[2]
2017
Опубликованы технологические рекомендации для VR-отрасли
Технологические рекомендации для VR-отрасли были впервые представлены в рамках форума VR Industry Forum (VRIF)[3] в США. Документ охватил вопросы производства, сжатия контента, хранения и дистрибуции информации, а также безопасности пользователей[4].
В частности, рекомендации включают в себя описание контента в формате 360 градусов, его особенностей и преимуществ. Авторы документа уточняют различие между возможностями зрения человека и характеристиками продуктов VR на рынке. Эти различия могут привести к возникновению неприятных симптомов у пользователей, что, по мнению авторов, должны учитывать разработчики VR продуктов.
"Контент следует снимать или создавать таким образом, чтобы уменьшить размытость изображения или перемещение движения до комфортных уровней, поскольку мерцающие изображения могут привести к быстрой усталости или дезориентации, - говорится в документе. - Для уменьшения дискомфорта рекомендуется использовать изображения с более высокой частотой кадров и подготавливать контент с учетом возможностей дисплея".
Авторы рекомендаций рассмотрели форматы аудио и видео при создании VR. Например, для полноразмерного видео в формате 360 градусов они рекомендуют создавать стереоскопические изображения с глубиной 10 бит и размером 4096 х 2048 для каждого глаза.
Стоит отметить, что документ представлен в виде черновика и содержит пометки, требующие дальнейшего обсуждения участников рынка. Президент VRIF Роб Кенен (Rob Koenen) сказал, что разработанные принципы служат двум основным целям: во-первых, поддерживать функциональную совместимость в экосистеме виртуальной реальности, а во-вторых, предоставлять пользователям VR-продукт высшего уровня.
Виртуальная и дополненная реальности станут частью физического мира
Активное применение виртуальной (VR) и дополненной (AR) реальностей в самых разных областях формирует «объединённую реальность» (merged reality), в которой стираются границы между дополненным, виртуальным и физическим мирами. К такому выводу в начале июля 2017 года пришли эксперты исследовательского подразделения Ericsson ConsumerLab, изучив влияние технологий AR и VR на привычки и предпочтения пользователей.[5]
7 из 10 пользователей ожидают, что технологии VR/AR кардинально изменят 6 областей: медиа, образование, работу, социальное общение, путешествие и розничную торговлю. Пользователи также уверены, что виртуальное пространство вытеснит учебные классы и офисы, а уже менее чем через год виртуальные экраны будут приходить на смену телевидению и театрам. По оценке 25% опрошенных, технологии AR будут использоваться для получения информации о путешествиях и в картах уже в следующем году. 50% первых пользователей полагает, что VR/AR будут интегрированы в одном устройстве, объединяющем очки для AR и встроенные функции VR.
По мнению пользователей, распространению виртуальной реальности препятствуют недостаточная мобильность, громоздкость устройств и неравномерность покрытия. Кроме того, многие отмечают, что немаловажной проблемой являются укачивание, возникающее при использовании некоторых VR-приложений.
Главную роль в развитии «объединённой реальности», по оценкам опрошенных, будет играть технология 5G. 36% респондентов считают, что 5G может обеспечить мобильность устройств VR/AR благодаря стабильному подключению к сети и высокой скорости передачи данных. Треть полагает, что 5G увеличит продолжительность работы аккумуляторов, а четверть пользователей ожидает, что распространение технологий 5G решит проблему укачивания.
«Развитие виртуальной, а в последствие и объединённой реальности, когда границы между цифровым и физическим мирами будут стёрты, приведёт не только к тектоническим сдвигам во многих отраслях, но и к созданию принципиально новых направлений. Основная задача, которую предстоит решить — это передача больших массивов данных и поддержка высокой плотности одновременно работающих устройств: десятки тысяч на квадратный километр. Решение этой задачи — в технологии пятого поколения. Такие возможности 5G, как высокая скорость передачи данных, минимальное время отклика и поддержка критически важных приложений, необходимы для того, чтобы AR и VR могли полностью реализовать свой потенциал», — уверен Георгий Муратов, архитектор решений, ведущий эксперт по 5G Ericsson в России.
В исследовании приняли участие пользователи из Северной Америки и Европы, Японии и Южной Кореи. Также было проведено качественное VR-тестирование с участием 20 сотрудников Ericsson. При подготовке исследования также использовались мнения 9,2 тыс. пользователей из Франции, Германии, Италии, Японии, Южной Кореи, Испании, Великобритании, США в возрасте от 15 до 69 лет, осведомленных о концепции VR.
2015: Старт продаж первого потребительского VR-шлема Oculus Rift CV1
6 января 2015 года, начались предпродажи первого серийного потребительского шлема виртуальной реальности Oculus Rift CV1. Сказать, что релиз был ожидаемым — значит не сказать ничего. Вся первая партия шлемов была раскуплена за 14 минут.
Это стало символическим началом бума VR-технологий и взрывного роста инвестиций в эту отрасль. Именно с 2015 года технологии виртуальной реальности стали поистине новым технологическим Клондайком.
2012: Стартап Oculus собрал $250 тыс за 4 часа на выпуск VR-шлема
Настоящий бум в сфере VR начался 1 августа 2012 года, когда малоизвестный в то время стартап Oculus запустил на платформе Kickstarter кампанию по сбору средств на выпуск шлема виртуальной реальности. Разработчики обещали пользователям «эффект полного погружения» за счет применения дисплеев с разрешением 640 на 800 пикселей для каждого глаза. Необходимые 250 тысяч долларов были собраны уже за первые четыре часа.
2010: Стереоскопический 3D-режим для Google street view
Предпринимавшиеся в 1990-х попытки вывести VR «в жизнь» так к ничему и не привели, и она на долгие годы исчезла из поля зрения общественности. Некоторый резонанс вызвал запущенный в 2010 г. стереоскопический 3D-режим для Google street view — умеренно интересная итерация технологии VR. Не исключено, что внедрение этого режима предназначалось для усиления давления Google Maps на конкурентов. Так или иначе, поисковому гиганту удалось преуспеть. Успех применения 3D-режима в Google Street View — заметное исключение, большинство других VR-проектов не повторили и толики успеха последнего. Данные ими, но невыполненные обещания привели к тому, что потребители и разработчики потеряли интерес к технологиям VR и AR.
2000: Преследование чудовищ на реальных улицах в игре Quake
В 2000 году благодаря дополнению с технологиями AR в игре Quake появилась возможность преследовать чудовищ по настоящим улицам. Правда, играть можно было лишь вооружившись виртуальным шлемом с датчиками и камерами, что не способствовало популярности игры, но стало предпосылкой для появления известной ныне Pokemon Go.
1980-1990-е: Появление терминов виртуальная и дополненная реальность
В 1980-е годы компания VPL Research разработала более современное оборудование для виртуальной реальности — очки EyePhone и перчатку DataGlove. Компанию создал Джарон Ланье — талантливый изобретатель, поступивший в университет в 13 лет. Именно он придумал термин «виртуальная реальность».
Дополненная реальность шла рука об руку с виртуальной вплоть до 1990 года, когда учёный Том Коделл впервые предложил термин «дополненная реальность». В 1992 году Льюис Розенберг разработал одну из самых ранних функционирующих систем дополненной реальности для ВВС США. Экзоскелет Розенберга позволял военным виртуально управлять машинами, находясь в удалённом центре управления. А в 1994 году Жюли Мартин создала первую дополненную реальность в театре под названием «Танцы в киберпространстве» – постановку, в которой акробаты танцевали в виртуальном пространстве.
В 1990-х были и другие интересные открытия, например, австралийка Джули Мартин соединила виртуальную реальность с телевидением. Тогда же начались разработки игровых платформ с использованием технологий виртуальной реальности. В 1993 году компания Sega разработала консоль Genesis.
На демонстрациях и предварительных показах, однако, всё и закончилось. Игры с Sega VR сопровождали головные боли и тошнота и устройство никогда не вышло в продажу. Высокая стоимость девайсов, скудное техническое оснащение и побочные эффекты вынудили людей на время забыть о технологиях VR и АR.
1960е: Первые VR-шлемы для военных целей и виртуальный симулятор
«Сенсорама» Хейлига
Принято считать, что развитие виртуальной реальности началось в 1950-е годы. В 1961 году компания Philco Corporation разработала первые шлемы виртуальной реальности Headsight для военных целей, и это стало первым применением технологии в реальной жизни. Но опираясь на сегодняшнюю классификацию, систему, скорее, отнесли бы к AR-технологиям[6].
Отцом виртуальной реальности по праву считается Мортон Хейлиг. В 1962 он запатентовал первый в мире виртуальный стимулятор под названием «Сенсорама». Аппарат представлял собой громоздкое устройство, внешне напоминающее игровые автоматы 80-х, и позволял зрителю испытать опыт погружения в виртуальную реальность, например, прокатиться на мотоцикле по улицам Бруклина. Но изобретение Хейлига вызывало недоверие у инвесторов и учёному пришлось прекратить разработки.
Через несколько лет в 1968 годупосле Хейлига похожее устройство представил профессор Гарварда Айван Сазерленд, который вместе со студентом Бобом Спрауллом создал «Дамоклов меч» — первую систему виртуальной реальности на основе головного дисплея. Очки крепились к потолку, и через компьютер транслировалась картинка. Несмотря на столь громоздкое изобретение, технологией заинтересовались ЦРУ и НАСА.
1838 год
В 1838 г. английский физик, автор многих изобретений Чарльз Уитстоун пришел к заключению, что человеческий мозг анализирует окружающую среду в виде двухмерных изображений. Они улавливаются каждым глазом по отдельности и затем мозг преобразует их в трехмерные изображения. Вооружившись этими знаниями, он изобрел стереоскоп — устройство в виде «очков», которое позволяло видеть две картинки рядом друг с другом, имитируя так называемый эффект погружения. Очевидно, что в своем первозданном виде стереоскоп представлял из себя простейшее устройство, однако тот же принцип положен в основу популярного сегодня Google Cardboard, поэтому его без зазрения совести можно рассматривать как первый прототип VR-гарнитуры[7].
Сферы применения виртуальной реальности
По мнению многих экспертов, технологии виртуальной реальности пока даже близко не подошли к пику своего развития. Однако уже сейчас четко вырисовываются области их потенциального применения. Помимо видеоигр можно выделить такие сферы, как:
- Прямые трансляции. Одно из основных направлений развития VR. Самые интересные события, как спортивного, так и культурного характера можно будет воочию «увидеть», находясь где угодно и не покупая дорогостоящие билеты
- Кино. Ожидается, что устройства VR создадут революцию в сфере киноиндустрии, позволяя зрителям «смотреть кино изнутри», а не со стороны.
- Продажи. Эффект личного присутствия позволит людям экономить время при совершении покупок, осматривая удаленно квартиры, машины и другие продаваемые вещи.
- Образование. Технологии виртуальной реальности могут сделать процесс обучения более интересным. Например, ученики могут получить возможность «видеть воочию» различные события, описываемые в учебниках истории.
- Здравоохранение. В отрасли медицины устройства VR могут применяться для проведения виртуального приема больных, психотерапии и т.д.
- Военная отрасль. С помощью устройств VR солдаты смогут учиться тактике боевого искусства в условиях, максимально приближенных к реальным.
Виртуальная реальность в медицине
Виртуальная реальность в армии
Цифровая экономика РФ: Виртуальная реальность в российских войсках
Правительственная комиссия по использованию информационных технологий для улучшения жизни людей и условий ведения предпринимательской деятельности одобрила в 2017 году планы мероприятий по четырем направлениям программы «Цифровая экономика», включая направление «Формирование исследовательских компетенций и технологических заделов». Программа «Цифровая экономика» создана по поручению Президента России Владимира Путина.
Платформу виртуальной реальности (VR) и дополненной реальности (AR) планируется внедрить в центрах боевой подготовки и комплектах технических средств обучения для воинских частей. Подразумевается разработка новых и модернизация существующих тренажеров и подключение к система управления центров боевой подготовки лазерных систем имитации стрельбы и поражения[8].
Данные мероприятия приведут к сокращению сроков подготовки военнослужащих к выполнению задач по предназначению за счет применения современных методов подготовки, сокращения стоимости боевой подготовки за счет экономии горюче-смазочных материалов и боеприпасов.
Технологии VR, AR, MR (MR - смешанная реальность) будут внедрены и на предприятиях оборонно-промышленного комплекс (ОПК) с целью разработки отраслевых решений. Будет проведена апробация разработанных ПАК, SDK и методик, привлечены независимые разработчики бизнес-приложений и систем по разработанным спецификациям ПАК и SDK в части дополненной и смешанной реальности для повышения эффективности процессов обслуживания и производства ОПК.
Аналогично технологии VR, AR, MR будут внедрены в концерне «Росэнергоатом» и НО РАО («Национальный оператор по работе с радиоактивными отходами»). Здесь они будут использованы в части виртуальных тренажеров по планам мероприятий по ликвидации аварий (ПМЛА).
В пилотной зоне ОПК будет проведена разработка и внедрение системы (бизнес-приложения) на базе платформы по автоматизации процессов сервисного обслуживания техники с использованием смешанной реальности.
Аналогичная система - но на базе технологии дополненной реальности - будет внедрена в НО РАО. А в госкорпорации «Росатом» будет внедрена такая же система на базе технологии виртуальной реальности: она обеспечит автоматизацию процессов взаимодействия удаленных подразделений и визуализации ВИМ-данных.
Минобороны: в ВДВ будут обучать прыжкам с парашютом в виртуальной реальности
В программе обучения в Воздушно-десантных войсках (ВДВ) в 2017 году появится новый элемент подготовки, который предусматривает использование прыжки с парашютом в виртуальной реальности. Об этом сообщил в феврале 2017 года ТАСС со ссылкой на Минобороны.
«В 2017 году в практику воздушно-десантной подготовки военнослужащих Воздушно-десантных войсках вводятся занятия на специальном учебно-тренировочном комплексе «УТК ВДВ» с использованием технологии трехмерной визуализации», — говорится в сообщении ведомства.
Действия десантников будут отслеживать десятки электронных датчиков, а с помощью 3D-очков военные смогут ощутить себя в воздухе. Время тренировки в виртуальной реальности ограничено 50 минутами.
Отмечается, что тренажер будет имитировать десантирование с парашютными системами «Арбалет-1» и «Арбалет-2».
Подготовка будет проходить в Рязани на базе 309-го Центра специальной парашютной подготовки ВДВ.
Шлем виртуальной реальности позволит управлять беспилотником «силой» взгляда
Главный научно-исследовательский испытательный центр робототехники Министерства обороны (ГНИИЦ) совместно с Марийским государственным университетом разработал шлем виртуальной реальности, дающий возможность не только увидеть поле боя с камер беспилотных летательных аппаратов (БПЛА), но и управлять ими движениями головы и взглядом, писала в ноябре 2016 года газета "Известия".
Шлем, получивший название «Сварог», станет первым боевым шлемом виртуальной реальности в российской армии. По словам научного сотрудника Марийского государственного университета Алексея Печкина, сейчас шлем проходит внутренние испытания, а в начале 2017 года устройство будет поставлено непосредственно Минобороны.
«В данный момент шлем продолжает дорабатываться, мы экспериментируем с характеристиками обзорных линз, но уже сейчас экран имеет вдвое большее разрешение, чем у зарубежных конкурентов, а угол обзора, который может обеспечить «Сварог», ограничивается лишь естественным полем зрения оператора», – сообщил Печкин.
В отличие от гражданских VR-устройств и навесных очков дополненной реальности, применяемых в армиях стран НАТО, «Сварог» оснащается сразу двумя видеоэкранами, которые обеспечивают разрешение 5120*2180 пикселей, что позволяет оператору наблюдать местность с беспилотного летательного аппарата в мельчайших деталях. Хотя внешне шлем выглядит несколько громоздким из-за выступающих за пределы головы пользователя краев, его масса составляет всего 400 граммов.
Также шлем получил комплекс датчиков, которые отслеживают положение глаз человека и наклон его головы. Так, оператор может изменять высоту полета дрона, поднимая и опуская голову, и корректировать направление его полета движением взгляда.
Виртуальная реальность в индустрии медиа и развлечений
Проекты виртуальной (VR) реальности могут не только создавать концептуально новые рынки, но и расширять уже имеющиеся. По данным аналитиков Goldman Sachs VR в сфере кино является одним из трех заметно растущих сегментов рынка, вместе с игровой индустрией и сервисами онлайн-вещания. Согласно подсчетам аналитиков, использование технологий виртуальной реальности принесет киноиндустрии прибыль $750 млн к 2020 году и будет иметь аудиторию минимум в 24 млн. пользователей. В 2025 году это сумма увеличится до $3,2 млрд и 72 млн зрителей соответственно (Для осуществления прогноза использовались данные о количестве пользователей и суммах, которые они готовы потратить на развлекательное видео в формате VR).
«АльфаСтрахование» будет страховать пользователей виртуальной реальности
В сентябре 2016 года компания «АльфаСтрахование» анонсировала услугу защиты любителей виртуальной реальности. Пользователи 3D очков и шлемов смогут приобрести специальные полисы для страхования от несчастного случая. Клиенты, получившие травму во время использования 3D очков, шлемов и иной гарнитуры для проектирования дополненной и виртуальной реальности, смогут получить выплату от компании «АльфаСтрахование» согласно заявленной в полисе страховой сумме. Размер выплаты будет зависеть от степени тяжести увечья, полученного в момент использования соответствующих устройств.
Наиболее частыми травмами, полученными в домашних условиях, по статистике «АльфаСтрахование», являются переломы пальцев при ударе о мебель или защемлении дверью, ожоги разной степени тяжести паром и горячей жидкостью, резаные раны пальцев, ушибы и гематомы после падения, перелом шейки бедра. Также случаются более серьезные травмы – переломы ребер, пястных костей кисти, лучевой кости руки, лодыжки.
Средние размеры выплаты «АльфаСтрахование» по договорам страхования от несчастного случая составляют от 4 тыс. руб. до 33 тыс. руб. в зависимости от страховой суммы и тяжести причиненных увечий. Частота наступления страховых случаев в бытовых условиях или полученных в пределах собственного дома - 1% от всех произошедших страховых случаев. Средняя выплата по полису страхования от несчастного случая для физических лиц составляет 2-15% от страховой суммы, однако, иногда ее размер может достигать и 100%.
«Виртуальная и дополненная реальность уже не кажется фантастикой, как это было еще несколько лет назад. Специальные устройства расширяют спектр наших возможностей, воздействуя через зрение, слух, обоняние, осязание, - говорит Ирина Карнаева, директор департамента страхования имущества физических лиц «АльфаСтрахование». - Находясь в виртуальной реальности, человек теряет связь с происходящим вокруг, потеря привычного нам визуального контроля над окружающим пространством может обернуться самыми неожиданными бытовыми травмами. К тому же среди поклонников дополненной и виртуальной реальности немало детей, чье чувство опасности развито хуже, чем у взрослых. При использовании специальных шлемов и 3D очков риск получения травмы возрастает многократно. Наша компания намерена запустить специальный продукт, чья программа защиты от несчастных случаев будет разработана специально для пользователей виртуальной реальности. Она защитит страхователя и покроет расходы на лечение»