Найти в Дзене
Metaverse

10 проектов, которые определят будущее VR и AR

Оглавление

В 2016 году на потребительском рынке появились первые очки виртуальной реальности, которые и сегодня продолжают оставаться лидерами среди устройств этого поколения. За два прошедших года нам удалось неплохо познакомиться с ними и узнать, что же представляет из себя виртуальная реальность. Несмотря на то, что под существующие устройства продолжает разрабатываться огромное количество контента, фокус рынка постепенно начинает смещаться в сторону технологий следующего поколения. Мы расскажем о наиболее интересных проектах, которые вызывают трепет в кругах энтузиастов виртуальной и дополненной реальности.

Oculus Half Dome Prototype

Прототип Oculus Half Dome
Прототип Oculus Half Dome

До появления в 2016 году потребительской версии Oculus Rift, компания имела длинную историю прототипов и версий для разработчиков. С момента Kickstarter-кампании в 2012 году энтузиастам были представлены: Rift DK(development kit)1, DKHD, DK2, Crystal Cove, и прототип Crescent Bay. При этом информация о дальнейших исследованиях Oculus держалась в тайне. Но пару месяцев назад компания наконец представила широкой публике Half Dome Prototype.

Сравнение FoV Rift и прототипа Half Dome
Сравнение FoV Rift и прототипа Half Dome

Half Dome имеет увеличенное поле зрения (Field of view – FoV) в 140 градусов против 100 у обычного Rift. Главными же фишками прототипа являются переменное фокусное расстояние дисплеев и трекинг направления взгляда. Расширение FoV должно сделать погружение в виртуальные миры более захватывающим. Переменное же фокусное расстояние сделает картинку значительно реалистичнее. Благодаря технологии появится возможность отображать объекты на различном расстоянии от наблюдателя. Это особенно важно для близкорасположенных предметов. За счет изменения фокусного расстояния смотреть на объекты глазу легче, а сама картинка воспринимается естественнее. Зачем контролировать направления взгляда, вы можете прочитать тут. Если вкратце, это, в том числе, позволяет существенно снизить требования к производительности, увеличив при этом качество изображения.

На презентации Oculus Half Dome компания ясно дала понять, не стоит ожидать все заявленные новинки в ближайших массовых очках виртуальной реальности, работающих с ПК. Однако, очевидно, что Oculus считает PC-based хедсеты наиболее перспективными.

Valve Knuckles

Контроллеры Valve Knuckles
Контроллеры Valve Knuckles

Существует мнение, что специальные перчатки и трекеры пальцев были бы идеальными средствами передачи информации в виртуальной реальности. Однако, последнее время преимущество классических физических контроллеров, вроде бы, стало очевидным. Во-первых, кнопки и стики более надежны, чем жесты для одиночных действий таких, как удержание предмета или навигация по меню. Оказалось, что захват виртуального объекта при наличии в руке физического контроллера, является для пользователя куда более естественным, чем неуклюжий процесс “хватания” воздуха. Однако, преимущества VR-перчаток с полным контролем пальцев очевидны для более тонких действий в VR-мирах. Это может быть, например, щипание или тычок пальцем.

Контроллеры Knuckles, разрабатываемые Valve, нацелены на совмещение возможностей классических контроллеров и VR-перчаток, обеспечивающих отслеживание всех 5 пальцев. Последняя версия Knuckles под названием EV2, представленная в прошлом месяце, включила в себя функцию отслеживания силы сжатия. Другой важной фишкой контроллера является то, что он надежно держится на руке даже, когда кисть пользователя полностью разжата и расслаблена.

Контроль пальцев, силы сжатия и дизайн с ремешком открывают интересные возможности для интерактива. Например, пользователь сможет раздавить предмет или бросить виртуальный объект с ощущениями, наиболее приближенными к реальным.

Пока нет точной информации, когда Valve запустит массовое производство контроллеров. Однако, стоит отметить, что последняя разработческая версия выглядит значительно более “зрелой” по сравнению с показанными ранее.

Leap Motion North Star

Очки дополненной реальности Leap Motion North Star
Очки дополненной реальности Leap Motion North Star

Сегодня HoloLens впечатляет во многих отношениях, однако гаджет от Майкрософт очень дорог, имеет ограниченный FoV и неточен с точки зрения ввода данных. Очевидно, что до того, как рынок увидит качественные, доступные и компактные очки дополненной реальности, пройдет несколько лет. Пока этого не произошло, дизайнеры сталкиваются с серьезными трудностями при создании и проектировании базовых функций и интерфейсов, которые должны определить будущие возможности дополненной реальности. Так для сравнения: для того, чтобы научиться делать по-настоящему качественный VR-контент, разработчикам виртуальной реальности понадобилось несколько лет (хотя есть мнение, что до сих пор так и не научились – прим. редактора).

Не желая ждать светлого будущего, Leap Motion создала свой собственный прототип очков дополненной реальности. Устройство создано для того, чтобы дать разработчикам платформу, которая уже сегодня предоставляет возможности дополненной реальности, которые, как мы все надеемся, появятся в AR-гаджетах будущего.

При создании проекта North Star разработчики уделили минимум внимания форм-фактору. Вместо этого все силы были вложены в то, чтобы добиться максимальных параметров, влияющих на конечный AR-экспириенс пользователя. К ним относятся: FoV в 100 градусов, минимальная задержка, высокое разрешение и сенсоры для трекинга рук, которыми и знаменита Leap Motion. Компания надеется, что North Star, имеющий open-source дизайн, позволит AR-индустрии начать активную разработку приложений и интерфейсов для будущего, в котором каждый будет иметь устройство дополненной реальности.

Oculus Santa Cruz

Очки виртуальной реальности Oculus Santa Cruz
Очки виртуальной реальности Oculus Santa Cruz

В начале этого года Oculus запустила портативные (не требующие для работы ПК) очки виртуальной реальности Oculus Go. Хедсет относится к нижнему ценовому диапазону и обладает характеристиками, схожими с Gear VR от Samsung.

Однако, параллельно Oculus работает над более амбициозным stand-alone хедсетом виртуальной реальности под названием Santa Cruz. Кому-то может показаться, что это просто более продвинутая версия Oculus Go. На самом деле Santa Cruz не только является более производительным. Он также предлагает 6DOF трекинг, позволяющий при использовании устройства физически перемещаться также, как и с PC-based устройством. Кто-то скажет, что Santa Cruz не первый stand-alone хедсет, поддерживающий трекинг по 6 осям. Однако, он точно первый, поддерживающий ручные 6-осевые контроллеры. В итоге, пользователю устройства будут доступны функции полноценного трекинга головы и рук, что открывает впечатляющие возможности для VR-игр с погружением.

Oculus работает на устройством достаточно давно. Впервые компания представила хедсет еще в 2016. В 2017 году появились новости о ручных трекерах. На сегодняшний день нет информации о дате релиза и ценах на Santa Cruz. Ожидается, что компания озвучит свои планы на сентябрьской конференции для разработчиков Oculus.

Дисплеи высокой четкости

VR-дисплей от LG & Google’s с плотностью 1,443 PPI
VR-дисплей от LG & Google’s с плотностью 1,443 PPI

Разрешение существующих очков виртуальной реальности выглядит высоким лишь на бумаге. Так как все изображение растягивается на широкий FoV хедсетов, сегодняшним VR-очкам определенно не хватает плотности пикселей в сравнении с обычным компьютерным монитором, а тем более, в сравнении с максимальными возможностями человеческого глаза. У большинства VR-очков первого поколения невооруженным взглядом заметны проблемы наложения и “screen door” эффект (эффект при котором картинка имеет заметную сеточную структуру из-за незаполненного пространства между пикселями). Имея достаточное разрешение, очки виртуальной реальности избавились бы от обеих проблем.

Компании соревнуются в создании дисплеев ультра-высокой четкости, и с приемлемой ценой. Чтобы их можно было использовать в массовых моделях очков виртуальной реальности. Так Samsung продемонстрировал VR-дисплей с разрешением 3840*2160 с плотностью пикселеей 1200 PPI. Google и LG представили дисплей с разрешением 4800*3840 и 1443 PPI. И наконец, INT обещает сделать дисплеи для VR-хедсетов с плотностью 2228 PPI.

Хедсет от Varjo с retina-разрешением

Хедсет от Varjo с retina-разрешением
Хедсет от Varjo с retina-разрешением

Дисплеев с ультравысоким разрешением еще не появилось, однако компания Varjo использовали другой многообещающий подход для достижения retina-разрешения в очках виртуальной реальности. Основа идеи заключается в использовании комбинации двух дисплеев разного разрешения.

Сегодня большинство хедсетов используют один дисплей для каждого глаза. Хедсет “Bionic Display” от Varjo – два. Первый дисплей обеспечивает картинку с привычными для сегодняшних VR-очков разрешением и качеством, второй же обладает плотностью в 60 пикселей на градус. Картинка со второго дисплея проектируются по центру первого, что дает нашему глазу максимальное качество и детализацию в этом месте.

Итоговый результат впечатляет. С одной стороны, очки виртуальной реальности имеют отличное поле обзора (FoV), а с другой высочайшее разрешение retina в центре изображения, что исключает возможность разглядеть пиксели или “screen door” эффект. Очевидно, что переведя взгляд в сторону, пользователь вновь увидит картинку обычного разрешения. Однако, стоит признать, что этот минус разработки Varjo – лишь маленькая ложка дегтя в сравнении с возможностью использования retina-разрешения в VR-хедсетах уже сегодня. Добавим также, что для решения озвученной проблемы компания активно инвестирует в исследования методов перемещения дисплея высокого разрешения на основе eye-tracking. Их целью является достижение максимального разрешения вне зависимости от того, куда направлен взгляд пользователя.

Вместе со своим Bionic Display хедсетом Varjo, в первую очередь, фокусируется на корпоративном сегменте. Однако, доказанная состоятельность их подхода не исключает, что в ближайшем будущем устройство найдет себя и на потребительском рынке.

150-градусный волноводный дисплей от DigiLens

Волноводный дисплей от DigiLens
Волноводный дисплей от DigiLens

Сегодняшние технологии позволяют сделать очки дополненной реальности достаточно небольших размеров. При это их область обзора (FoV) также невелика. В то же время оптика таких проектов, как упомянутый ранее North Star, предлагает огромный FoV, но и сами хедсеты получаются громоздкими. Очевидно, что необходим другой подход, который позволит достичь одновременно нового уровня погружения в дополненную реальность и размеров гаджета, сравнимых с обычными очками.

Компания DigiLens занимается разработкой технологии прозрачных волноводных дисплеев (англ. waveguide display). Они верят, что смогут создать хедсет дополненной реальности с областью обзора в 150 градусов и форм-фактором повседневных очков. Их подход предполагает “запись” на тонком прозрачном материале светообрабатывающей структуры, после прохождения через которую лучи проецируются перпендикулярно, формируя изображение на глазе пользователя. Описанная высокоточная манипуляция со светом позволяет материалу совместить одновременно две оптических функции: линзы и дисплея. Это дает возможность создания существенно более компактного оптического дизайна в сравнении с большинством существующих сегодня очков дополненной реальности.

Прототип очков дополненной реальности DigiLens
Прототип очков дополненной реальности DigiLens

Более того, DigiLens говорят, что данная технология может быть использована с блокираторами света или даже жидкокристаллическим затемняющим слоем. Возможность сделать оптику непрозрачной позволит объединить в компактном хедсете сразу дополненную и виртуальную реальности.

Сегодня DigiLens уже разработали очки дополненной реальности с FoV 50 градусов на оба глаза. Компания рассчитывает добиться области обзора в 150 градусов в 2019 году, объединив несколько оптических слоев.

Eye-tracking

Технология трекинга направления взгляда
Технология трекинга направления взгляда

Трекинг направления взгляда или просто трекинг глаз (англ. eye tracking) часто обсуждается в контексте foveated rendering (выделенный рендеринг). Это возможность отображения максимально качественной картинки в центре взгляда и менее четкой в периферийной зоне. Главной выгодой технологии является экономия вычислительных мощностей. Но это далеко не все.

Помимо foveated rendering, VR-очки, оборудованные технологией трекинга взгляда, смогут идентифицировать пользователей для того, чтобы автоматически персонализироваться под него. Это в первую очередь касается настройки параметров вроде расстояния между зрачками. Eye-tracking также является ключевым компонентом для дисплеев с изменяющимся фокусом. Опираясь на положении ваших глаз, система сможет динамически настраивать фокусное расстояние. Это снижает нагрузку на зрение и помогает более точно имитировать другие эффекты, например, глубину картинки. Еще одним применением технологии могут стать foveated дисплеи, как у Varjo. В целом, идея здесь та же, что и для foveated rendering. Разница лишь в том, что за высококачественную картинку в центре взгляда отвечает отдельный дисплей. Добавим, что приведенный список потенциальных областей применения явно не полный.

Компании вроде Tobii уже предлагают производителям и разработчикам как аппаратные, так и программные eye-tracking решения. Qualcomm уже применяет наработки Tobii в их VRDK хедсете. 7invensun продает aGlass eye-tracking development kit для Vive. Fove предлагает development kit их VR-очков со встроенной системой трекинга взгляда. Oculus также недавно впервые представил их прототип с eye-tracking системой. Magic Leap в свою очередь подтвердила наличие функции в их вот-вот выходящем хедсете для разработчиков. И даже Apple в игре, они приобрели компанию SMI, которая до недавнего времени была среди лидеров в сегменте отслеживания взгляда.

Очки виртуальной реальности Pimax “8K”

Прототип очков виртуальной реальности Pimax “8K” V5
Прототип очков виртуальной реальности Pimax “8K” V5

Доступные сегодня потребительские VR-очки имеют среднее значение FoV около 100 градусов. Компания Pimax надеется совершить настоящий прорыв со своим хедсетом “8K”. Они заявляют, что у него будет область обзора в целых 200 градусов и разрешение 7680*2160. Кроме того, очки виртуальной реальности будут иметь встроенный SteamVR трекинг, для обеспечения совместимости с контентом этой платформы.

В свое время компания провела успешную компанию на Kickstarter, собрав 4.2 млн $. Позднее они привлекли еще 15 миллионов венчурных капиталов после успешного окончания краудфандинга. Далее на протяжении нескольких лет Pimax показывала устойчивый прогресс с их амбициозным проектом. И пусть определенная задержка все же произошла, недавно компания заявила, что они уже входят в фазу массового производства, а до конца года участники их компании на Kickstarter уже получат свои хедсеты.

Если Pimax действительно добьются успеха, то их очки виртуальной реальности установят новую планку по уровню качества VR картинки за счет огромного FoV и невероятного, на данный момент, разрешения.

Massless

VR-стилус от компании Massless
VR-стилус от компании Massless

Сегодня в VR-пространстве доступны несколько качественных приложений для скульптуры, рисования и дизайна. Однако все они ограничены в возможностях существующими контроллерами, которые созданы для “обычного” взаимодействия. Посмотрите на устройства от Oculus и Vive. Они подходят для симуляции пистолета или чего-то подобного, но никак не карандаша или кисти. Massless хотят изменить эту ситуацию, разрабатывая VR-стилус. Гаджет должен решить проблему работы в приложениях, требующих высокой точности.

Сам по себе стилус – не новое изобретение. Когда дело доходит до потребности в высокой точности, этот инструмент идеален. Собственно, и в виртуальной реальности работать, манипулируя пальцами, будет куда удобнее и точнее, чем всей кистью целиком. Стилус от Massless работает при помощи внутренней камеры для трекинга кончика устройства. Данный подход позволяет рисовать в воздухе или даже на реальной поверхности более естественным образом.

Massless еще не анонсировали своих планов по дате выхода устройства, однако возможность попробовать один из прототипов, у заинтересованных, была еще в начале года.

___________

Следующее поколение устройств виртуальной и дополненной реальности неумолимо надвигается. Конечно мы привели далеко не исчерпывающий список. Чего вы ждете больше всего?

Источник: www.roadtovr.com