Текущие 360-видео могут перенести вас в экзотические места и события, и вы можете осмотреться, но вы не будете на самом деле перемещать голову вперед или назад по позиционированию. Это заставит весь окружающий мир чувствовать себя привязанным к вашей голове.
Новая система Google инкапсулирует весь стек видео; захват, реконструкция, сжатие и рендеринг -в результате новое достижение
Камера оснащена 46 синхронизированными 4K-камерами, работающими со скоростью 30 кадров в секунду. Каждая камера прикреплена к «дешевому» акриловому куполу. Поскольку акрил является полупрозрачным, его можно использовать даже в качестве видоискателя.
Розничная цена каждой используемой камеры составляет 160 долларов, что в общей сложности составляет 7000 долларов за всю установку. Это может показаться высокой ценой, но на самом деле это значительно дешевле, чем сделанные на заказ альтернативы. 6DoF video - это новая технология, которая только начинает становиться жизнеспособной.
В результате получается «световое поле» на 220 градусов и шириной 70 см - вот так вы можете двигать головой. Результирующее разрешение составляет 10 пикселей на градус, а это означает, что на любой современной гарнитуре он будет выглядеть несколько размытым, за исключением оригинального HTC Vive. Как и во всех технологиях, со временем это улучшится.
Но что действительно впечатляет, так это сжатие и рендеринг. Видео в светлых полях может передаваться через надежное соединение со скоростью 300 Мбит / с. Это все еще намного выше средней скорости интернета, но большинство крупных городов сейчас предлагают такую пропускную способность.
В 2019 году исследователи Google разработали алгоритм машинного обучения под названием DeepView. С помощью ввода 4 изображений одной и той же сцены с несколько разных точек зрения DeepView может генерировать карту большой глубины и даже создавать новые изображения с произвольной точки зрения.
Эта новая видеосистема 6DoF использует модифицированную версию DeepView. Вместо того, чтобы представлять сцену через 2D плоскости, алгоритм вместо этого использует коллекцию сферических оболочек. Новый алгоритм обрабатывает этот вывод до гораздо меньшего числа оболочек.
Наконец, эти сферические слои превращаются в гораздо более легкую «слоистую сетку», которая отбирает образец из атласа текстуры для дальнейшей экономии ресурсов (это метод, используемый в игровых движках, где текстуры для разных моделей плотно хранятся в одном файле и упакованы вместе.)
Вы можете прочитать исследовательскую статью и попробовать некоторые образцы в своем браузере на общедоступной странице Google для проекта .
На ранних этапах 6DoF видеообработка все еще является новой технологией, поэтому не ожидайте, что YouTube начнет поддерживать видео в светлых полях в ближайшем будущем. Но, похоже, ясно, что одна из святых Грааля VR-контента - потоковое онлайн видео 6DoF - теперь решаемая проблема.
Мы будем пристально следить за этой технологией, поскольку она начинает приближаться от исследований к продуктам реального мира
