Исследователи из Google разработали первую сквозную видеосистему 6DoF, которая может даже транслировать через интернет-соединение с высокой пропускной способностью.
Текущие видео 360 могут перенести вас в экзотические места и события, и вы можете смотреть вокруг, но на самом деле вы не можете двигать головой вперед или назад позиционно. Это заставляет весь мир чувствовать себя запертым в вашей голове, что на самом деле совсем не то же самое, что находиться где-либо.
Новая система Google инкапсулирует весь стек видео; захват, реконструкция, сжатие и рендеринг — обеспечивая важный результат.
Устройство оснащено 46 синхронизированными 4K-камерами, работающими со скоростью 30 кадров в секунду. Каждая камера прикреплена к «дешевому» акриловому куполу. Поскольку акрил является полупрозрачным, его можно использовать даже в качестве видоискателя.
Каждая используемая камера имеет розничную цену в 160 долларов, что составит чуть выше 7000 долларов за установку. Общая стоимость может показаться высокой, но на самом деле это значительно дешевле, чем сделанные на заказ альтернативы. 6DoF video — это новая технология, которая только начинает становиться жизнеспособной.
В результате получается 220-градусное «световое поле» шириной 70 см — именно столько можно двигать головой. Результирующее разрешение составляет 10 пикселей на градус, а это означает, что оно, вероятно, будет выглядеть несколько размытым на любой современной гарнитуре, за исключением оригинальной HTC Vive. Как и во всех технологиях, это будет улучшаться с течением времени.
Но что действительно впечатляет, так это сжатие и рендеринг. Видео в световых полях может передаваться через интернет-соединение со скоростью 300 Мбит/с. Это все еще далеко за пределами средних скоростей интернета, но большинство крупных городов теперь предлагают такую пропускную способность.
Как это работает?
В 2019 году исследователи искусственного интеллекта Google разработали алгоритм машинного обучения под названием DeepView. При вводе 4 изображений одной и той же сцены с немного разных точек зрения DeepView может создавать карту глубины и даже генерировать новые изображения с произвольных точек зрения.
Это новая видео-система с 6 степенями свободы, использует модифицированную версию DeepView. Вместо представления сцены через 2D плоскости, алгоритм использует набор сферических оболочек. Новый алгоритм перерабатывает эти выходные данные до гораздо меньшего числа оболочек.
Наконец, эти сферические слои преобразуются в гораздо более легкую «слоистую сетку», которую берут из атласа текстур для дальнейшей экономии ресурсов (этот прием используется в игровых движках, где текстуры для разных моделей хранятся в одном файле, плотно упакованном вместе.)
Вы можете прочитать исследовательскую статью и попробовать некоторые образцы в своем браузере на общедоступной странице Google для проекта .
Light field video — это все еще развивающаяся технология на ранних стадиях, поэтому не ожидайте, что YouTube начнет поддерживать видео световых полей в ближайшем будущем. Но похоже, что один из «священных граалей» VR-контента — потоковое видео 6DoF, теперь является разрешимой проблемой.
