Экран 8K, четыре графических процессора, четыре микрофона и целая куча камер
В новом исследовательском документе Google подробно описал технологию, лежащую в основе впечатляющей демо-версии проекта Starline, представленной на конференции ввода-вывода в этом году. Проект Starline-это, по сути, 3D-видеочат, цель которого состоит в том, чтобы заменить 2D-видеоконференцию один на один с таким ощущением, будто вы на самом деле сидите перед реальным человеком.
Это звучит просто, но исследовательская работа Google показывает, как много проблем возникает, когда вы обманываете свой мозг, думая, что настоящий человек сидит всего в нескольких футах от вас. Очевидно, что изображение должно быть с высоким разрешением и без отвлекающих артефактов, но оно также должно выглядеть правильно с вашего относительного положения в кабине. Аудио-это еще одна проблема, поскольку системе необходимо, чтобы это звучало так, как будто слова человека исходят из их реальных уст. И потом, есть еще такая мелочь, как зрительный контакт.
Но, в конечном счете, есть надежда, что проект Starline может предложить такое же ощущение присутствия, как виртуальная или дополненная реальность, без необходимости пользователям носить громоздкие наушники или трекеры.
В документе подробно описано, сколько именно оборудования необходимо для начала решения этих проблем. Система построена вокруг большой 65-дюймовой панели 8K, которая работает с частотой 60 Гц. Вокруг него инженеры Google разместили три “модуля захвата’, которые способны захватывать как цветные изображения, так и данные о глубине. Система также включает в себя четыре дополнительные камеры слежения, четыре микрофона, два динамика и инфракрасные проекторы. В общей сложности захватываются цветные изображения с четырех точек обзора, а также три карты глубины, в общей сложности для семи видеопотоков. Звук записывается с частотой 44,1 кГц и кодируется со скоростью 256 Кбит / с.
Очевидно, что все это оборудование генерирует много данных, которые необходимо передавать, и Google говорит, что пропускная способность передачи варьируется от 30 Мбит / с до 100 Мбит / с в зависимости от “деталей текстуры одежды пользователя и величины их жестов”. Таким образом, это значительно больше, чем стандартный вызов с зумом, но ничего такого, с чем не смог бы справиться обычный офис в мегаполисе. Проект Starline оснащен четырьмя высококачественными видеокартами Nvidia (две карты Quadro RTX 6000 и две карты Titan RTX) для кодирования и декодирования всех этих данных. По сообщениям, задержка от конца до конца составляет в среднем 105,8 миллисекунды.
Как говорится в исследовательской статье Google, сотрудники, которые использовали Starline на трех сайтах, где он был установлен, считают, что он превосходит традиционные видеоконференции, когда дело доходит до создания ощущения присутствия, личной связи, а также помогает с внимательностью и оценкой реакции. Компания сообщает, что за девять месяцев 117 участников провели в общей сложности 308 встреч в своих кабинках телеприсутствия, при этом среднее время встречи составило чуть более 35 минут.
Все это звучит очень многообещающе, но пока нет никаких указаний на то, когда или даже если система однажды может быть коммерциализирована. Также очень мало информации о том, сколько в действительности будет стоить обширный набор аппаратных средств Starline (хотя в таблице 4 в исследовательской работе описывается используемое им оборудование для отслеживания и отображения, если вам захочется немного посчитать). На данный момент Google заявляет, что расширяет доступность Project Starline “в большем количестве офисов Google по всей территории Соединенных Штатов”.
#google #технологии #3д графика
Источник: https://www.theverge.com