21 сентября 2017 г. компания Canon объявила о создании видеосистемы с произвольным ракурсом просмотра Free Viewpoint Video System. Компания ориентирует систему на сегмент спортивных трансляций. По периметру стадиона устанавливают камеры высокого разрешения. Полученную видеозапись с помощью программного обеспечения переводят в формат 3D-анимации, после чего зрители могут наблюдать за матчем с любого ракурса как в компьютерной игре.
Технология включает в себя обязательный компонент обработки видеоматериала, поэтому не может применяться для онлайн-трансляции событий. Пример видео, синтезированного на основе объемной записи матча Японской лиги 3 ноября 2016 года между командами Kawasaki Frontale и Gamba Osaka на стадионе Kawasaki Todoroki Stadium, Kanagawa Prefecture.
Как это сделано?
Технология интерактивного просмотра объемной видеозаписи включает в себя многокамерную видеосъемку футбольного матча и алгоритмы 3D-реконструкции, наложения текстур и синтеза новых ракурсов с достаточной частотой кадров.
Система захвата использует несколько синхронизированных видеокамер. Минимальное количество камер 4, но для достижения высокого качества картинки их требуется гораздо больше.
На этапе обработки видеозаписей применяется метод "вычисление формы из силуэта": изображения игроков отделяются от фона, и анализируется пересечение силуэтов игроков, полученных с каждой камеры. Это требует точной привязки положения и угла обзора каждой камеры к линиям разметки футбольного поля. В результате такого сложного процесса получается 3D-модель сцены в движении.
При просмотре футбольного матча в реальном времени производится рендер трехмерной модели каждого кадра, причем для раскрашивания моделей игроков и фона используют текстуры, полученные искривлением изображений с видеокамер.
Теоретически, такая система могла бы работать в реальном времени, т.е. в режиме трансляции прямо с матча, но пока не удалось реализовать ее без стадии обработки видеозаписей. Также недостатком системы является оптимизация под ограниченное количество сценариев, в частности, пока она пригодна только для записи и воспроизведения футбольных матчей и регби.
Разработчики предложили эту технологию для трансляции матчей Чемпионата мира по футболу в 2022 году в рамках заявки Японии на чемпионат. И не их вина, что Япония не получила чемпионат мира... Также, по слухам, планируется "голографическая трансляция" Игр Зимней Олимпиады в Южной Корее, которые пройдут в 2018 г. Эксперты НИКФИ полагают, что под термином "голографическая трансляция" подразумевается описываемая технология.
Для чего это нужно?
В комментариях к событию пресса указывает на новую тенденцию в потреблении видео: вместо пассивного просмотра готовых программ зрителям предоставляются средства для создания авторского аудиовизуального контента из предоставленных материалов. Эта тенденция просматривается, например, в проекте Slightly Mad Studios, позволяющем пользователям создавать фильмы из записей высокополигональных моделей гоночных автосимуляторов; проекте Ansel компании Nvidia по созданию фотографий сцен в совместимых компьютерных играх (пользователю предоставляются возможности выбора ракурса съемки независимо от сюжета игры).
Как отмечено в статье Олега Березина "Российская киноиндустрия 4.0 - цифровые кинофабрики, или прогнозирование за гранью понимания", Мир техники кино, №3, 2017, с. 6,
“Такие адаптивные технологии открывают новые художественные возможности для создателей аудиовизуального контента - от фильмов с изменяемыми сценариями до версий фильмов тех или иных авторитетных людей”