Исследователи из Университета Карнеги-Меллона (CMU) продемонстрировали, что они могут комбинировать видео iPhone, снятые вне студии отдельными камерами, для создания 4D-визуализаций, которые позволяют зрителям наблюдать за действиями с разных точек зрения или даже удалять людей или объекты, которые временно блокируют линии обзора.
Представьте себе видео свадьбы, где танцоров можно увидеть с такого же ракурса, как и с камер, а пьяного гостя, который прошел на переднем фоне, нигде не видно.
Видеофильмы можно снимать независимо с различных точек, как это может произойти на свадьбе или праздновании дня рождения, отметил доктор философии Ааюш Бансал в Институте робототехники CMU. Он также добавил, что можно записывать актеров в одной обстановке, а затем вставлять их в другую.
«Мы ограничены только количеством камер», - сказал Бансал, не ограничивая количество используемых видеопотоков.
Ссылка на видео с демонстрацией возможности программы: https://www.youtube.com/watch?v=quovnDPwL1k&feature=youtu.be
Бансал и его коллеги представили свой метод визуализации 4D на виртуальной конференции Computer Vision и Pattern Recognition в июне 2020 года.
«Виртуализированная реальность» не является чем-то новым, но в прошлом она была ограничена студийными установками, такими как Panoptic Studio CMU, которая может похвастаться более чем 500 видеокамерами. Объединение визуальной информации о реальных сценах, снятых с нескольких независимых портативных камер, в единую комплексную модель, которая может реконструировать динамическую 3D-сцену, просто невозможно.
Бансал и его коллеги обошли это ограничение, используя сверточные нейронные сети (CNN), тип программы глубокого обучения, которая доказала свою способность анализировать визуальные данные.
Исследователи из CMU продемонстрировали свой метод, используя до 15 айфонов для съемки различных сцен - танцев, демонстраций боевых искусств и даже фламинго в Национальном парке в Питтсбурге.
«Смысл использования iPhone в том, чтобы показать, что любой может использовать эту систему, — сказал Бансал. — Мир - это наша студия».
Этот метод также открывает множество потенциальных приложений в киноиндустрии и на потребительских устройствах, особенно с ростом популярности гарнитур виртуальной реальности.
Хотя метод не обязательно захватывает сцены с полной 3D-детализацией, система может ограничивать углы воспроизведения, чтобы не полностью восстановленные области не были видны и не нарушалась иллюзия 3D-изображений.