Найти в Дзене
на волне

Панорамное фото и видео (псевдо-3Д)

Поковырял интернет, компьютер, телефон и залежи домашней техники. Как итог: оказывается сейчас можно довольно просто можно делать псевдо 3Д фото- и видео- съемку. Минимально необходимый набор включает в себя: 1) круговая камера с обзором на 360 градусов по вертикали и горизонтали; 2) софт для редактирования и рендеринга кругового фото и видео; 3) компьютер с более-менее современной видеокартой (для редактирования и рендеринга видео); 4) софт (плеер) для просмотра получившегося безобразия на компе и смартфоне. Вопрос с первым пунктом решился довольно просто. В заначке пылилась камера GoPro Fusion (такая камера уже не выпускается и не поддерживается, фирма производитель на замену предлагает GoPro Max 360). Особенность этой камеры в том, что она состоит из двух камер и записывает одновременно 2 видео файла (фронт и тыл) на разные флэш-карты. Для записи панорамного кругового 5К видео скорость записи каждой флэшки должна соответствовать 10 классу и быстрее. Одной "половиной" камеры создаетс

Поковырял интернет, компьютер, телефон и залежи домашней техники.

Как итог: оказывается сейчас можно довольно просто можно делать псевдо 3Д фото- и видео- съемку. Минимально необходимый набор включает в себя:

1) круговая камера с обзором на 360 градусов по вертикали и горизонтали;

2) софт для редактирования и рендеринга кругового фото и видео;

3) компьютер с более-менее современной видеокартой (для редактирования и рендеринга видео);

4) софт (плеер) для просмотра получившегося безобразия на компе и смартфоне.

Вопрос с первым пунктом решился довольно просто. В заначке пылилась камера GoPro Fusion (такая камера уже не выпускается и не поддерживается, фирма производитель на замену предлагает GoPro Max 360). Особенность этой камеры в том, что она состоит из двух камер и записывает одновременно 2 видео файла (фронт и тыл) на разные флэш-карты.

Для записи панорамного кругового 5К видео скорость записи каждой флэшки должна соответствовать 10 классу и быстрее. Одной "половиной" камеры создается 2,6К видеопоток. Флэш-карта 10 класса с видеопотоком 5К не справляется. Вероятно по этой причине (и не только по этой) используются 2 флэш-карты, по одной на каждую камеру. Также предположу, что круговые камеры, использующие одну флэш-карту не могут записывать круговое видео в качестве 5К. Разве что камеры, использующие не флэш-карты, а флэш-накопители, которые могут записывать видеопоток с большей скоростью, но и габариты таких флэш-накопителей значительно больше.

Как следствие, для просмотра видео требуется постобработка: "сшивание" двух видеофайлов в один. Минус такого подхода в том, что времени на обработку видеороликов тратится значительно больше, да и "бесшовное сшивание" изображений с нескольких камер в реальности не всегда такое уж и бесшовное.

Бесплатный лицензионный софт, идущий в комплекте к камере: Fusion Studio. Программа разработчиками списана в утиль и не поддерживается, но на Windows 10 пока вполне неплохо работает, позволяя создавать видеоролики в одном из двух режимов:

  1. Режим "overcapture" - в результате получается обычное видео (не круговое), которое можно без плясок с бубном просматривать во всех адекватных медиа-плеерах. Такие видео показываются, например, плеерами, встроенными в чаты мессенджеров.
  2. Режим "360" - в результате создается круговое псевдо3Д видео, позволяющее по ходу движения камеры смотреть "изнутри" камеры в любую сторону. Для просмотра такого видеоролика нужно установить соответствующий плеер и кодеки. Вес таких видеороликов от выбранного кодека и разрешения зависит очень существенно. Для просмотра на смартфоне файл необходимо скачать и открыть в специальном медиаплеере.

Общее впечатление от программы - в целом пойдет для вхождения в тему, хотя есть и существенный минус: в режиме "overcapture" направление "взгляда" из видеокамеры задается перед рендерингом глобально для всего видеоролика целиком (т.е. при подготовке видеоролика к рендеренгу нет возможности корректировать направление "взгляда" камеры по ходу времени видео). Аналогично с рендерингом в режиме "360", но для таких роликов это менее критично, так как возможность управлять камерой есть при просмотре и встроена в плеер.

Кодеки, которые можно использовать во Fusion Studio для создания псевдо3Д видео
Кодеки, которые можно использовать во Fusion Studio для создания псевдо3Д видео
Ролик "360" на пару минут в формате 2К при использовании кодека H.264 может занимать примерно 50...700 Мб и больше, качество получается достаточное для просмотра ролика на смартфоне, рендеринг с моей конфигурацией компа идет примерно 5-15 минут. Для кодека CineForm 422 вес такого ролика увеличивается в несколько раз (легко может занимать от 2 Гб места), а длительность создания (рендеринга) ролика займет примерно во столько же раз больше времени, 45 минутный ролик создавался больше 5 часов... :-\ Настолько сильной разницы по качеству не заметил, поэтому использую кодек H.264 (в результате Fusion-студия создает файлы mp4).

Для просмотра на телефоне разрешения кругового видео в 2К достаточно, но при просмотра на ПК заметна "квадратура круга". Поэтому для качественной круговой картинки лучше использовать более высокое разрешение, создание которого занимает в 4 раза больше времени и во столько же раз больше места на жестком диске.

Если использовать режим "overcapture", то 2К разрешения уже вполне достаточно для комфортного просмотра. Для сравнения 2 картинки.

Круговое 2К видео в режиме 360, VLC
Круговое 2К видео в режиме 360, VLC
2К-видео в режиме overcapture, VLC
2К-видео в режиме overcapture, VLC

Интерфейс Fusion Studio незамысловат, с минимальным функционалом, но интуитивно понятен и прост: после запуска программы и открытия файлового архива с метафайлами, с камеры нужно выбрать ролики для рендеринга, используемые при рендеринге кодеки и базовое направление "взгляда камеры". Обработка роликов будет удобнее и быстрее если предварительно переписать метафайлы с флэш-карт камеры на жесткий диск компьютера (папки "Front" и "Back" нужно поместить в одну папку, которую и нужно открыть во Fusion-студии).

В сети есть более подробные инструкции, но мне они пока не понадобились.
Fusion Studio
Fusion Studio

Для обработки видео вполне подошел комп с видеокартой NVidia Quadro M4000 (8Гб видеопамяти) и 24 Гб оперативной памяти (DDR3).

Небольшой личный опыт обработки видеоданных подсказывает, что на начальном этапе достаточно 6Гб видеопамяти (при рендеринге больше 4Гб видеопамяти не задействовано даже при весе роликов под 100Гб и полной загруженности видеокарты во время рендеринга), но вот производительность такой видеокарты - это скорее минимально необходимый уровень (ролик на 45 минут для разрешения 2К обрабатывается около 5 часов и вдобавок прогревает видеокарту почти до температуры кипения воды). Зимой во время отключения отопления это даже неплохо.

В браузерах Edge и Chrome для просмотра "3Д" фото и видео некоторое время назад можно было поставить соответствующие плагины, но сейчас эту возможность отключили. Ну и ладно. :)

На андроиде для просмотра можно использовать, например, VR Media Player - 360° Viewer или VLC. Лично мне понравился больше VLC (из-за интерфейса).

По каким-то неведомым причинам в браузере ПК перестали работать ссылки на Play Market, но программа легко ищется в Play Market-е на смартфоне, эти же ссылки на нем успешно срабатывают.
Андроид видеоплеер в Play Market
Андроид видеоплеер в Play Market

Получившиеся mp4- "3Д" видео и "3Д" на смартфоне смотрятся шикарно и показываются программой вполне шустро даже на девайсе со средними характеристиками.

Панда парк: скриншот с андроид-видеоплеера VR Media Player - 360° Viewer, видео mp4, кодек h.264, вес ролика 658 МБ
Панда парк: скриншот с андроид-видеоплеера VR Media Player - 360° Viewer, видео mp4, кодек h.264, вес ролика 658 МБ

Для просмотра на компе подошел VLC-плеер с установленными видеокодеками H.264. С использованием других видеоформатов были определенные сложности (файлы занимают больше места и поддерживаются меньшим числом видеоплееров).

Панда парк: скриншот приложения VLC на компе, видео mp4, кодек h.264
Панда парк: скриншот приложения VLC на компе, видео mp4, кодек h.264

В качестве второй программы для просмотра использовал ПО Ricon Theta (базовое приложение). Программа вполне успешно справляется с отображением и видео и фото в "3Д" формате.

Приложение Ricon Theta при открытии файла загружает его значительно дольше, но качество картинки смотрится лучше, чем при открытии того же файла в VLC.
Скриншот приложения Ricon Theta на компе, видео mp4, кодек h.264, 2021 год
Скриншот приложения Ricon Theta на компе, видео mp4, кодек h.264, 2021 год

UPD: нашелся еще один плеер для ПК (Windows и MAC) - Go Pro VR player. Загружает и показывает файлы шустрее VLC и Theta, картинка получается чуть красивее, чем в VLC. Скачать версию под windows можно тут.

-9

Тестовое панорамное видео с птичками и сделанное на его основе видео в режиме ovarcapture:

Кормушка сделана так, что ни воробьи, ни голуби не могут достать из неё семечки, только синицы и лазоревки. Пришлось их правда предварительно немножко потренировать, иначе в упор не замечали угощение... :)

Камера стояла слишком близко к кормушке, поэтому на видео в режиме overcapture вертикальные и горизонтальные линии по краям кадра чуть скруглены (по центру почти в норме).

Дзен не позволяет открывать и скачивать видео с сайта dzen.ru во внешнем видеоплеере (во всяком случае, у меня не получилось это сделать), хотя с некоторых других источников это можно делать без проблем, например с помощью такого плагина.

Когда у меня получится посмотреть его из браузера (именно как панорамное видео), откорректирую статью. Плагин VLC пока с этой задачей не справился.

Ну и небольшое предновогоднее пожелание, даже два или три... :)

У многих любителей поснимать красивые виды нет особого желания светиться в кадре, да и не всем хочется, что бы их физиономии из выкладываемых фото и видео шутники растащили на мемы, а аферисты на поддельные документы.

Имхо, !ОЧЕНЬ! не хватает режима "180х360", когда в кадр попадает только половина кругового изображения (только с фронтальной камеры). Ну или "240х360", когда обзор в ролике ограничен фронтальной камерой и 60 градусами по траверзу с тыловой камеры (так что бы изображение по центральной оси тыловой камеры +- 60 градусов от оси даже не сохранялось).

Возможно, это позволит обойтись только одной почтикруговой камерой, без сшивания изображений, и производительностью только одной флэш-карты 10 класса. Заодно и размер ролика уменьшится на 33...50% только за счет "мертвой зоны" в управляемом обзоре камеры. Ну хотя бы при подготовке фото и видео к рендеренгу иметь возможность вырезать часть изображения заданной ширины (в градусах) и в заданном направлении... :)

Было бы здорово, если бы направлением "взгляда" камеры можно было управлять посекундно на всем протяжении видео (с плавным поворотом взгляда камеры в заданном направлении) при подготовке к рендерингу, как для режима overcapture, так и для режима "360". Это же несложно, всего-то нужно прицепить к видеопотоку теги с указанием направления и временной меткой (типа субтитров), а для режима 360 еще и обработать их в плеере.

Не проверял, но, вроде бы, у Corel такая штука с управлением взглядом камеры уже реализована для режима overcapture.

С Наступающим НГ! :)

#3D #3Д #Фото #Видео #360