Вступление
С развитием доступных VR-технологий у многих (надеюсь, и у вас) появился такой девайс, как VR-гарнитура. Поскольку это полноценное решение для погружения в стереоскопическую картинку, закономерно возрос интерес к наследию 3D-кинематографа.
К счастью, с 3D-фильмами всё не так плохо — их очень много на просторах интернета, при желании можно найти любой 3D-фильм. Неважно, какая у вас гарнитура, — практически на любой из них можно запускать 3D-фильмы, если есть возможность установить специализированный софт.
Программ много, но я остановил свой выбор на Virtual Desktop и Deo VR. Этот софт есть и в Steam, и на Oculus, для Playstation тоже существуют программные решения, но с ними я взаимодействовал уже давно и названий не помню.
Первые впечатления от скаченных 3Д фильмов их проблемы и почему так плохо.
Все 3D-фильмы, которые я находил в интернете, имеют разрешение Full HD 1920x1080 пикселей, что вроде бы неплохо. Однако на самом деле в это разрешение помещается два фильма: один для левого глаза, другой для правого. Следовательно, итоговое разрешение фильма будет уже не 1920x1080px, а всего лишь 960x540px.
А теперь представим, что мы смотрим такой фильм на 10-метровом экране виртуального кинотеатра. Что вы увидите? Вы увидите сплошной пиксельный шум, постоянное мерцание в глазах, плохую четкость, размытое изображение и тусклые цвета.
Кроме того, проблема заключается еще и в том, что частота кадров у фильма обычно не превышает 24 кадров в секунду. Это добавляет мутности в движении: при перемещении камеры картинка не двигается плавно, а плывет, как и ваши глаза вместе с ней.
Да, эффект 3Д безусловно будет, но это будет очень далеко от привычного качества, которое мы наблюдаем в кинотеатре. Посмотрев в таком качестве один фильм, я забросил это дело до лучших времен.
Где взять 3Д фильмы в формате 4К 3840х2160
Чтобы смотреть 3D-фильмы в разрешении Full HD, нам понадобится фильм в формате 4K. Если у вас VR-шлем поддерживает 4K, для полного погружения фильм должен иметь разрешение 8K. Однако это что-то из области фантастики, так как 4K фильмов в стереопаре я не нашел, а 8K и подавно.
Начались размышления и поиски на тему, где взять оригинальные образы фильмов, например, с Blue Ray дисков, или, чем черт не шутит, оригинальные копии из кинотеатров. Прошерстив весь интернет, я нашел пару таких образов, но так и не понял, как из всего этого сделать стереопару. В образе с Blue Ray диска куча отдельных кусков фильма, которые нужно как-то склеивать, и делать это для формата 3D. В общем, эта задача оказалась мне не подвластна, и я от нее абстрагировался.
Если 4K 3D фильмы негде взять, то может получится его воссоздать из 2К
Чуть позже мне пришла замечательная идея, которая кардинально всё изменила. Время от времени я занимаюсь фотографией и иногда использую различные нейросети для улучшения разрешения фотографий в несколько раз. При этом все недостающие мелкие детали дорисовываются автоматически.
Если можно улучшить один кадр фотографии, то почему бы не улучшить один кадр кино, а затем ещё один и ещё? Однако не всё так просто. Нейросеть всегда будет давать разный результат на одной и той же фотографии, что в случае с кинокадрами неприменимо, ведь в предыдущем и следующем кадрах картинка примерно одинаковая. Следовательно, такой метод не подходит. Поэтому я снова стал ждать лучших времён.
Есть способ конвертации 3Д фильмов в 4К и даже в 8К без потери деталей
Однажды на просторах YouTube я наткнулся на фильм «Приключения Электроника» в формате 4K. Включив фильм, который я смотрел уже, наверное, раз двести, я смог полностью его переосмыслить благодаря небывалой чёткости изображения и яркости красок.
Поначалу я подумал, что это оцифрованная и отреставрированная версия фильма, ведь киностудия «Мосфильм» периодически занимается подобными проектами. Я предположил, что если они могут это сделать, то могут и другие. Но, к моему удивлению, это оказалась не реставрация, а конвертация в 4K с помощью нейросети. Более того, я узнал название этой программы и смог без особого труда получить её для пользования.
С помощью этого софта можно за пару кликов конвертировать любой фильм до разрешения 8K. Это не интерполяция, а реальное дорисовывание недостающих элементов в кадре при его увеличении. Это просто невероятно!
Программа "Topaz Video AI" сделает из любого видео го..на, конфетку.
Для начала я решил испытать данную программу на советском кино, конвертировав несколько любимых фильмов и пересмотрев их, чтобы оценить результат. Да, конечно, в некоторых сценах появляются артефакты, их видно, однако в целом картинка очень приятная. Кстати, чем больше разрешение у исходника, тем меньше артефактов.
Теперь пришло время для 3D. Первым фильмом для конвертации в 4K стала “Гравитация”. Я добавил его в программу.
и приступил к настройкам. Настройки тут несложные и вполне интуитивные. Просто выбираем нужный пресет формата, в который хотим сконвертировать кино, а всё остальное можно оставить по умолчанию. Хотя поиграть с настройками тоже будет не лишним.
Однако на одну настройку всё же стоит обратить внимание — это частота кадров. Я настоятельно рекомендую ставить минимум 50 кадров в секунду, чтобы глазам было комфортно воспринимать 3D и чтобы при движении камеры картинка не расплывалась.
Результат настроек можно увидеть заранее, сделав превью в 5 кадров. Вот такой результат, к примеру, получился у меня.
Как видим из примера, детали стали более чёткими, их стало гораздо больше, исчезло размытие и полностью убрался шум. Шум от сжатия видео кодеком — самая большая проблема 3D, так как если сам фильм снят в формате 3D, то шум на нём не учитывается, поэтому на первом плане в видео будет плоская пелена шума, а всё остальное уже после него, и это сильно портит глубину стереокино. К счастью, после конвертации шума уже не будет. А вот и настройки, которые использовал я.
В зависимости от версии программы, ваше меню может отличаться от моего, но суть понятна: нужно выбрать формат для конвертации, AI модель и формат, в который будете конвертировать. Кстати, о форматах. Есть один важный момент, о котором я расскажу ниже.
Сутки на конвертацию фильма
Говоря о минусах, стоит отметить, что процесс конвертации с помощью нейросети занимает очень много времени — ваш компьютер будет занят почти на целые сутки, даже если у вас достаточно мощное железо.
Ещё один минус — нет гарантии, что через 18 часов компьютер или программа не зависнет. Хотя, возможно, в будущих версиях этой программы эта проблема исчезнет. Было бы очень удобно, если бы имелась возможность ставить конвертацию фильма на паузу и продолжать, например, ночью.
Я узнал о такой возможности, только когда переключил выходной формат видео с MP4 на ProRes (проприетарный кодек от компании Apple). С этим кодеком можно ставить конвертацию на паузу и сохранять проект в этом состоянии.
После конвертации вам потребуется переконвертировать фильм ещё раз, но уже быстрым способом. Для этого вам понадобится Adobe Premiere или аналогичные программы, так как вам потребуется фильм в формате, который поддерживает ваша гарнитура. Я всегда выбираю кодек H265 (HEVC).
Имейте в виду, что если у фильма несколько звуковых дорожек, то фильм автоматически конвертируется с английской звуковой дорожкой. Русскую звуковую дорожку вам придётся добавлять уже в другом редакторе самостоятельно. Лучше это сделать до конвертации: удалить все звуковые дорожки, кроме русской.
Результат
После всех долгих ожиданий и усилий вас ждёт отличная награда: вы сможете в полной мере насладиться качеством стерео 4K с частотой 50 кадров в секунду, с чёткой, плавной, насыщенной и яркой картинкой.
Конечно, хотелось бы, чтобы именно такое качество 3D-кино было доступно в интернете, ведь не у всех есть мощные компьютеры для работы с видео рендером и столько времени на его конвертацию. Но имеем то, что имеем.
Благодарю за прочтение этой статьи, удачи вам с конвертацией!