Освещение играет решающую роль, когда дело доходит до визуального повествования
Будь то кино или фотография, создатели контента тратят бесчисленные часы и часто значительные бюджеты, чтобы создать идеальное освещение для своего кадра. Но как только фотография или видео сняты, освещение по сути фиксируется. Последующая регулировка, задача, называемая «переосвещением», обычно требует трудоемкой ручной работы опытных мастеров.
В то время как некоторые инструменты генеративного ИИ пытаются решить эту задачу, они полагаются на крупномасштабные нейронные сети и миллиарды обучающих изображений, чтобы угадать, как свет может взаимодействовать со сценой. Но этот процесс часто представляет собой черный ящик; Пользователи не могут напрямую управлять освещением или понимать, как был получен результат, что часто приводит к непредсказуемым результатам, которые могут отклоняться от исходного содержимого сцены. Получение желаемого результата часто требует быстрой разработки и метода проб и ошибок, что препятствует творческому видению пользователя.
В новой статье, которая будет представлена в этом году на конференции SIGGRAPH в Ванкувере, исследователи из Лаборатории вычислительной фотографии в Сан-Франциско предлагают другой подход к повторному освещению. Их работа «Физически контролируемое переосвещение фотографий» привносит явный контроль над освещением, обычно доступный в программном обеспечении компьютерной графики, таком как Blender или Unreal Engine, для редактирования изображений и фотографий.
Если у вас есть фотография, метод начинается с оценки 3D-версии сцены. Эта 3D-модель отображает форму и цвета поверхности сцены, при этом намеренно отсутствует какое-либо освещение. Создание этого 3D-представления стало возможным благодаря предыдущим работам, в том числе ранее разработанным исследованиям Лаборатории вычислительной фотографии.
«После создания 3D-сцены пользователи могут разместить в ней виртуальные источники света, как в реальной фотостудии или программном обеспечении для 3D-моделирования», — объясняет Крис Кареага, аспирант SFU и ведущий автор работы. «Затем мы интерактивно моделируем источники света, определенные пользователем, с помощью хорошо зарекомендовавших себя методов компьютерной графики».
В результате получается грубый предварительный просмотр сцены при новом освещении, но сам по себе он выглядит не совсем реалистично, объясняет Кареага. В этой новой работе исследователи разработали нейронную сеть, которая может преобразовать этот грубый предварительный просмотр в реалистичную фотографию.
«Уникальность нашего подхода заключается в том, что он предоставляет пользователям тот же вид управления освещением, который вы ожидаете от 3D-инструментов, таких как Blender или Unreal Engine», — добавляет Кареага. «Моделируя источники света, мы гарантируем, что наш результат — это физически точное воспроизведение желаемого пользователем освещения».
Их подход позволяет вставлять в изображения новые источники света и реалистично взаимодействовать с сценой. В результате появляется возможность создавать релит-образы, которых ранее было невозможно достичь.
Система повторного освещения команды в настоящее время работает со статическими изображениями, но команда заинтересована в расширении функциональности видео в будущем, что сделает ее бесценным инструментом для художников и кинематографистов VFX.
«Поскольку эта технология продолжает развиваться, она может сэкономить независимым кинематографистам и создателям контента значительное количество времени и денег», — объясняет доктор Ягыз Аксой, возглавляющий лабораторию вычислительной фотографии в СФУ. «Вместо того, чтобы покупать дорогостоящее осветительное оборудование или переснимать сцены, они могут вносить реалистичные изменения в освещение постфактум, не фильтруя свое творческое видение с помощью генеративной модели искусственного интеллекта».