Последние исследования в области применения Neural Radiance Fields (NeRF) доказывают, что алгоритм можно использовать не только для создания 3D-моделей на основе 2D-изображений объектов, но и для хранения информации о сцене и освещении в нейронных сетях.
Единственное, что ограничивает повсеместное использование NeRFs - непомерно высокая вычислительная мощность, необходимая для вычисления каждого объекта. Счет идет на десятки петафлопсов при рендеринге в реальном времени. Особенно если речь идет о визуализации динамичных объектов и динамичных объектах. Например, лучах, которые могут изменяться в зависимости от движения камеры, смены ракурсов и взаимодействия с другими объектами.
Решением этой проблемы занялись исследователи из Грацского технического университета и Facebook Reality Labs. Они совместили NeRF и Depth Oracle Networks для предсказывания образцов лучей. Так на свет появился совершенно новый способ моделирования лучей нейронными сетями - DONeRF. LabelMe ознакомился с исследованием и теперь готов рассказать, как устроен новый алгоритм и чем он так хорош.
Как работает DONeRF
В одной из недавних статьей, подготовленной исследователями Грацского технического университета и Facebook Reality Labs, описывается способ, который может решить эту проблему. Авторы исследования показывают, что количество сэмплов, необходимых для каждого луча, можно уменьшить, если локальные сэмплы размещаются вокруг поверхностей в сцене.
Помочь в этом в может Depth Oracle Networks, которая предсказывает расположение образцов лучей для каждой сцены с помощью одной сетевой оценки. Использование классификационной сети вокруг логарифмически дискретизированных и сферически деформированных значений глубины важно для кодирования местоположений на поверхности, а не для непосредственной оценки глубины.
Комбинация этих методов приводит к DONeRF, дизайну двойной сети с depth oracle network в качестве первого шага и сетью затенения с локальной выборкой для накопления лучей. Это позволяет снизить вычислительные затраты до 48 раз по сравнению с NeRF.
Группа исследователей стали первыми, кто смог отрендерить нейронные представления на основе raymarching с интерактивной частотой кадров (15 кадров в секунду при 800x800) на одном графическом процессоре.
Поскольку мы фокусируемся на важных частях сцены вокруг поверхностей, мы достигаем такого же или лучшего качества по сравнению с NeRF. - выдержка из статьи.
Синтез изображения в реальном времени
Благодаря новой схеме выборки Depth Oracle Networks, DONeRF достигает качества аналогичного NeRF, использующего в общей сложности 256 выборок. Всего с 4 образцами (сравнение с NeRF ниже) DONeRF достигает ускорения в 20-48 раз при том же качестве. Ниже вы найдете коллажи с результатами визуализации DONeRF, NeRF и Ground Truth Blender.
Предсказания Depth Oracle
Depth Oracle предсказывает несколько потенциальных кандидатов на выборку вдоль каждого луча, дискретизируя пространство вдоль лучей и прогнозируя вероятности выборки.
3 цветовых канала кодируют 3 наивысшие вероятности вдоль луча - значения серого показывают, что существует только одна поверхность. А цветные значения указывают на то, что образцы должны быть распределены по глубине. Даже относительно грубое предсказание глубины достаточно для DONeRF, чтобы эффективно размещать образцы.
Оценка различий через FLIP
Для сравнения полученных файлов и создания карт ошибок исследователи использовали софт от Nvidia - FLIP. Это средство оценки различий для чередующихся изображений. Оно позволяет моделировать вероятно того, что люди будут воспринимать ошибки при «переключении» между изображением и целевым выводом.
Даже здесь DONeRF показывает аналогичные или лучшие результаты при значительно более низких требованиях к производительности, чем NeRF.
Заключение
Группе исследователей действительно удалось создать применимый на практике алгоритм, который потребляет в разы меньше вычислительных мощностей. С его помощью рендеринг в реальном времени доступен практически каждому, что дает огромный потенциал для начинающих специалистов, студентов и стартапов.
Чтобы было проще разобраться в работе DONeRF, оставляем ссылку на полную версию статью. Мы продолжаем пристально следить за развитием алгоритма, а вам рекомендуем испытать его в деле.
Другие наши статьи:
Почему разметка данных в LabelMe на 25% быстрее, чем на биржах
Как ускорить кластеризацию k-средних в 8 раз и допускать в 27 раз меньше ошибок
Model Search: новая платформа от Google для поиска оптимальной модели машинного обучения
