Apple выложила в открытый доступ исследование и модель SHARP, которая умеет превращать обычную 2D-фотографию в фотореалистичную 3D-сцену меньше чем за секунду. Алгоритм восстанавливает глубину, масштаб и расстояния так, чтобы они соответствовали реальному миру, а затем позволяет «осмотреться» вокруг точки съёмки, меняя угол обзора почти в реальном времени.
В основе SHARP лежит подход с так называемыми 3D-гауссианами — это миллионы небольших «облаков» цвета и света, размещённых в пространстве. Обычно для такого результата требуются десятки или даже сотни снимков сцены с разных ракурсов, но Apple пошла другим путём: нейросеть предсказывает всю 3D-сцену сразу по одному изображению, за один проход и без долгой оптимизации.
Добиться этого удалось за счёт обучения на большом массиве синтетических и реальных данных. Модель выучила типичные закономерности глубины и геометрии, поэтому на новом фото сначала оценивает расстояния, а затем мгновенно собирает правдоподобную 3D-сцену. Не обошлось и без компромиссов: SHARP хорошо работает с близкими ракурсами, но не дорисовывает то, чего совсем не было видно на исходном снимке.
Apple заявляет заметный прирост качества по сравнению с предыдущими методами и сокращение времени генерации на порядки. SHARP уже доступна на GitHub, а пользователи уже активно экспериментируют с ней. В сети можно найти примеры с преображением личных фото, пейзажами, гоночными болидами и даже поверхностью Венеры.