Исследователи Meta* и Оксфордского университета заявили, что создали настоящую технологию преобразования картинок в 3D-модели с помощью нейросетей. Авторы проекта рассказали, как работает фирменный ИИ-алгоритм, и продемонстрировали его возможности.
Технология называется VFusion3D. Её главная особенность — возможность работы с одним исходным изображением. На его основе ИИ генерирует объёмный объект даже с тех ракурсов, которые не попали на фото. Технически алгоритм «видит» объект на картинке, «вспоминает» похожий предмет из набора данных, на котором его обучали, и создаёт 3D-модель «по памяти».
По заявлению разработчиков, VFusion3D превосходит уже существующие аналоги (например, OpenLRM и LGM) по качеству готовых моделей. Во всяком случае, это следует из результатов опроса тестовой группы пользователей. По заявлению авторов проекта, с задачей ИИ справляется «за считаные секунды».
Нейросеть работает на базе модели EMU Video, разработанной Meta*. Изначальная цель её создания — генерация видео по текстовому описанию. Но разработчики смогли приспособить её и для создания 3D-моделей.
Опробовать VFusion3D в действии можно на сайте Hugging Face (обычно сервис перегружен), а скачать исходный код — на GitHub.
* Компания Meta признана экстремистской организацией в России