EG3D — нестоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.
Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.
После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.
StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.
EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!
Как же чудесно будущее 3D графики!
Github: https://github.com/NVlabs/eg3d
Project: https://nvlabs.github.io/eg3d/
Video: https://www.youtube.com/watch?v=cXxEwI7QbKg&feature=emb_logo&ab_channel=StanfordComputationalImagingLab
Paper: https://nvlabs.github.io/eg3d/media/eg3d.pdf
Documentation: https://ontomerger.readthedocs.io/
#machinelearning #artificialintelligence #ai #datascience #python #programming #technology #deeplearning #coding #bigdata
