Сегодня пойдёт речь об одной из самых многообещающих технологий в области 3D-графики последних лет, которая позволяет создавать фотореалистичные сцены с минимальными затратами ресурсов. Метод способен сделать создание высококачественной графики доступной не только крупным студиям, но и независимым разработчикам, а также изменить подходы к визуализации в играх, виртуальной реальности и интерактивных веб-приложениях.
Источник изображения: Sem Verbraak / zuncreative.com
Что такое гауссов сплэтинг
Гауссов сплэтинг (от англ. «Gaussian splatting») — это современный метод захвата и рендеринга, который превращает обычные фотографии или видео в объёмную 3D‑сцену в реальном времени. Технология напоминает фотограмметрию, то есть воссоздание модели по снимкам, но требует гораздо меньше ресурсов.
Сцена строится не из привычных полигонов-треугольников, а из множества 3D-гауссианов — математических эллипсоидов, описывающих цвет, форму и прозрачность объекта. При проецировании этих эллипсоидов на экран они превращаются в двумерные пятна, называемые сплэтами. Их совокупность на экране образует мягкое объёмное изображение.
Источник изображения: evergine.com
Особенность рендеринга заключается в тайловой растеризации. Экран разбивается на квадратные тайлы размером 16×16 пикселей. Гауссианы сортируются по глубине на видеокарте, а затем каждый пиксель смешивает цвета спереди назад, используя альфа-композитинг. Вместо потоковой передачи высококачественных текстур GPU в основном проецирует и смешивает сплэты, поэтому производительность такая высокая.
Место среди других методов 3D‑графики
Идея сплэтинга не нова, ей более 30 лет. В 1991 году Ли Уэстовер предложил проецировать цветное пятно на поверхность для быстрой визуализации объёмных данных. Настоящий прорыв произошёл в 2023 году, когда группа исследователей представила трёхмерный гауссов сплэтинг для рендеринга в реальном времени, за что и получила награду SIGGRAPH.
Сегодня существуют три основных способа отображения 3D‑мира:
Традиционная компьютерная графика на основе полигонов. Эффективна, но результат часто выглядит искусственно, требуя огромной работы над текстурами и освещением.
Нейронные поля излучения, или NeRF, использующие нейросети для реконструкции сцены по лучам. Обучение занимает часы или дни, а рендеринг даёт лишь 1–10 FPS, что слишком медленно для интерактивных приложений.
Гауссов сплэтинг. Сцена из миллионов мягких «капель» обучается на GPU за 7–45 минут в зависимости от сложности, качество на уровне NeRF или выше. Рендеринг достигает 100–200 FPS при разрешении 1080p.
Пример NeRF-сценыИсточник изображения: EveryPoint / YouTube
NeRF-сцены в среднем занимают 10–50 МБ, а несжатый сплэт может весить от 500 МБ до 1,5 ГБ. Однако современные алгоритмы сжатия способны сократить размер сплэтов на 90%.
Как создаются сплэты
Есть много бесплатных приложений, открытых библиотек и плагинов, связанных с данной технологией. Приложение Scaniverse от Niantic является одним из самых доступных бесплатных способов опробовать технологию. Оно обрабатывает сплэты прямо на смартфоне за несколько минут, не загружает данные в облако и позволяет экспортировать результат.
Но для профессиональной работы потребуются несколько часов съёмки на зеркальную камеру или многокамерную систему. Необходимое разрешение снимков зависит от размера окружения, расстояния, поля зрения и нужной детализации. Более низкое разрешение компенсируется большим количеством кадров. Для небольшого объекта хватит 100–200 фотографий по спирали, а для комнаты от 200 до 500. Перекрытие между соседними кадрами должно быть 70–80%. Съёмка должна вестись с разной высоты. Современные флагманские смартфоны снимают в подходящем качестве.
Путь от снимков до фотореалистичной сцены обычно состоит из двух этапов. Сначала программа вроде COLMAP анализирует фотографии, определяет положение камеры и строит разреженное облако точек. Это своего рода «скелет» будущей сцены. Затем каждая точка этого облака превращается в 3D-гауссиан.
Источник изображения: Dylan Ebert / huggingface.co
Объём исходных данных может сильно различаться. В некоторых проектах он может доходить до терабайтов занятого пространства, но для любителя-энтузиаста или инди-разработчика это, как правило, десятки гигабайт. Важно понимать, что постобработка включает ручную очистку фотографий, исправление артефактов, повторную съёмку неудачных участков и пробные запуски с разными параметрами, что в сумме может занимать несколько дней.
Алгоритм уточняет параметры каждого гауссиана, а именно его положение, форму, прозрачность и цвет, добиваясь максимального сходства с исходными фотографиями. Цвет кодируется с помощью сферических гармоник, математических функций, отвечающих за изменение оттенка в зависимости от угла обзора. Именно это даёт реалистичные блики и переливы.
Источник изображения: Dylan Ebert / huggingface.co
В начале обучения виден хаос из разбросанных сплэтов, но постепенно они собираются в связную картинку. Адаптивный контроль плотности каждые 100 итераций автоматически разбивает слишком крупные гауссианы и добавляет новые там, где не хватает деталей. Всего требуется около 30 000 итераций. На выходе получается не набор изолированных точек, а «живое» изображение, которое можно свободно вращать и приближать.
Источник изображения: Dylan Ebert / huggingface.co
Формат и размеры
После экспорта сцены обычно занимают 2–4 ГБ без сжатия. А вот, например, большая и непрерывная сцена, насчитывающая около 130 миллионов сплэтов, может занимать 16 ГБ. При этом речь идёт всего лишь об очень детализированном объекте, а не огромном пространстве.
Стандартным форматом хранения является PLY. Он содержит позицию, масштаб, поворот, прозрачность и коэффициенты сферических гармоник для каждого гауссиана. Несжатый файл велик, около 248 байт на гауссиан, но сжатие быстро развивается. Так, формат SPZ от Niantic под лицензией MIT даёт 90% сжатия за счёт квантования, превращая файл размером 250 МБ в 25 МБ.
В пример можно привести сцену церкви Кефермаркта под названием Pfarrkirche Kefermarkt, которая выиграла «Сплэт года» на Polys Immersive Awards 2025, открыв многим глаза на потенциал технологии в сохранении культурного наследия.
Демо PlayCanvas с самоорганизующимися гауссианами позволило сжать сцену с 1 ГБ до 55 МБ почти без потери качества. Стоя между скамьями, можно любоваться алтарём XV века, хотя при приближении становятся видны отдельные сплэты.
Интеграция с игровыми движками
Для Unity, Unreal Engine 5, Blender и веб-платформ уже существуют бесплатные плагины и расширения. Они позволяют импортировать, редактировать и рендерить сплэты. Например, можно перенести готовую сцену в движок для создания игры или использовать в VR. Для веба доступны инструменты, превращающие сплэт-сцену в HTML-страницу для просмотра в браузере.
В качестве наглядного примера практической реализации можно привести разработчика Якова Сумыгина, создавшего демо-версию шутера от первого лица. В этом проекте сцена была полностью построена внутри сплэта реального заброшенного здания, отсканированного художником Кристофом Шинделаром. Проект Gaussian Splatting FPS работает прямо в браузере на движке PlayCanvas.
Источник изображения: tomshardware.com
Требования к железу
Для обучения предпочтительны видеокарты Nvidia. Самым важным параметром является объём видеопамяти, поскольку все данные кэшируются на карте. Мощность тоже важна, но не так критична. Оригинальная реализация метода требует 24 ГБ VRAM для полного цикла, что соответствует уровню RTX 3090 или 4090. Однако можно работать и с меньшим объёмом. RTX 3060 с 12 ГБ справится с большинством сцен при сокращении числа итераций до 7–15 тысяч. RTX 2060 с 6–8 ГБ подходит только для маленьких объектов. Встроенная графика не подходит, в таком случае придётся использовать облачные сервисы.
OpenSplat, альтернативная реализация, может обучаться на процессоре, но примерно в 100 раз медленнее. Она поддерживает видеокарты AMD и Apple Metal, позволяя пользователям Mac работать локально без CUDA. Быстрый SSD сильно ускоряет обучение.
Для одного лишь просмотра сплэтов хватит видеокарты уровня GTX 1060 или даже встроенной графики.
Сильные стороны и ограничения
К преимуществам технологии можно отнести её хорошую приспособленность для тонких структур, таких как волосы, провода, листва. Они почти не поддаются традиционной реконструкции на основе полигонов. Благодаря сферическим гармоникам можно захватывать и реалистично передавать отражения, полупрозрачность и другие сложные оптические эффекты.
Шерсть собаки выглядит фантастическиИсточник изображения: Corridor Crew / YouTube
В отличие от фотограмметрии, которая выдаёт сетку, и NeRF, требующих дорогой трассировки лучей, сплэтинг создаёт миллионы размытых эллипсоидов и работает на обычном потребительском оборудовании. Это идеально для VR, интерактивных веб‑страниц и игр.
Однако есть и ограничения. Освещение в сценах чаще всего запекается на этапе съёмки, поэтому динамически менять его сложно. Эту проблему можно смягчить, добавив скрытые сетки для источников света и ловушки теней. Декали и отверстия постепенно можно обрабатывать через параметрическую генерацию сплэтов.
Хотя сплэтинг справляется с зеркалами и стеклом лучше, чем фотограмметрия, они всё равно дают артефакты. Длинные тонкие объекты, например линии электропередач и заборы, тоже страдают, поскольку гауссианы плохо моделируют вытянутые формы.
Редактирование сплэтов пока ограничено. Можно выделять и удалять группы, объединять несколько файлов, но булевы операции и семантическое редактирование остаются лишь темами для дальнейшего развития. Для VR нужна агрессивная оптимизация. На автономных шлемах лучше держать число гауссианов ниже 400 000, чтобы достичь выше 60 FPS.
Кроме того, для измерительных работ сплэтинг пока непригоден. Модель принципиально размыта, визуально красиво, однако точный замер невозможен. Но разрабатываются новые алгоритмы, которые постепенно улучшают ситуацию.
Будущее технологии
Четырёхмерный гауссов сплэтинг, или 4D-GS, уже умеет захватывать динамические сцены со скоростью 80+ FPS при разрешении 800×800, обучаясь около 8 минут. MPEG начала изучать кодирование гауссовых сплэтов, что приведёт к появлению формальных стандартов. А интеграция с языковыми моделями позволила бы искать и изменять фрагменты сцены текстовыми командами без ручного выделения.
В целом технология очень быстро развивается. Отраслевые аналитики сравнивают текущий этап с «моментом JPEG для пространственных вычислений». Через несколько лет доработок и оптимизаций, возможно, нас ждёт настоящий прорыв. Порог входа в данную нишу достаточно низок: достаточно смартфона, бесплатных приложений и браузерного редактора, чтобы начать.
Читайте далее на сайте
YouTube-канал MrBeast достиг рекордного для видеоплатформы количества подписчиков в 500 млн
В России представили концепцию работающей от костра портативной мини-ТЭС на 600 Вт для походов
В США разработали высокотемпературные сплавы для снижения массы двигателей автотранспорта на 15%
Бывшие инженеры SpaceX планируют создать орбитальное такси
Lenovo представила 15‑дюймовый ноутбук Yoga Pro 7 15ASH11 с OLED-дисплеем 1100 нит и до 96 ГБ VRAM