Исследователи из Калифорнийского университета в Санта-Барбаре, лаборатории Disney Research и мультипликационной студии Pixar Animation Studios научили нейросеть убирать шум с рендеров кадров мультфильмов или смоделированных на компьютере объектов в фильмах. Согласно сообщению университета, подробности об этом будут представлены на конференции компьютерной графики SIGGRAPH в Лос-Анджелесе 31 июля — 3 августа 2017 года.
При составлении сцены на компьютере мультипликаторам или специалистам по компьютерным эффектам приходится работать со множеством параметров, включая наложение текстур, освещение с множеством источников и взаимодействие объектов. Сперва сцена составляется на уровне каркасов, а затем уже отправляется на рендер. Во время этого процесса компьютер кадр за кадром просчитывает мультфильм, накладывая текстуры и отрисовывая освещенность в соответствии с расположением источников света.
Процесс рендера занимает очень много времени, причем чем сложнее сцена с точки зрения множества объектов и освещения, тем дольше будет идти рендер кадров. Для ускорения процесса аниматоры обычно идут на некоторые упрощения, которые обычно при просмотре фильма незаметны. В первую очередь из сцены убираются лишние источники света, а также производится упрощение каркасов 3D-моделей. В итоге во время рендера особенно затемненных сцен на готовом изображении может появляться шум, напоминающий «зерно» на старых фотографиях.
Обученная американскими исследователями нейросеть научилась эффективно убирать такой шум, не причиняя вреда изображению. Обучение нейросети производилось на базе неудачных рендеров из мультфильма «В поисках Дори». Позднее уже обученную нейросеть проверили на мультфильмах «Тачки 3» и «Тайна Коко». Во всех случаях шум с готовых изображений был полностью удален, причем качество уже готового изображения практически соответствовало качеству рендеров, полученных при расчете