Исследователи из Китая создали нейросеть, способную создавать пиксельные изображения из обычных картинок и, что более важно, восстанавливать пиксельное изображение обратно в картинку. Для обучения нейросети был выбран метод обучения «без учителя», благодаря чему было сокращено время на обучение программы вручную. Данная технология будет показана на техническом форуме SIGGRAPH Asia 2018.
Пиксельная графика, или пиксель-арт, очень часто используется в видеоиграх для экономии ресурсов или создания атмосферы игры. В большинстве случаев пиксельную графику приходится отрисовывать вручную, затрачивая на это много сил и времени дизайнеров, которым необходимо упростить образ, но оставить детали, которые позволят узнавать персонажа.
Теперь эта кропотливая работа может выполняться с помощью нейросетей и экономить усилия художников.
Исследователи из Гонконгского университета разработали алгоритм, который способен автоматически преобразовать любое изображение в пиксельную графику. Сперва изображение распознаётся нейросетью, оно разделяется на сегменты, которые считаются «основными». После этого сеть PixelNet преобразует исходный рисунок и создаёт три изображения в пиксель-арте.
Если требуется создать изображение из пиксельного, то алгоритм похожий. Пиксельное изображение отправляется в сеть DepixelNet и на выходе получается три варианта сглаженной картинки.