Введение
JoJoGAN — это алгоритм переноса стиля, позволяющая перенести стиль из аниме Jojo на фотографию.
Хотя алгоритм называется JoJoGAN, он может быть обучен под любой стиль, но не только стиль JoJo (то есть стиль аниме под названием JoJo).
В примере мы обучали алгоритм под стиль рисовки Arcane.
JoJoGAN Workflow
Шаг 1: инверсия GAN
Обычно GAN создает изображение из изображений, а которых он был обучен . Использование GAN подразумевает получение скрытого шума из обучающего изображения.
Мы обрабатываем эталонное изображение стиля , чтобы получить скрытый код стиля w = T(y), а затем из этого кода генерируем набор параметров стиля s.
При выборе стиля GAN (кодировщик T) разработчики обычно выбирают между e4e, II2S и ReStyle. После тестов, мы пришли к выводу .что ReStyle дает наиболее точный результат стилизации, которая лучше сохраняет особенности и свойства исходного стиля изображения .
Шаг 2: Обучение модели
Используя механику смешивания стилей StyleGAN, мы можем создать тренировочный набор для точной настройки алгоритма.
StyleGAN имеет 26 слоев модуляции стиля, мы определяем маску M ∈ {0, 1}²⁶, которая представляет собой массив длины 26, хранящий либо 0, либо 1. Включая M (1) и выключая (0) в разных слоев мы можем смешивать s и s(FC(zᵢ)) для создания множества пар (sᵢ, y) для нашего тренировочного набора.
Мы создаем новые коды стиля, используя sᵢ = M · s+(1−M) · s(FC(zᵢ)).
Если вы не знаете, как работает механика смешивания стилей StyleGAN, это просто смешивание разных кодов стилей в разных слоях нс для создания разных выходных данных.
Для более подробной информации вы можете прочитать статью: https://medium.com/@steinsfu/stylegan-vs-stylegan2-vs-stylegan2-ada-vs-stylegan3-c5e201329c8a
Шаг 3: Настройка модели
Используя обучающий набор sᵢ, мы можем точно настроить StyleGAN, чтобы изображения, сгенерированные при смешивание стилей sᵢ, были близки к эталонному изображению стиля y.
Шаг 4. Стилизуем новые лица
После точной настройки StyleGAN мы можем применить к нашему изображение полученные коды стилей, а затем сгенерировать изображение, используя точно настроенный StyleGAN (который применит целевой стиль к сгенерированному изображению).
Результат
Готовый к использованию код: https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb
Github: https://github.com/mchong6/JoJoGAN
Paper: https://arxiv.org/pdf/2112.11685v1.pdf
Tasks: https://paperswithcode.com/task/face-generation
,