12. Перенос стиля: превращаем обычные фотографии в произведения искусства 🎨🖼️

В предыдущих постах мы рассмотрели генерацию текста и классификацию изображений. Сегодня мы познакомимся с захватывающей областью – переносом стиля (style transfer), где мы будем использовать одну фотографию (контент) и переносить стиль другой фотографии (стиль) на первую, создавая уникальное произведение искусства.

1. Что такое перенос стиля?

Перенос стиля – это метод, использующий глубокое обучение для переноса художественного стиля одного изображения (стилевого изображения) на содержание другого изображения (контентного изображения). Результат - новое изображение, которое сохраняет структуру и содержание контентного изображения, но с визуальными характеристиками стилевого изображения.

2. Как это работает?

Перенос стиля использует сверточные нейронные сети (CNN), особенно VGG19, для извлечения признаков как из контентного, так и из стилевого изображения.

• Контентное изображение: CNN извлекает признаки, представляющие содержание изображения. Слои CNN, находящиеся ближе к концу сети, захватывают более высокоуровневые признаки, представляющие структуру объектов.
• Стилевое изображение: CNN извлекает признаки, представляющие стиль изображения. Слои CNN улавливают различные аспекты стиля, такие как текстуры, цвета и узоры.
• Генерация нового изображения: Создается новое изображение, которое минимизирует разницу между его контентными признаками и контентными признаками контентного изображения, а также минимизирует разницу между его стилевыми признаками и стилевыми признаками стилевого изображения.

3. Реализация переноса стиля с помощью TensorFlow:

Мы будем использовать TensorFlow для реализации переноса стиля. Этот код требует значительных вычислительных ресурсов, поэтому рекомендуется использовать GPU.

__________________________________________________________________________________________

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.applications import vgg19
from tensorflow.keras import backend as K

# 1. Загрузка и предобработка изображений

def load_and_process_img(path):
img = tf.io.read_file(path)
img = tf.image.decode_image(img, channels=3) # Указываем 3 канала (RGB)

img = tf.image.convert_image_dtype(img, tf.float32)
img = tf.image.resize(img, (img_height, img_width))
img = vgg19.preprocess_input(img * 255) # Предобработка для VGG19

return img

def deprocess_img(processed_img):
x = processed_img.copy()
if len(x.shape) == 4:
x = np.squeeze(x, 0)
assert len(x.shape) == 3, ("Input to deprocess image must be an image of " "dimension [1, height, width, channel] or [height, width, channel]")
if len(x.shape) != 3:
raise ValueError("Invalid input to deprocessing image")

x[:, :, 0] += 103.939 x[:, :, 1] += 116.779 x[:, :, 2] += 123.68 x = x[:, :, ::-1]

x = np.clip(x, 0, 255).astype('uint8')
return x


# Загрузите изображения content and style. Укажите правильные пути к файлам content_path = 'path/to/your/content_image.jpg' style_path = 'path/to/your/style_image.jpg'
# Определите размеры изображений

img_height = 512

img_width = 512
content_img = load_and_process_img(content_path)
style_img = load_and_process_img(style_path)


# 2. Создание модели VGG19 и определение слоев

# Создайте экземпляр модели VGG19

vgg = vgg19.VGG19(include_top=False, weights='imagenet')
vgg.trainable = False
# Выберите слои, которые будут использоваться для контента и стиля content_layers = ['block5_conv2']

style_layers = ['block1_conv1',
'block2_conv1',
'block3_conv1',
'block4_conv1',
'block5_conv1']

num_style_layers = len(style_layers)

# Функция для создания модели, возвращающей выходы выбранных слоев

def get_model():
style_outputs = [vgg.get_layer(name).output for name in style_layers]
content_outputs = [vgg.get_layer(name).output for name in content_layers]
model_outputs = style_outputs + content_outputs
return tf.keras.Model(vgg.input, model_outputs)

model = get_model()

# 3. Вычисление потерь (loss)

# Функция для вычисления грам-матрицы (стилевой loss)

def gram_matrix(input_tensor):
channels = int(input_tensor.shape[-1])
a = tf.reshape(input_tensor, [-1, channels])
n = tf.shape(a)[0]
gram = tf.matmul(a, a, transpose_a=True)
return gram / tf.cast(n, tf.float32)


# Функция для вычисления стилевого loss

def style_loss(style_outputs, generated_outputs):
style_loss = tf.add_n([tf.reduce_mean((gram_matrix(style_output) - gram_matrix(generated_output))**2)
for style_output, generated_output in zip(style_outputs, generated_outputs)])
style_loss *= style_weight / num_style_layers
return style_loss

# Функция для вычисления контентного loss

def content_loss(content_outputs, generated_outputs):
content_loss = tf.add_n([tf.reduce_mean((content_output - generated_output)**2)
for content_output, generated_output in zip(content_outputs, generated_outputs)])
content_loss *= content_weight
return content_loss

# Функция для вычисления total loss

def total_loss(generated_img, style_img, content_img, model):
model_outputs = model(generated_img)
style_outputs = model_outputs[:num_style_layers]
content_outputs = model_outputs[num_style_layers:]

style_loss_val = style_loss(model(style_img)[:num_style_layers], style_outputs)
content_loss_val = content_loss(model(content_img)[num_style_layers:], content_outputs)
loss = style_loss_val + content_loss_val
return loss

# 4. Оптимизация

# Определите веса для style loss and content loss

style_weight = 1e-2 content_weight = 1e4
# Оптимизатор

optimizer = tf.optimizers.Adam(learning_rate=0.02, beta_1=0.99, epsilon=1e-1)

# Функция для вычисления градиентов и применения оптимизации @tf.function()

def train_step(generated_img, style_img, content_img, model):
with tf.GradientTape() as tape:
loss = total_loss(generated_img, style_img, content_img, model)

gradients = tape.gradient(loss, generated_img)
optimizer.apply_gradients([(gradients, generated_img)])
generated_img.assign(tf.clip_by_value(generated_img, clip_value_min=-1.4, clip_value_max=1.4))


# 5. Обучение и визуализация

# Создайте сгенерированное изображение (начните со случайного шума) generated_img = tf.Variable(tf.random.normal((1, img_height, img_width, 3)), dtype=tf.float32)

# Количество итераций

epochs = 10

steps_per_epoch = 100
for n in range(epochs):
for m in range(steps_per_epoch):
train_step(generated_img, style_img, content_img, model)
print(".", end='')
print("Train step: {}".format(n))

# Отобразите сгенерированное изображение

final_img = deprocess_img(generated_img.numpy())
plt.imshow(final_img)
plt.show()

___________________________________________________________________________________python

Разберем код:

• load_and_process_img(path) – загружает изображение, изменяет его размер и предобрабатывает его для VGG19.
• deprocess_img(processed_img) – преобразует обработанное изображение обратно в формат, пригодный для отображения.
• vgg19.VGG19(include_top=False, weights='imagenet') – создает модель VGG19 без полносвязных слоев и загружает предварительно обученные веса ImageNet.
• get_model() – создает модель, которая возвращает выходы выбранных слоев VGG19.
• gram_matrix(input_tensor) – вычисляет грам-матрицу для заданного тензора, которая используется для определения стиля изображения.
• style_loss(style_outputs, generated_outputs) – вычисляет потерю стиля между стилистическим изображением и сгенерированным изображением.
• content_loss(content_outputs, generated_outputs) – вычисляет потерю содержания между контентным изображением и сгенерированным изображением.
• total_loss(generated_img, style_img, content_img, model) – вычисляет общую потерю, которая является суммой потери стиля и потери контента.
• train_step(generated_img, style_img, content_img, model) – выполняет один шаг оптимизации, вычисляя градиенты и применяя их к сгенерированному изображению.

4. Что дальше?

• Изменение весов стиля и контента: Экспериментируйте с разными весами стиля и контента, чтобы получить разные результаты.
• Использование других слоев: Измените слои, используемые для извлечения признаков стиля и контента.
• Использование других моделей CNN: Попробуйте использовать другие модели CNN, такие как ResNet или Inception.
• Увеличение разрешения изображений: Попробуйте использовать изображения большего разрешения.
• Перенос стиля в реальном времени: Использование более быстрых алгоритмов для переноса стиля в реальном времени.

Вопрос дня: Какие картины или стили искусства вам кажутся наиболее интересными для переноса на фотографии? Поделитесь в комментариях! 👇

#переносстиля #styletransfer #tensorflow #глубокоеобучение #deeplearning #искусственныйинтеллект #ai #ml #компьютерноезрение #vgg19 #python #дляначинающих #технологии #дзен #канал