Найти в Дзене

Нейронные сети и искусство часть 2: перенос стилей.

Продолжение серии статей об искусстве и нейронных сетях. Сегодня мы поговорим про еще один метод создания настоящих произведений искусства для нейронных сетей, который называется перенос стилей (или по-английски style-transfer). Итак, у нас есть два изображения одно из них выполнено в оригинальном стиле, другое содержит некоторый контент, который нас интересует. Мы хотим, чтобы второе изображение было перерисовано в стиле первого. Например, есть изображение пейзажа и абсолютно другой пейзаж, выполненный в крутом стиле. Нейронная сеть позволяет перенести стиль со второй на первую (смотрите картинку ниже) Как же это работает? Нейронные сети учатся оптимизировать некоторые функционал. Например, когда классифицируем кошечек, мы стараемся минимизировать количество неправильно классифицированных. Здесь нейронная сеть работает схожим образом, только мы минимизирует разницу между контентом первого изображения и стилем второго. Для этого нужно немного математики, для тех кто захочет разобраться

Продолжение серии статей об искусстве и нейронных сетях.

Сегодня мы поговорим про еще один метод создания настоящих произведений искусства для нейронных сетей, который называется перенос стилей (или по-английски style-transfer).

Перенос стилей в действии
Перенос стилей в действии

Итак, у нас есть два изображения одно из них выполнено в оригинальном стиле, другое содержит некоторый контент, который нас интересует. Мы хотим, чтобы второе изображение было перерисовано в стиле первого.

Например, есть изображение пейзажа и абсолютно другой пейзаж, выполненный в крутом стиле. Нейронная сеть позволяет перенести стиль со второй на первую (смотрите картинку ниже)

https://github.com/luanfujun/deep-photo-styletransfer
https://github.com/luanfujun/deep-photo-styletransfer

Как же это работает?

Нейронные сети учатся оптимизировать некоторые функционал. Например, когда классифицируем кошечек, мы стараемся минимизировать количество неправильно классифицированных. Здесь нейронная сеть работает схожим образом, только мы минимизирует разницу между контентом первого изображения и стилем второго. Для этого нужно немного математики, для тех кто захочет разобраться вот ссылка на отличный разбор: https://habr.com/ru/post/453512/

Еще несколько примеров:

https://github.com/luanfujun/deep-photo-styletransfer
https://github.com/luanfujun/deep-photo-styletransfer

https://github.com/luanfujun/deep-photo-styletransfer
https://github.com/luanfujun/deep-photo-styletransfer

Попробовать самим можно здесь: https://github.com/luanfujun/deep-photo-styletransfer

Разобраться детально: https://habr.com/ru/post/453512/

В следующей раз поговорим про настоящую галерею нейросетевого искусства!

%