Благодаря приложению Prisma все знают, что нейросети могут переносить стиль картин на фотографии. Но ведь нейросети могут и сами генерировать картины. Команда американских исследователей разработала интересную схему, позволяющую создавать картины в новых стилях. Вот как она работает.
Одна нейросеть - тупой генератор, который ничего не знает об искусстве. Он начинает генерировать картины случайным образом, то есть буквально рисовать всякую фигню. Вторая нейросеть (дискриминатор) - умная. Ей показали 82 тысячи картин в разных стилях. Дискриминатор умеет не только отличать искусство от беспорядочной мазни, но и определять стиль картины. Реализм, импрессионизм, кубизм, экспрессионизм - всего 25 стилей.
Первая нейросеть постоянно пытается обмануть вторую. Она создаёт свою случайную мазню, отправляет её в дискриминатор и получает ответ - "искусство" это или нет. Если нет, нейросеть перенастраивается, чтобы в следующей итерации все-таки обмануть дискриминатор.
Кроме того, если дискриминатор видит в сгенерированной картинке "искусство", он пытается узнать стиль картины. И если этот стиль сильно похож на те, которые дискриминатор уже знает, он возвращает генератору сигнал - мол, такое мы уже видели, давай что-то новое. То есть генератор должен не просто создать картину, которую дискриминатор посчитает искусством, но и создать её в таком стиле, которого дискриминатор раньше не видел. В этом вся задумка исследования - нейросеть должна не просто воспроизводить известные художественные стили, но и создавать новые.
Ну и главное: когда полученные картины показали людям и попросили оценить наряду с обычным современным искусством, многие машинные картины получили даже высшую оценку, чем "настоящие", человеческие. Здесь авторы исследования немного недоработали: было бы классно, если бы они продали одну из таких картин на ярмарке современного искусства, и только потом раскрыли секрет её авторства. Но и так неплохо получилось.
Что ещё почитать по теме
Как работают генеративные нейросети (Wired)
Как работает перенос стиля в приложениях вроде Prisma (Telegram)
