С помощью нейронной сети исследователи реконструировали изображение, которое художник создал и закрасил во время своего синего периода.
Старый гитарист, вероятно,самая известная картина из синего периода Пикассо. Она датируется 1903-1904 годами, когда молодой художник жил в нищете в Париже. Пикассо использовал синий цвет, чтобы изобразить эмоциональную боль и отчаяние, которые он испытывал в то время.
Но Старый гитарист интересен и по другой причине. Искусствоведы уже давно отмечают наличие призрачного женского лица, слабо видимого под краской. В 1998 году консерваторы в Чикагском художественном институте, где висит картина, сфотографировали ее с помощью рентгеновских лучей и инфракрасного света, чтобы увидеть, что лежит под поверхностью.
Эти изображения показывают совершенно другую картину. На ней изображена сидящая женщина, протягивающая левую руку. Затем исследователи сравнили эту картину с композицией, которую Пикассо набросал в письме к своему коллеге в то время.
Находки завораживали мир искусства. Художники часто закрашивают более ранние работы, особенно в периоды нищеты, когда холст находится в дефиците.
Новый образ обеспечил важное понимание прогресса работы Пикассо, его предметов и его мышления в течение его синего периода. Поскольку он, возможно, самый важный художник 20-го века, это чрезвычайно важно.
Но с эстетической точки зрения то, что удалось обнаружить исследователям, разочаровывает. Инфракрасные и рентгеновские изображения показывают только самые слабые контуры, и хотя они могут быть использованы для определения количества краски, используемой художником, они не показывают цвет или стиль. Поэтому способ более реалистично восстановить утраченную картину представлял бы огромный интерес.
Энтони Бурбачед и Джордж Канн из Университетского колледжа Лондона впервые применили технику машинного зрения, называемую нейронным переносом стиля, чтобы восстановить потерянную картину Пикассо в цвете. Их подход позволяет рассматривать картину как часть синего периода художника.
Исследователи использовали тот же метод, чтобы восстановить потерянные картины других художников и говорят, что он имеет потенциал для преобразования способа работы искусствоведов.
Сначала немного фона. Neural style transfer был разработан в 2015 году Леоном Гатисом и его коллегами из Университета Тюбингена в Германии. Это происходит из увлекательного понимания того, как нейронные сети учатся распознавать изображения различных видов.
Нейронные сети состоят из слоев, которые анализируют изображение в разных масштабах. Первый слой может распознавать широкие объекты, такие как ребра, следующий слой видит, как эти ребра образуют простые фигуры, такие как круги, следующий слой распознает узоры фигур, такие как два круга, близких друг к другу, и еще один слой может помечать эти пары кругов как глаза.
Такая сеть была бы способна распознавать глаза на картинах в самых разных стилях, от Леонардо да Винчи до Ван Гога и Пикассо. В каждом случае глаза образуют подобную картину, которую машина может выделить.
Gatys and co пошли дальше, обучая такую сеть распознавать художественный стиль; например, чтобы отличить Ван Гога от Пикассо.
Их ключевым открытием было то, что способность различать стиль была полностью отделена от способности видеть лица или другие объекты. На самом деле, Gatys и co смогли отделить эту способность и использовать ее в обратном порядке. Они ввели изображение в нейронную сеть, которая затем наложила стиль на изображение.
Этот процесс позволил им преобразовать любое изображение в стиль другого художника.
Этот процесс работает так же хорошо с Пикассо, что позволяет создавать изображение в стиле кубистических картин Пикассо, или его розового периода, или действительно его синего периода.
Вот тут-то и появляются Бурбач и Канн. Они взяли вручную отредактированную версию рентгеновских снимков призрачной женщины подстарым гитаристом и пропустили ее через нейронную сеть передачи стиля. Эта сеть была обучена преобразовывать изображения в стиле другого произведения искусства из голубого периода Пикассо.
В результате получилась полноцветная версия картины именно в том стиле, который изучал Пикассо, когда писал ее. “Мы представляем новый метод реконструкции утраченного произведения искусства, применяя нейронный перенос стиля к рентгенограммам произведений искусства со вторичным внутренним произведением искусства под первичным внешним, чтобы восстановить утраченное произведение искусства", - говорят они.
Конечно, нет никакого способа узнать, что Пикассо нарисовал образ таким образом. Но Bourached и Cann говорят, что их цель-расширить представление о намерениях, ошибках и размышлениях художника, реконструируя произведение искусства, которое было скрыто. "Наш метод объединения оригинального, но скрытого художественного произведения, субъективного человеческого вклада и передачи нейронного стиля помогает расширить представление о творческом процессе художника”, - говорят они.
Это интересная работа, которая дает новый способ воспроизведения и изучения утраченных произведений искусства. И это не единственная потерянная картина, которую они восстановили. Команда также воспроизвела изображение, которое, как считается, было создано испанским художником Сантьяго Русиньолем и которое затем было впоследствии закрашено Пикассо в 1904 году.
Это, безусловно, только начало.