Как машина классифицирует стили в искусстве? И как это связано с методами анализа стиля историками и искусствоведами?
Несколько исследований показали способность машин изучать и предсказывать такие стили, как ренессанс, барокко, импрессионизм и т.д. по образам картин. Это означает, что алгоритм может изучить отличительные особенности внутренней кодировки произведений искусства, исследуя их визуально.
Ученые провели комплексное исследование ряда современных сложных нейронных сетей, применяемых для классификации стилей на изображениях картин, и проанализировали полученные представления путем корреляционного анализа с концепциями, полученными из истории искусства.
Удивительно, но сети могут располагать произведения искусства во временной последовательности, в частности, основанной на изучении стилевых этикеток, без априорного знания времени создания, исторического времени и контекста стилей, или отношений между стилями.
Изученные представления показали, что есть несколько основополагающих факторов, объясняющих визуальные вариации стиля в искусстве. Некоторые из этих факторов коррелируют с моделями стиля, предложенными Генрихом Вольффлином (1846-1945).
Изученные представления также последовательно выделяют некоторых художников как чрезвычайно характерных представителей их стилей, что количественно подтверждает наблюдения искусствоведов.
Однако классификация стиля согласно машине - это не то, что интересует искусствоведов. Вместо этого, важными являются вопросы о том, что машинное обучение может рассказать нам, как определяются характеристики стиля, и как меняются его модели или последовательность смены.
Прежде ни одна работа в этой области не приносила никакого понимания проблемы стиля, которое могло бы быть полезным для историка искусства.
Способность машины классифицировать стили подразумевает, что сеть научилась кодировать характерные черты посредством визуального анализа рисунков. Тем не менее, типично, что машина использует визуальные особенности, которые не могут быть интерпретированы человеком.
Основное внимание в исследовании уделялось пониманию того, как искусственный интеллект достигает классификации стилей, какое внутреннее представление он использует для достижения этой цели, и как это представление связано с методологиями истории искусства для идентификации стилей.
Метод Вольффлина
Вольффлин решил отделить анализ формы от обсуждения предмета и выражения, сосредоточившись на "визуальной схеме" произведений и на том, как "видимый мир кристаллизовался для глаз в определенных формах" (1950). Были определены пары произведений искусства, чтобы продемонстрировать различия в стиле путем сравнения и сопоставления, сосредоточенных на ключевых принципах или особенностях.
Метод Вольффлина использовался, чтобы отличить стиль эпохи Возрождения от стиля барокко через пять основных визуальных принципов: линейный/живописный, плоский/кристальный, закрытый/открытый, множественность/общество, абсолютная ясность/относительная ясность. Искусствовед утверждал, что изменение формы имеет определенную схему дифференциации, так что типы стилей и изменения могут происходить только в определенных последовательностях.
Значение участия ИИ в развитии истории искусств
Благодаря прогрессу в области искусственного интеллекта и наличию обширных наборов данных изображений, мы теперь можем рассматривать историю искусства как науку о прогнозировании и соотносить ее средства определения стиля с результатами работы машин. Практически невозможно было применить и эмпирически протестировать разработанные Вольффлином методы дифференциации и анализа стилей до развития искусственного интеллекта.
Ни один человек не смог бы собрать или проанализировать необходимое количество примеров, чтобы доказать ценность своих методов для выявления отличительных признаков.
Согласованность результатов между различными моделями и наборами данных указывает на то, что они являются не просто артефактами данных или алгоритмов, а, скорее, обусловлены свойствами, присущими изменению стиля искусства в течение истории.
Последствия способности сетей восстанавливать постепенное временное продвижение по истории искусства в отсутствие каких-либо временных сигналов, данных на предварительном тренинге, кроме ограничения размещения картин одного стиля ближе друг к другу для достижения классификации, позволяют предположить, что визуальное сходство является основной причиной, которая заставляет это плавное временное представление эволюционировать. Это, в свою очередь, перекликается с плавным переходом стиля в истории искусства.
В целом полученные результаты подчеркивают потенциальную роль, которую машинное обучение может играть в области истории искусства, выявляя закономерности и тенденции. В исследовании также подчеркивается важность пересмотра формальных методов в истории искусства, впервые предложенных искусствоведами, такими как Вольффлин, с использованием инструментов из компьютерного зрения и машинного обучения.
