В этом статье рассмотрим, как анализ сцены и техники машинного обучения могут быть использованы не только для разграничения эмоционально позитивной и негативной абстрактной живописи, но и для идентификации эмоциональных частей картины.
- 1. Набор данных MART.
1.1 Коллекция картин.
Было отобрано 500 изображений абстрактных картин из художественной коллекции музея MART в Роверето, Италия (оцифрованные изображения произведений искусства находятся в электронном архиве MART). Работы были выполнены в период с 1913 по 2008 год итальянскими, европейскими и американскими художниками. В коллекции представлены некоторые интересные с точки зрения истории искусства особенности. В частности, есть четыре автора, чьи работы хорошо представлены в группе картин, которые были использованы в этом эксперименте: Карло Белли, Альдо Шмид, Луиджи Сенези и Луиджи Веронези.
Эти художники особенно интересны, потому что их работы не являются результатом импровизации, а являются частью глубокого теоретического осмысления элементов, которые создают картину (цвета, линии, формы, текстуры). Все они написали свои теоретические размышления, декларируя принципы, которые вдохновляли и формировали их произведения искусства.
1.2. Участники.
В исследовании в общей сложности приняло 100 человек (74 женщины, 26 мужчин; возраст 18-65 лет. М = 39,87 лет). Большинство участников были учителями начальных школ, операторами МАРТ, посетителями музея и учащимися. Они сообщили, что посещают от 1 до 100 музеев в год (M = 5,5). Все субъекты добровольно участвовали в нашем эксперименте, не получая никакого вознаграждения.
1.3. Процедура подсчета баллов.
Ученые заинтересованы в анализе того, передаются ли положительные или отрицательные чувства абстрактными картинами. Поэтому они следуют стандартной процедуре и рассматривают положительно-отрицательные эмоциональные суждения. В эксперименте они попросили участников посмотреть на картины MART и сообщить о своих эмоциях, вызванных ими.
В частности, участники получили следующие указания: Вас просят судить обо всех картинах, которые будут представлены. Пусть твой инстинкт будет направлять тебя и следовать твоему первому впечатлению от картины.
Решения выносились по шкале Лайкерта от 1 до 7 баллов, где число 1 означало крайне негативную эмоцию, а 7 - очень позитивную эмоцию. Шкала была представлена на отдельном листе бумаги, хотя доступ к картинам осуществлялся через код, чтобы предотвратить влияние названия произведения искусства или его автора. Хотя у участников не было фиксированного временного окна, они были четко проинструктированы как можно быстрее забить картины, чтобы стимулировать рост очень инстинктивных эмоций и не допустить, чтобы предыдущие знания об этих произведениях искусствах могли вступить в игру.
В среднем, люди тратили около 9 секунд на картину, чтобы сделать свой вывод. В ходе эксперимента изображения картин были случайным образом разделены на пять групп по 100 работ каждая, и только одна группа была представлена одному субъекту.
Таким образом, каждый субъект оценил 100 картин, и каждое произведение искусства получило 20 суждений от 20 различных субъектов. Ученые представили картины на сером фоне, потому что серый обычно считается нейтральным цветом, без влияния на другие цвета (и на встречные эмоции). После каждых десяти снимков участникам показывался серый слайд, чтобы дать им возможность отдохнуть. Для выявления предвзятости мы анализируем данные в разбивке по полу участников (74 женщины против 26 мужчин), возрасту участников (48 человек до 40 лет против 52 человек старше 40 лет) и художественному прошлому.
Участники, посещающие более 5 музеев в год, считаются хорошо осведомленными в искусстве (31 человек), а остальные - нет (69 человек). Ученые не наблюдали существенных различий в суждениях во всех этих трех группах (p значений двойного t-теста ≥ 0,4596). На рисунке ниже показано распределение картин от наиболее негативного (средний балл 1,95) до наиболее позитивного (средний балл 6,2).
- 2. Результаты классификации.
Для построения общей картины для каждой картины вычисляется среднее из всех возможных баллов. Ученые определяют картины со средним баллом ниже или равным 4 как негативные, а картины со средним баллом выше 4 как позитивные. В результате, 183 картины были отнесены к отрицательному классу, 317 - к положительному. Они тестировали модель на двукратной перекрестной валидации, которая повторялась десять раз. Обучающие/испытательные комплекты состоят из произвольно выбранных 50% и 50% от набора данных MART.
Для анализа вклада каждого типа визуальных слов ученые отдельно оценивают точность системы на основе визуальных слов LAB и визуальных слов SIFT. Затем они объединяют обе системы путем усреднения их классификационных баллов. В целом, предлагаемый метод работает значительно лучше, чем уровень шансов, который достигает точности 0,63 в наших экспериментальных условиях.
Ученые наблюдают, что визуальные слова LAB более эффективны для эмоциональной классификации абстрактных картин по сравнению с визуальными словами SIFT, точность составляет 0,76 против 0,73 соответственно. Сочетание визуальных слов LAB и SIFT повышает точность до,0,78. Это означает, что визуальные слова LAB на основе цвета и визуальные слова SIFT на основе текстуры важны для распознавания эмоций.
- 3. Обратные проекции.
Результаты по 4 картинам, классифицированным как высокоположительные, и 4 картинам, классифицированным как крайне отрицательные, представлены на рисунках ниже. Вклад визуальных слов LAB отображается во вторых строках. Фоновые цвета обычно дают нейтральную информацию, которая согласуется с их целью быть фоном для более эмоциональных частей картины.
Темные цвета имеют преимущественно отрицательную реакцию, а красный, желтый и синий часто вызывают положительные эмоции. Третьи строки рисунков демонстрируют эмоциональное подтверждение визуальных слов SIFT. Положительные эмоции часто приходят от прямых линий и плавных изгибов. Напротив, хаотично структурированные регионы часто вызывают негативные эмоции, даже если их цвет имеет положительную сторону. В последних строках показаны комбинированные свидетельства визуальных слов LAB и SIFT. Здесь свидетельства, вытекающие из цвета и текстуры картины, эффективно смешиваются вместе.
В заключении:
Качественный анализ показал, что полученные результаты соответствуют давно известным наблюдениям в искусстве: яркие цвета вызывают положительные эмоции, темные цвета вызывают негативные эмоции. Гладкие линии обычно положительные. Хаотическая текстура обычно отрицательна.
Возможность локализации доказательств эмоций открывает новый инструментарий для исследователей и художников для проверки и формулирования теорий искусства. Теоретически, эта техника не ограничивается эмоциями, но может быть применена и для лучшего изучения таких аспектов, как эстетика и интересность.
Действительно, результаты показали, что у 74% рассматриваемых картин позитивная внимательная предвзятость сохраняется, и даже в картинах с негативным эмоциональным содержанием люди предпочитают смотреть на свои положительные стороны.