Низкоуровневые характеристики, извлекаемые для распознавания эмоций, в основном основаны на элементах искусства (EAEF), включая цвет, ценность, линию, текстуру, форму и пространство.
В этой статье кратко рассмотрим EAEF и их ограничения в прогнозировании эмоций изображения.
1. Низкоуровневые элементы, основанные на искусстве.
- Цвет.
Это элемент искусства, обладающий тремя свойствами: оттенок, насыщенность и ценность, представляющий название,яркость или темноту цвета. Цвет часто эффективно используется художниками для создания эмоциональных эффектов, таких как насыщенность, яркость, оттенок и красочность.
- Ценность.
Ценность обычно считается важным элементом в произведениях искусства. Это относится к рисункам, гравюрам, фотографиям, большинству скульптур и архитектурных форм. Описание освещенности или темноты часто используется в качестве ценностных признаков.
- Линия.
Элемент искусства, представляющий собой непрерывную метку, сделанную на какой-то поверхности движущейся точкой. Существует в основном два типа линий: линии подчеркивания и линии снятия фрагмента. Линии выделения, более известные как контурные линии, показывают и очерчивают края или контуры объекта. Когда художники подчеркивают контуры или контуры в своих работах, они обычно описываются как линии. Не все художники подчеркивают линии в своих работах. Некоторые даже пытаются скрыть очертания объектов в своих работах.
Линии с пониженным акцентом используются для описания работ, которые не подчеркивают контуры или очертания объектов. Линии могут быть использованы, чтобы предложить движение в определенном направлении. Они также используются определенным образом, чтобы дать людям различные чувства. Например, горизонтальные линии дают спокойствие и обычно расслабляют человека, вертикальные - силу и стабильность, диагональные - напряжение, а кривые - плавность движения. Обычно количество и длина статических и динамических линий рассчитывается методом преобразования Хафа для описания линий.
- Текстура.
Элемент искусства, который используется для описания качества поверхности одного объекта. Это относится к тому, что чувствуется, или выглядит так, как если бы вы смогли прикоснуться к нему. Некоторые художники рисуют аккуратно, чтобы придать своим картинам гладкость, в то время как другие используют много краски для получения грубой текстуры. Наиболее часто используются вейвлет-основанные, тамуровые, матричные, матричные и LBP-функции.
- Форма.
Форма плоская и имеет только 2 размера, высоту и ширину. В качестве признаков формы используются описания округлости, угловатости, простоты и сложности. Форма 3-х мерная по высоте, ширине и глубине, имеющая массу и объем.
- Пространство.
Элемент искусства, который относится к расстоянию или области между, вокруг, сверху, снизу или внутри вещей.
2. Ограничения EAEF .
Эти элементы изобразительного искусства, основанные на визуальных особенностях низкого уровня, легко извлекаются на основе современного компьютерного зрения и мультимедийных исследований. Однако есть несколько недостатков использования их для моделирования эмоций изображения:
- 1) Слабая связь с эмоциями. EAEF страдает от наибольшего эмоционального разрыва, уязвим и не инвариантен к различным расположениям элементов, что приводит к низкой производительности при распознавании эмоций изображения. Эти низкоуровневые черты не могут хорошо отражать эмоции высокого уровня.
- 2) Не поддающиеся интерпретации людьми. Так как EAEF извлекаются из точки зрения низкого уровня. Люди не могут понять значения этих признаков и почему именно такой их набор вызывает определенные эмоции.
3. Предлагаемые эмоциональные особенности.
Баланс (симметрия) относится к ощущению равновесия или стабильности произведения искусства. Художники выстраивают баланс, чтобы задать динамику композиции.
Существует три типа баланса:
- симметричный,
- асимметричный и
- радиальный.
Симметричный баланс является наиболее визуально стабильным и характеризуется точным или почти точным композиционным дизайном по обеим сторонам горизонтальной, вертикальной или любой другой оси плоскости изображения. Если две половинки изображения идентичны или очень похожи, это симметричный баланс. Асимметрия использует композиционные элементы, которые смещены друг от друга, создавая визуально нестабильный баланс.
Асимметричный баланс является наиболее динамичным, поскольку он создает более сложную конструкцию конструкции. Радиальный баланс относится к балансу в пределах круговой формы или объекта, предлагая стабильность и точку фокусировки в центре композиции.
Симметрию можно рассматривать как обратное измерение асимметрии. Для определения двусторонней и вращательной симметрии используется метод определения симметрии в работе, основанный на выравнивании симметричных пар опорных точек. Метод определения точек контура должен быть вращательно инвариантным, поэтому SIFT является хорошим выбором, хотя нет необходимости изменять масштаб. Каждый объект может быть представлен точечным вектором, описывающим его расположение в координатах x, y, его ориентацию и (опционально) масштаб.
Каждая пара точек контура является потенциальным кандидатом на симметричную пару. В случае двусторонней симметрии каждая пара опорных точек определяет потенциальную ось симметрии, проходящую перпендикулярно через среднюю точку линии, соединяющей эти две точки. В отличие от двустороннего обнаружения симметрии, определение вращательной симметрии не требует разработки дополнительных дескрипторов признаков. Это может быть просто обнаружено путем сопоставления характеристик друг с другом.
Небольшие итоги:
Результаты экспериментов по классификации аффективных изображений и регрессии показали, что эффективность предлагаемых функций превосходит возможности современных подходов. Применение PAEF в прогнозировании эмоций шедевров также интересно и имеет большой потенциал для дальнейших исследований. PAEF может также использоваться для разработки других приложений, основанных на эмоциях, таких как музыкализация изображений и поиск аффективных изображений. Применение методов обнаружения и распознавания контента высокого уровня может повысить эффективность распознавания эмоций.
