Аннотация
Системы компьютерного зрения разработаны таким образом, чтобы было хорошо работать в пределах контекста в повседневной фотографии. Однако художники часто хотят сделать окружающий мир таким образом, чтобы он не был похож на мир таким, какой он есть.
Фотография - это произведения искусства, созданные людьми и не ограниченные возможностями съемки.
Эта работа является шагом на пути к обучению машин тому, как классифицировать изображения таким образом, чтобы они были полезны для человека.
Введение
Последнее достижения в области компьютерного зрения позволили добиться точности результатов конкурируя с человеком по распознаванию различных объектов.
Однако большая часть работ сосредоточена на понимании фотографических снимков повседневных сцен. Снимки, содержащие богатые атрибутивные метки контента, эмоций, и художественных средств массовой информации.
Кроме того, проводя базовые эксперименты, показывающие ценность этого набора данных для художественного стиля, было выведено прогнозирование, для улучшения общности существующих объектов и для изучения адаптации визуальной области.
Набор данных Behance Media Dataset
Behance содержит более десяти миллионов проектов и 65 миллионов изображений. Изображения на Behance сгруппированы в Проекты, в папку Проекты.
Каждый проект связан с метаданными, включая название, описание и несколько проектов.
Художественные работы в Behance охватывают такие области искусства как скульптура, живопись, фотография, графический дизайн, граффити, иллюстрации и реклама.
Эти художественные работы вывешены профессиональными художниками, чтобы показать образцы своих лучших работ.
Научная цель - найти баланс между различными средствами массовой информации при освещении событий.
В Behance представлено обширное количество работ. Например, масляная краска и акрил считается разными носителями информации по художественному выражению .
Эксперименты с фотографиями
Behance Artistic Media может быть использована для изучения узнаваемости в различных областях искусства, а также эстетики и стиля.
Во-первых, Например исследуется разница в изображении между объектами, которые появляются на повседневных фотографиях, и объектами, которые появляются в произведениях искусства.
Существование этой разницы побуждает исследовать взаимосвязь между объектными изображениями, представленными на различных художественных носителях.
Считается, что это проблема переноса информации из одной области в другую и измеряет, в какой степени знания об объектах в одной среде могут быть применены к объектам в невидимой среде. (я не понял что значит это предложение..его надо переписать с учетом того откуда это предложение было взято)
Также завершается эксперимент с пространствами обучающих функций (разделением функций) для создания поисковой системы, которая может искать изображения по их содержанию, эмоциям или сходству со средствами массовой информации.
Визуальное обучение
Рассмотрим случай поиска изображений, целью которого является поиск изображений, разделяющих содержание изображения запроса, но не обязательно являющихся его художественным носителем.
Мы можем использовать художественные СМИ Behance для решения этой задачи, рассматривая ее как проблему визуального под пространственного обучения. Начиная с предварительно обученного общего представления ResNet, мы удаляем верхний слой и добавляем три ветви для контента, эмоций и медиа.
В каждой ветви содержится линейная проекция вплоть до 64-мерного подпространства и окончательная проекция вниз к пространству меток. Окончательная модель по вероятностному баллу дефрагментирует изображения по каждому из 7 медиа и 4 эмоциональных атрибутов и отбирает 10 тысяч лучших изображений в каждом конкретном случае.
Легко заметны фрагменты объектов, обычно узнаваемых в эмоционально-ориентированных стилях (например, зубы для страшных, мрачных окон в мрачных или спокойных пейзажах).
Заключение
Системы компьютерного зрения не должны ограничиваться сферой фотографии.
Behance Artistic Media" (BAM) - хранилище миллионов изображений, размещенных профессиональными и коммерческими художниками и представляющих широкий спектр произведений современного искусства.
Однако, хотя Behance и включает метаданные тегов, было показано, что эти теги слишком “шумны”, чтобы учиться напрямую. Кроме того, масштаб Behance делает краудсорсинг с грубой силой непривлекательным.
Различные художественные носители в Behance имеют уникальную эстетику, обеспечивая интересную испытательную площадку для задач переноса доменов, и различные особенности оказываются полезными для задач контента по сравнению с классификацией носителей/эмоций.
Наконец, завершается работа под пространственной учебной задачи по поиску изображений на основе их содержания или художественного носителя.
