Локальная особенность - это схема изображения, отличающаяся от той, что находится в непосредственной близости. Обычно это связано с изменением свойства изображения или нескольких свойств одновременно, хотя оно не обязательно локализовано именно на этом изменении.
Обычно рассматриваются такие свойства изображения, как интенсивность, цвет и текстура.
Локальными особенностями могут быть точки, а также кромки или небольшие фрагменты изображения. Как правило, некоторые измерения производятся из региона, сосредоточенного на локальном объекте и преобразуются в дескрипторы. Дескрипторы могут быть использованы для различных приложений.
Почему именно локальные особенности? Локальные (инвариантные) функции являются мощным инструментом, успешно применяемым в широком спектре систем и приложений.
Выделяют три широкие категории функциональных детекторов в зависимости от их возможного использования. Это не является исчерпывающим или единственным способом классификации детекторов, но подчеркивает различные свойства, требуемые сценариями использования.
- Во-первых, может быть интересен специфический тип локальных особенностей, так как они могут иметь специфическую семантическую интерпретацию в ограниченном контексте конкретного приложения. Например, края, обнаруженные на аэрофотоснимках, часто соответствуют дорогам, обнаружение пятен может быть использовано для выявления загрязнений в ходе выполнения некоторых инспекционных задач и т.д. Это были первые приложения, для которых были предложены локальные детекторы элементов конструкции.
- Во-вторых, один из них может быть заинтересован в местных особенностях, поскольку они представляют собой ограниченный набор хорошо локализованных и индивидуально идентифицируемых опорных точек. То, что на самом деле представляют собой эти элементы, не является актуальным, если их местоположение может быть определено точно и стабильно в течение долгого времени. Такова, например, ситуация в большинстве подходящих или отслеживающих приложений, особенно для калибровки камеры или 3D-реконструкции. Другие области применения включают оценку вступления, выравнивание изображений или мозаику. Типичным примером здесь являются функции, используемые в трекере.
- Наконец, набор локальных функций может быть использован в качестве надежного представления изображения, что позволяет распознавать объекты или сцены без необходимости сегментации.
Здесь опять же, не имеет значения, что на самом деле представляют собой эти функции. Они даже не обязательно должны быть локализованы точно, так как цель состоит не в том, чтобы соответствовать им на индивидуальной основе, а в том, чтобы анализировать их статистику.
Другие области применения включают классификацию сцен, анализ текстуры, поиск изображений и видеодоступность.
Очевидно, что каждая из вышеуказанных трех категорий налагает свои ограничения, и хорошая особенность для одного приложения может оказаться бесполезной в контексте различных проблем. Эти категории могут учитываться при поиске подходящих функциональных детекторов для конкретного приложения.
Наконец, следует отметить, что важность локальных особенностей была также продемонстрирована в контексте распознавания объектов человеческой визуальной системой. Точнее говоря, эксперименты показали, что удаление углов с изображений препятствует распознаванию человека, а удаление большей части информации о прямых краях - нет.
На практике, однако, изображения дискретны, наименьшая пространственная единица является пиксельной, и важную роль играют дискретизационные эффекты. Для локализации особенностей на снимках необходимо проанализировать локальное соседство пикселей, чтобы представить все локальные особенности в некоторой неявной пространственной протяженности.
Для некоторых приложений (например, калибровка камеры или 3D реконструкция) этот пространственный масштаб полностью игнорируется при дальнейшей обработке, и используется только местоположение, полученное в процессе извлечения элемента с точностью до подпикселей. В таких случаях обычно используется термин "точка интереса".
Однако в большинстве приложений эти функции также нуждаются в описании, чтобы их можно было идентифицировать и сопоставить, и для этого снова требуется локальное соседство пикселей. Часто этот район принимается равным району, который использовался для локализации функции, но это не обязательно так. В этом контексте обычно используется термин регион, а не точка интереса.
Однако имейте в виду: когда для описания точки интереса используется локальный район пикселей, процесс извлечения объекта должен определять не только местоположение точки интереса, но также размер и, возможно, форму этого района. Особенно в случае геометрических деформаций, это значительно усложняет процесс, так как размер и форма должны быть определены инвариантным (ковариантным) образом. В данном исследовании мы предпочитаем использовать термин "локальная особенность", которым могут быть точки, регионы или даже крайние сегменты.
Свойства локальных объектов
Свойства локальных объектов идеальной локальной особенности обычно имеют пространственный охват, т.е. локальное соседство пикселей. В отличие от классической сегментации, это может быть любое подмножество изображения. Границы региона не должны соответствовать изменениям внешнего вида изображения, таким как цвет или текстура.
Кроме того, несколько областей могут перекрываться, и неинтересные части изображения, такие как однородные области, могут оставаться не охваченными. В идеале, такие локальные особенности должны соответствовать семантически значимым частям объекта. На практике, однако, это невозможно, так как это потребует интерпретации контента сцены на высоком уровне, что невозможно сделать на этой ранней стадии. Вместо этого, детекторы выбирают локальные особенности непосредственно на основе лежащих в основе моделей интенсивности.
Локальные объекты должны иметь следующие свойства:
- Повторяемость: При наличии двух изображений одного и того же объекта или сцены, сделанных в разных условиях просмотра, на обоих изображениях должен быть обнаружен высокий процент обнаруженных на части сцены признаков, видимых на обоих изображениях.
- Дистинктивность (информативность): Модели интенсивности, лежащие в основе обнаруженных признаков, должны показывать много вариаций, чтобы их можно было различать и сопоставлять.
- Местность: Объекты должны быть локальными, чтобы снизить вероятность окклюзии и позволить простые приближения моделей геометрических и фотометрических деформаций между двумя изображениями, полученными в различных условиях просмотра (например, на основе предположения локальной плоскостности).
- Количество: Количество обнаруженных объектов должно быть достаточно большим, чтобы даже на небольших объектах обнаруживалось достаточное количество объектов. Однако оптимальное количество функций зависит от конкретного приложения. В идеале, количество обнаруженных функций должно быть легко настраиваемым в большом диапазоне с помощью простого и интуитивно понятного порога. Плотность элементов должна отражать информационное содержание изображения, чтобы обеспечить компактное представление изображения.
- Точность: Обнаруженные признаки должны быть точно локализованы, как в месте расположения изображения, так и по масштабу и, возможно, по форме.
- Эффективность: Желательно, чтобы обнаружение особенностей на новом изображении позволяло решать задачи, требующие особого внимания с точки зрения времени. Повторяемость, пожалуй, самое важное свойство, может быть достигнута двумя различными способами: либо неизменностью, либо надежностью.
- Инвариантность: Когда ожидаются большие деформации, предпочтительным подходом является математическое моделирование, по возможности, этих деформаций, а затем разработка методов обнаружения признаков, которые не затрагиваются этими математическими преобразованиями.
- Надежность: В случае относительно небольших деформаций часто бывает достаточно сделать методы обнаружения признаков менее чувствительными к таким деформациям, т.е. точность обнаружения может снизиться, но не резко. Типичными деформациями, которые решаются с использованием надежности, являются шум изображения, эффект дискретизации, артефакты сжатия, размытость. Кроме того, геометрические и фотометрические отклонения от математической модели, используемой для получения инвариантности, часто преодолеваются за счет включения более высокой надежности.