Подводная оптическая визуализация (OPI) является сложной областью исследований в области компьютерного зрения. В отличие от наземной фотографии, подводная съемка сопряжена со многими ограничениями.
- Во-первых, из-за среды рассеяние всегда вызывает эффект размывания при подводной съемке, такое редко встречается в наземной фотографии.
- Во-вторых, поглощение по длине волны обычно приводит к уменьшению цвета захваченных изображений, что редко происходит в воздухе.
- В-третьих, за исключением электронных помех, отложения в воде также влияют на формирование изображений в больших размерах. Другая проблема возникает из-за того, что искусственное освещение широко используется для подводной фотографии, и такое неравномерное освещение вызывает виньетирование на снимках.
Кроме того, мерцание всегда проявляется в солнечный день. Это приводит к получению снимков с ярко выраженными фрагментами на мелководье океана. Следовательно, подводные изображения имеют специфические характеристики, которые необходимо принимать во внимание при сборе и обработке.
Общие проблемы с подводными изображениями, такие как ослабление света, рассеяние, неравномерное освещение, тени, цветовое затенение, взвешенные частицы или изобилие морских обитателей, могут быть преодолены с помощью подводной оптической обработки изображений.
Особенности съемки в воде
Функция объемного рассеяния описывает угловое распределение света, рассеянного суспензией частиц в направлении на заданную длину волны. Рассеивания перенаправляют угол пути фотонов, поглощение удаляет фотоны с пути света. Абсорбция в чистой воде указывает на то, что синие волны более чувствительны к поглощению, чем красные волны. Однако в воде из фитопланктона красные волны не заканчиваются длинами больше синих волн. Поэтому на практике трудно измерить коэффициенты поглощения.
С другой стороны, длина волны поглощения зависит от географического положения морской воды. Различная соленость морской воды имеет различные коэффициенты поглощения по длине волны.
Виды подводной съемки
На данный момент известны несколько методов обработки изображений под водой. В целом эти методы можно разделить на два подхода: аппаратные и программные.
Существует четыре традиционных аппаратных подхода к подводной съемке: поляризация, дистанционная съемка, флуоресцентная съемка и стереосъемка. Свет обладает свойствами интенсивности, длины волны и поляризации. Природный свет не имеет поляризации, а свет, достигающий датчика изображения, часто имеет смещенную поляризацию. Предварительные исследования подтвердили, что обратное рассеяние можно уменьшить, используя поляризацию.
Метод поляризации предназначен для быстрого получения изображений и значительного снижения шумов. Был предложен современный метод получения поляризационных изображений для подводной съемки. Поляризационная визуализация является пассивным методом визуализации, в то время как дальномерная визуализация является активным методом визуализации и широко используется для лазерных систем визуализации в мутной воде.
В системе лазерной визуализации камера расположена рядом с источником света, а цель находится за мутной средой. Эта система работает путем выбора отраженного света от объекта и блокировки обратного рассеяния путем закрытия ворот вспышки. Однако, методы лазерной визуализации имеют недостаток чувствительности к воздействию окружающей среды, и настройки устройства сложны. Следовательно, приборы лазерной визуализации редко используются в промышленности.
Флуоресцентная визуализация может быть использована для обнаружения микроорганизмов в коралловых рифах. Они также предложили другой метод направленного освещения для плавкого предохранения мутности затуманенного изображения. Метод термоядерного синтеза удалил яркость искусственного освещения. Еще один метод стереоизображения для получения подводных снимков путем оценки коэффициентов видимости. Этот метод стереоизображения был разработан алгоритмами реального времени и применен в АПА.
Обработка изображений под водой
В последнее время существует много программных подходов к подводной съемке. В зависимости от результатов можно разделить эти подходы на два метода:
- компенсацию длины волны (рассеяние осадка)
- цветовую реконструкцию (поглощение света).
Для решения проблемы рассеяния многие исследователи предложили как физические, так и не физические методы, основанные на моделировании. Традиционными методами, основанными на физических моделях, являются следующие:
- Метод цветовых линий для оценки мутности тумана, а затем использовать модель Марковского, в основе которого используются случайные поля для восстановления чистых изображений. Было предложено использовать темный канал до оценки карты глубины. Затем использовали направляющую фильтрацию для уточнения карты глубины и получения четких изображений. Этот метод может обеспечить обработку в режиме реального времени.
- Метод компенсации длины волны и дегазации для восстановления подводного изображения. Впервые в модели визуализации учитывается поглощение по длине волны. Установили наличие некоторых мерцаний на захваченных подводных снимках и предложили соответствующий надежный метод оценки освещенности окружающей среды и подводный медианный темный канал до рассеяния.
В основу не физических методов, легло моделирование. Предложили выравнивание локальной гистограммы для решения проблемы неравномерного освещения и дымки. Во многих случаях выравнивание локальной гистограммы не очень хорошо работает в очень темной среде.
Для корректировки целевой области в соответствии с интерполяцией между гистограммами соседних областей, предложили контрастное ограниченное выравнивание адаптивной гистограммы (CLAHE). Однако на обработанном изображении остается неравномерный свет, поскольку он воздействует не на все изображение, а на локальные области. Вдохновленные данной технологией был предложен метод слияния эспузы для объединения различных экспонированных изображений путем фильтрации.
В сильно мутной воде метод термоплавления эспузы не может удалить хорошо рассеянное вещество. Канал красного цвета не всегда является минимальным каналом цветового пространства RGB. Попытались решить проблемы рассеяния и шума одновременно и предложили метод удаления рассеяния ядра переменного размера. После рассеяния на изображении остаются ореолы и темные области.
Еще один метод разложения одиночного изображения с использованием уточнения карты глубины. Улучшенная двусторонняя фильтрация может сгладить карту глубины, при этом на изображении остаются некоторые остаточные шумы.
Восстановление цвета подводного изображения
В качестве метода восстановления поглощения света предложили метод изучения случайного поля Маркова (MRF) для оценки соответствующего значения цвета каждого пикселя. Разработали гиперспектральную модель визуализации и математическую модель устойчивости для расчета коэффициентов затухания с использованием карты глубины. Также разработали инверсию затухания света после обработки сжатия цветового пространства RGB кватернионами. Смоделировали спектральную функцию отклика камеры как функцию от длины волны света для восстановления контрастности цветов. В этом методе искусственное виньетирование также было разрешено.
Оценка качества изображения под водой
Оценка качества изображения под водой также важна для измерения эффективности различных методов обработки изображений под водой. Был предложен индекс структурной схожести, в котором деградация изображения рассматривается как структурное искажение.
Предложили среднюю угловую погрешность для оценки качества и поведения методов в отношении подводных шумов. В нем использовали новый индекс Qu, который позволяет оценить схожесть структур и цветов подводных изображений. Существуют также некоторые другие проблемы при обработке подводных оптических изображений. Неравномерное искусственное освещение, неоднородное рассеяние, реконструкция изображений высокой мутности, отражение изображения, вычислительная подводная визуализация и др. будут сфокусированы в ближайшем будущем.
