На днях мы говорили о нейронных сетях и том, что они широко используются в решении множества задач в самых разных областях деятельности.
Сегодня мы подробно расскажем о нашей разработке - Системе оперативного мониторинга ледовой обстановки на основе нейросетевой обработки спутниковых изображений.
О том, для чего нужна Система и о принципах ее работы читайте в нашей статье для научно-технического журнала «НЕФТЬ. ГАЗ. НОВАЦИИ».
Система оперативного мониторинга ледовой обстановки на основе нейросетевой обработки радиолокационных спутниковых изображений
Аннотация.
В статье представлено описание системы, которая на основе радиолокационных спутниковых изображений в автоматическом режиме решает такие ключевые задачи ледового мониторинга, как:
- обнаружение и обмер айсбергов и судов
- определение кромки льда
- классификация морского ледяного покрова.
Принцип работы системы основан на достижениях последних лет в области нейросетевой обработки изображений, поэтому она обладает высоким быстродействием и предоставляет пользователям информацию об опасных ледяных образованиях и распределении льда в акватории в оперативном режиме, что позволяет обеспечить безопасность и эффективность морских операций на Арктическом шельфе.
В последние годы все больше внимания уделяется освоению Российского Арктического шельфа, увеличивается поток грузоперевозок вдоль Северного морского пути.
Нефтегазовые компании ведут активную работу по добыче и транспортировке углеводородов, а также проводят интенсивное изучение северных акваторий в поисках новых месторождений. Промышленная и научная деятельности осуществляется в сложных ледовых условиях и связана с повышенными техническими и экологическими рисками. Поэтому для обеспечения безопасности и эффективности проведения морских операций в арктических широтах необходим постоянный мониторинг ледовой обстановки.
Для наблюдения, оценки и прогнозирования ледовой обстановки применяют различные подходы, использование которых в совокупности обеспечивает высокий уровень безопасности работ.
К ним относятся:
- использование локальных измерительных средств и беспилотных летательных аппаратов
- цифровое гидродинамическое моделирование
- применение статистических моделей и другое.
Однако суровые климатические условия Арктики обуславливают множество проблем, затрудняющих проведение локального мониторинга и использование беспилотных комплексов, и зачастую не позволяют обеспечить стабильное предоставление данных о текущем состоянии ледовой обстановки.
Вместе с тем результаты многочисленных работ доказывают исключительную сложность предсказания динамики распространения морского льда, а статистические модели дают лишь вероятностную оценку.
Перечисленные ограничения способствовали тому, что основным источником информации о распределении льда в северных акваториях стали дистанционные методы наблюдения.
Спутниковые радиолокационные изображения (РЛИ, SAR), обладая рядом преимуществ над другими методами дистанционного зондирования Земли (возможность получения данных в независимости от времени суток, облачности и метеорологических условий), позволяют на их основе решать самые разные задачи ледового мониторинга, среди которых ключевыми являются:
- обнаружение айсбергов и судов
- выявление кромки льда
- классификация морского ледяного покрова
Базируясь на этой информации, можно сделать выводы о текущих ледовых условиях в зоне интереса, динамике и общих тенденциях распространения льда, наличии угроз объектам инфраструктуры и судам.
В настоящее время российские и зарубежные компании ведут активную работу по улучшению качества и быстродействия технических средств для решения указанных задач, поскольку актуальность данных проблем с каждым годом становится все выше ввиду интенсивного роста средних температур в Арктике, что приводит к таянию ледников и увеличению количества дрейфующих опасных ледяных образований в открытом море.
В работе [1] представлена нейросетевая система обнаружения и обмера айсбергов на спутниковых РЛИ, которая в автоматическом режиме успешно решает одну из основных задач ледового мониторинга.
В ее состав также входит сервис нейросетевого выявления морских судов на РЛИ. Пример результата функционирования системы в режиме обнаружения ледяных образований и судов представлен на Рисунке 1.
В данной статье приведены результаты модернизации этой системы с целью расширения ее функционала для выявления кромки льда и классификации морского льда.
Предобработка данных
Для решения задач выявления кромки и классификации морского льда нет необходимости в использовании изображений SAR высокого разрешения, а практическую значимость приобретает более широкий охват территории. Данным требованиями удовлетворяют снимки европейских радиолокационных спутников Sentinel-1, которые предоставляются на бесплатной основе.
Обладая размером пиксела в 40 м и покрытием около 400 х 400 км, эти снимки дают достаточно информации для глобальной оценки распределения льда в широкой акватории.
РЛИ спутника Sentinel-1A/B поступают в виде двух изображений: с одиночной ко-поляризацией HH (передача и прием сигнала по горизонтали) и кросс-поляризацией HV (передача по горизонтали и возврат по вертикали). Из-за особенностей процессов рассеяния сигнала, на снимках по-разному проявляются особенности одной и той же зоны.
Таким образом, РЛИ в двух поляризациях дополняют друг друга, поэтому современные методы по их обработке предусматривают комплексный анализ обоих изображений. Для сохранения информативности поступающего спутникового РЛИ используется метод создания композита двух изображений путем объединения информации об интенсивности обратного излучения радарных волн в разных поляризациях. Для этого формируется цветное синтезированное изображение в формате RGB (Red, Green, Blue), где в качестве канала красного цвета выступает изображение в HH поляризации, зеленого цвета – изображение в HV поляризации, а синий цвет заполняется нулевыми значениями яркости. Использование синтезированных изображений является эффективным подходом, позволяющим улучшить процесс визуального дешифрирования снимков [2]. Пример генерации композита из снимков в двух поляризациях представлен на Рисунке 2.
Разработка системы
Задачи выявления кромки и классификации льда подразумевают формирование в качестве выходных данных карты распределения льда. Ответы системы будут тем качественнее и информативнее, чем выше разрешение результирующего изображения.
Современным подходом для достижения желаемого результата является использование глубокой конволюционной нейронной сети (ГКНС) сегментации. Нейронные сети такого типа предполагают генерацию маски, которая разделяет исходное изображение на области нескольких классов (в случае с выявлением кромки – на два класса: ice / background, а в случае классификации – на пять и более классов в соответствии с Номенклатурой морских льдов [3]).
В ходе проектирования системы произведен анализ возможностей общепринятых типовых моделей сегментации, в результате которого разработана ГКНС со структурой типа encoder-decoder, формирующая выходную маску с разрешением, соответствующим поступающему фрагменту радарного снимка, и обеспечивающая высокую точность сегментации с минимальной потерей информации.
В качестве исходных данных для подготовки обучающей выборки использовался набор РЛИ спутника Sentinel-1A/B и сформированная на их основе ледовыми специалистами база карт кромки льда и классификации ледяного покрова, принятых в качестве эталонных ответов, которые должна выдавать система при поступлении соответствующих РЛИ. Разработано программные обеспечение по подготовке обучающей выборки, в результате применения которого получен объемный и разнообразный набор тренировочных данных (Таблица 1), позволяющий настроить систему на работу с РЛИ различной сложности.
Принцип работы системы
Обработка поступающего РЛИ производится полностью в автоматическом режиме в несколько этапов.
- На первом шаге выполняется процедура по улучшению качества изображения.
- Затем оно делится на фрагменты, каждый из которых подается в нейронную сеть, что позволяет обеспечить высокое быстродействие благодаря распараллеливанию процесса обработки.
- После нейросетевого анализа кадры объединяются, и на выходе формируются карты распределения льда в форматах GeoTiff и shapefile для удобного дальнейшего использования.
Описанный процесс реализуется двумя программными модулями:
- модулем мониторинга и администрирования (ММиА)
- модулем нейросетевого анализа (МНА), первый из которых ожидает поступление запроса от Клиента на обработку хранящегося на FTP-сервере РЛИ, производит его фрагментацию, пред- и постобработку, а второй – обеспечивает функционирование ГКНС.
Такая архитектура обеспечивает возможность масштабирования системы и ускоренной обработки одного или одновременно нескольких РЛИ. Общая структурная схема сервиса выявления кромки и классификации льда представлена на Рисунке 3.
Полный тракт обработки одного двухполяризационного РЛИ занимает около 1 минуты, что является существенным преимуществом по сравнению с другими алгоритмами, применяемыми для решения задач выявления кромки льда и классификации ледяного покрова. Высокое быстродействие открывает возможности интенсивной массовой обработки всех снимков спутника Sentinel-1A/B, покрывающих арктическую зону, без существенных затрат на обработку спутниковых РЛИ и привлечения ледовых аналитиков.
Результаты функционирования системы
Тестирование разработанной системы демонстрирует высокие показатели точности сегментации.
Результат функционирования ГКНС выявления кромки льда на двухполяризационном композитном РЛИ со сложной ледовой обстановкой представлен на Рисунке 4.
На Рисунке 5 проиллюстрировано сравнение эталонного примера и результата функционирования разработанной ГКНС классификации морского льда. Нейронная сеть формирует обобщенную ледовую карту без трудноразличимой детализации. В некоторых местах это приводит к загрублению границ, но общее распределение типов льда в исследуемой акватории указано четко, что позволяет использовать генерируемые ледовые карты для оценки ледовой обстановки в акватории, а также в качестве исходных данных для иных задач ледового мониторинга.
(синий – открытая вода; темно-синий – спокойная вода или нилас; розовый – молодой лед, лед на кромке – блинчатый и мелкобитый; зеленый – однолетний тонкий лед; голубой – однолетний лед средней толщины и однолетний толстый лед; серый – однолетний ровный лед)
В настоящее время продолжается работа по совершенствованию алгоритма классификации, его тестирование, а также производится верификация получаемых результатов по данным натурных наблюдений, полученных специалистами ООО «ВИЗАРД» в рамках экспедиции на научно-исследовательском судне «Михаил Сомов» в акватории Карского моря в мае 2021 года.
Проведенные работы позволили собрать обширную выборку ледяных образований, выявленных на снимках беспилотных летательных аппаратов, что дало задел для разработки новых сервисов на основе машинного обучения, призванных расширить функциональные возможности беспилотных комплексов. Работы в этом направлении уже активно ведутся специалистами ООО «ВИЗАРД».
Выводы
Представленная система открывает возможность пользователям в кратчайшие сроки получать комплексную информацию о ледовой обстановке в зоне интереса. Полная автоматизация процесса обработки значительно увеличивает быстродействие и снижает стоимость предоставления услуг. Особенность применяемых нейросетевых технологий позволяет адаптировать систему к различным географическим регионам и при пополнении базы примеров повышать точность получаемых результатов.
Авторы статьи:
С.А. Зубков
М.А. Липатов, Д.А. Сальман, П.А. Сальман, И.Д. Фост
/ООО «Визард», г. Москва/
