Обученная на синтетических данных нейросеть позволяет снимать показания промышленных приборов при помощи "умной" камеры беспилотника.
Фото: МАИ.
Оборудование и инфраструктуру на промышленных объектах обычно поддерживают в исправности квалифицированные специалисты. Но обход огромных территорий занимает много времени, а в некоторых местах — и небезопасен для человека. Для выполнения этой работы в последние годы стали активно использовать беспилотники, оснащённые умными камерами, которые позволяют в автоматическом режиме контролировать объекты инфраструктуры и снимать показания с приборов — как электронных, так и стрелочных.
Такой проект для теплоэлектростанции реализовали в МАИ. В задачи промышленного беспилотника входят, в частности, дефектоскопия труб, связанных с топкой парового котла, а также определение показаний приборов машинного зала.
Для машинного зрения распознавание показаний приборов сильно отличается от дефектоскопии труб. Главная сложность заключается в том, что дрон может с любой стороны подлететь к манометру, прибор может иметь разные ракурсы освещения, соответственно, получатся разные изображения, рассказал один из разработчиков, руководитель лаборатории искусственного интеллекта института № 8 «Компьютерные науки и прикладная математика» МАИ Вадим Кондаратцев.
"Поскольку реальных данных для обучения нейросети в нашем распоряжении было мало, мы сделали синтетический датасет, связанный с манометром. Мы изучили большой массив мировых научных публикаций и выяснили, что для стрелочных приборов, которые до сих пор используются повсеместно, не существует универсальной методики создания синтетических данных. Похожую задачу решали американские коллеги в Гарварде, но они смогли предложить решение только для неподвижной камеры, мы же сделали своё оригинальное решение для камеры БЛА в полёте".
Не менее сложной задачей было научить систему определять дефекты труб. Главная трудность здесь состояла в том, что дрон летает в полной темноте с зажжённым прожектором, а потому в зависимости от того, как ложится на трубу свет, меняется и изображение возможного дефекта. Таких сложных вариаций реальных изображений на практике получить невозможно, поэтому и здесь разработчики пошли по пути создания генератора синтетических данных.
"Технически это выглядит следующим образом. Разработчик берёт целевую модель обстановки — улицу, помещение, топку котла, трубу и т.д. — и под эту целевую модель заготавливает, во-первых, базовую сцену: в нашем случае, создаёт в специальной программе 3D-модель трубы. Потом придумывает алгоритм, как, имея базовую сцену, автоматически двигать камеру, строить разметку, наносить дефекты. Как ставить фильтры, которые будут искажать изображение таким образом, чтобы моделировать реальную съёмку. Как сделать так, чтобы данные, которые генерируются на основе этого движка, упаковывались и отправлялась в фреймворк обучения нейронной сети".
Разработка таких исходных 3D-моделей — довольно трудоёмкая работа, которая в среднем занимает несколько месяцев. Зато когда генератор готов, он способен за неделю создать несколько сотен тысяч изображений, которых вполне хватает для обучения нейросети.
БПЛА с лазерным детектором метана и видеокамерой для обнаружения с воздуха утечек природного газа. Иллюстративное фото: pergam.ru
Конечно, обученный специалист распознаёт дефекты и считывает показания приборов в 100% случаев: для умной камеры это пока невозможный показатель. Но в данном случае выигрыш в скорости: дрон с умной камерой может облететь всю топку за пять минут, а человеку надо потратить несколько недель на строительство лесов и последующий осмотр, не говоря уже о рисках при проведении такого рода работ, — говорит Вадим Кондаратцев.