Машинное (техническое) зрение очень похоже на наше человеческого зрение - системе нужно увидеть объект, обработать изображение, получив с него нужную информацию, и управлять процессом. Если говорить в терминах, то "машинное зрение" - это одна из областей компьютерного зрения, нацеленная на решение промышленных задач с целью автоматизации, роботизации и аналитики. Совмещая в себе многие науки из оптики, фотоэлектроники, микропроцессорной техники, программирования и глубокого обучения машинное зрения является высокотехнологичным направлением развития искусственного интеллекта.
Целью машинного зрения является получение изображения от объектов реального мира, их обработка программными средствами и выдача результата для последующего управления технологическим процессом.
Автоматизация производства позволяет ускорить многие процессы, удешевить производство и значительно снизить влияние человеческого фактора на продукцию. Одним из самых сложных направлений автоматизации современных производств является машинное зрение. Перед ним стоят задачи по оптимизации сложных и скоростных производственных процессов, уменьшению негативного влияния человеческого фактора, 100% контролю продукции и т.д. Сегодня системы машинного зрения активно внедряют многие заводы и лаборатории, крупные предприятия и научно-исследовательские центры, города и метрополитены. Чаще всего камеры машинного зрения используют для проверки, оценки и измерения контрольных показателей и распознавания маркировки.
Принцип работы
Машинное зрение по принципу работы действительно очень схоже с человеческим зрением, но значительно обходит его по скорости реакции, возможностям и надежности работы.
- СВЕТ: Для того чтобы что-то увидеть человеку нужен свет, камерам машинного зрения тоже нужна качественная подсветка объекта съемки.
- ОПТИКА: У нас с вами уже есть от природы два глаза, позволяющие сфокусироваться на объекте - у камеры это индустриальный объектив - его нужно "навести" на исследуемый объект.
- КАМЕРА: За чувствительность к свету и цвету у человеческого глаза отвечает сетчатка, в промышленной видеокамере - матрица из фотоэлементов, которая установлена внутри камеры.
- ПК: У человека сигнал от глаза должен перейти в мозг по зрительному нерву, в машинном зрении эту функцию выполняет кабель и индустриальный ПК - переносит изображение с камеры далее в ПО.
- ПО: Вершиной магии является в случае человека - его мозг, который с рождения обучается различать предметы, в индустриальных задачах - это специализированное программное обеспечение, которое с использованием алгоритмов высшей математики и нейронных сетей находит на изображение нужную информацию.
- УПРАВЛЕНИЕ: Далее нужно управлять процессом на основе увиденного - наш мозг для этого начинает управлять руками/ногами для переключения режима работы установки - а ПК машинного зрения через промышленные интерфейсы передает нужную команду.
- ВРЕМЯ ПРОЦЕССА: У человека (бодрого и отдохнувшего!) данные действия занимают более секунды, в машинном зрении на все операции выделяется не более 50 мс. Все процессы происходят автоматически, на больших скоростях. Сценарии и условия работы могут быть совершенно различными - в машинном зрении есть очень много решений для индустриальных задач. А наша лаборатория позволяет создать новые.
Типы камер машинного зрения
Задачи машинного зрения настолько разные - что невозможно использовать даже один тип камеры, не говоря уж про модель, для решения задач. Однако построение системы машинного зрения принято начинать именно с камеры - и в зависимости от ее параметров и интерфейсов подбирать остальные элементы системы.
- 1D, она же линейная. Сканирует предмет построчно и выдает собранный кадр из линий. Имеет большое разрешение и способна снимать на очень высоких скоростях. Используется в полиграфии и инспекции бесконечных материалов.
- 2D или матричная. Самый обширный класс устройств - снимает привычный прямоугольный кадр. Есть модели с разрешением до 150 МПикс, а также способные синхронизироваться с процессами до 2000 Гц. Монохромные, цветные, SWIR диапазона - эти камеры необходимо тщательно подбирать под задачу.
- 3D камера. Это отдельный класс устройств, способных выдавать 2.5D снимок. Это может быть как триангуляционная камера, способная внутри себя преобразовать массив лазерных профилей в 3D картинку, так и ToF камера - тоже находит применения в промышленной инспекции.
- LiDAR. Формирует трёхмерную картину окружающего пространства за счет точечного обстрела светом пространства перед собой и считывания время возврата сигнала, LiDAR содержит внутри себя вращающуюся с высокой скоростью зеркальную оптическую систему. Выдает картинку с точками в пространстве, по которым можно определить расстояние до объекта.
Типовая система машинного зрения
Система машинного зрения состоит из множества элементов:
- Датчик синхронизации - источник импульса для съемки камеры или "триггер", обычно это оптические ворота или индукционный датчик. Также устанавливают энкодеры для бесшовной съемки.
- Подсветка - источник света, он же источник информации для камеры. Без качественного света трудно добиться результата от системы машинного зрения. Используют как белый 5000К так и цветные источники, УФ, ИК, SWIR и мультиспектральные, лазерные - проецирующие линию, сетку, точки и т.д.
- Камера - одна или несколько камер, передающих несжатую картинку наивысшего качества. Камеры могут иметь различные сенсоры: линейный или матричный, ToF, цветной, монохромный, 3D и т.д. На борту всегда имеется ПЛИС - организующая работу камеры, позволяющая корректировать кадр, производить съемку, управлять светом и многое другое.
- Оптика - подходящий под камеру объектив на нужное фокусное расстояние, может быть с изменяемой фокусировкой (жидкой линзой или приводом). С ИК коррекцией (его фокусировка не будет изменяться при включении ночной подсветки), с УФ линзами
- Светофильтры - позволяют обрезать неиспользуемые спектры излучения (например оставить только ИК), затонировать изображение, убрать блики с поверхности и т.д.
- Специальные кабели - камеры обычно имеют интерфейсы USB, Ethernet, CoaXPress - для них используются кабели промышленного исполнения с усиленным экраном и вибростойкостью.
- Сетевые карты или платы видеозахвата. Так как камеры машинного зрения передают большой объем данных, используются специальные серверные Ethernet платы, а также frame-grabber для интерфейсов CoaXPress, CLHS и CameraLink
- Промышленный ПК. Специальная версия ПК в безвентиляторном исполнении с компонентами индустриального класса (срок службы от 10-и лет) и с питанием от 12-24В
- Программное обеспечение. В нем происходит анализ изображения, его можно написать самостоятельно используя библиотеки машинного зрения или использовать готовые решения.
- Оборудование ввода-вывода. Это могут быть как платы I/O, так и различные промышленные интерфейсы CAN, FieldBUS, ProfiNET, COM и т.д. Соединяемые с исполнительными устройствами
- Монитор или сетевые интерфейсы для контроля за работоспособность комплекса и выбора режима работы.
В зависимости от задачи - некоторые элементы могут быть исключены, или совмещать в себе сразу несколько пунктов, например - лазерные 3Д сканеры не требуют подсветки, а смарт-камеры способны обработать изображение внутри себя без использования внешнего ПК.
Влияние человеческого фактора на такую систему сведено к минимуму. После установки и настройки компоненты работают в соответствии с заданным алгоритмом. Контроллер с камерами соединяется кабелями длиной до 100 метров при использовании медных кабелей и до 3-х км, если используется оптоволокно. Благодаря этому, вычислительное оборудование можно установить вне зоны производства и защитить от несанкционированного доступа.
Применение
На производстве
Машинное зрение сегодня широко применяют во многих отраслях промышленности для контроля за качеством выпускаемой продукции. Скоростные видеокамеры и датчики улавливают невидимые человеческому глазу дефекты, считывают коды и маркировку, а также способны заметить геометрические отклонения в несколько микрон. Машинное зрение особенно эффективно в следующих сферах:
- идентификация
- считывание маркировки с самых различных поверхностей в любом количестве за доли секунды
- дефектоскопия
- бесконтактные измерения
- испытания неразрушающими методами
- выборочный или полный контроль качества
С помощью высокотехнологичного оборудования за несколько секунд можно проверить качество каждой единицы продукции, подсчитать количество товаров на конвейере, определить их объем и размеры с точностью до нескольких микрон.
В городе
Камеры машинного зрения также нашли применение в системах видеонаблюдения и видеоаналитики. С помощью камер большого разрешения можно учесть количество людей на объекте, проанализировать их перемещения, эмоции. Проанализировать автомобильный трафик с квадрокоптера с помощью компактных камер с разрешением 20 МПикс.
В развлечениях
Камеры машинного зрения применяются для создания динамической проекционной анимации. Такие анимации можно встретить в развлекательных центрах (квесты, пейнтбол, детские центры), на выставках, при различных демонстрациях проектов, в ресторанах. Камеры наблюдают за окружением в невидимом для человека ИК диапазоне и позволяют анимации подстроиться под ваше действие.
На дороге
Контролировать состояние железной дороги, асфальта, взлетной полосы, контактной сети, состояния тоннелей - все это задачи для систем машинного зрения. Они способны охватить 100% поверхностей, а мощные программные средства с глубоким обучением обнаружат любую аномалию в состояние важных элементов инфраструктуры.
В науке
Многие научные центры нашей страны и СНГ используют машинное зрение для научных задач. Среди моделей камер машинного зрения есть:
- высокоскоростные камеры
- камеры большого разрешения
- камеры защитой от воды и перепадов температуры
- монохромные камеры с глубиной цвета 12 бит (обычно 8 бит - до 256 градаций цвета)
- камеры, дающие качественную картинку, которые намного компактнее фотоаппаратов.
