В компании «Криптонит» разработали новый плагин под названием nminfer для широко используемого фреймворка GStreamer. Инструмент позволяет интегрировать возможности нейросетевой обработки видеоданных на российском ускорителе NM Card, созданном НТЦ «Модуль», узнал IT-World.
Государственные организации и бизнес при помощи nminfer смогут внедрять технологии автоматического распознавания лиц, автомобильных номеров и различных объектов в видеопотоках, используя искусственный интеллект и полностью российские аппаратные и программные решения. nminfer может стать альтернативой существующим решениям на базе пакета Nvidia Deepstream, который также использует GStreamer для инференса нейросетевых моделей. Новый плагин обеспечивает подготовку и преобразование нейросетевых моделей и потоковых данных в формат, совместимый с NM Card. Ускоритель NM Card построен на базе отечественных микросхем К1879ВМ8Я, которые представляют собой процессоры цифровой обработки сигналов с 16 ядрами NeuroMatrixCore, работающими на частоте до 1024 МГц.
NM Card оснащен 5 Гб VRAM и поддерживает Neuromatrix Deep Learning (NMDL) — программный комплекс на C++ API, предназначенный для запуска глубоких свёрточных нейросетей. Эти нейросети активно используются в задачах компьютерного зрения и видеоаналитики, включая решения на платформе «Чароит» (разработка «Криптонита»).
Видеоаналитика: инструкция по выбору лучшей системы
NM Card сопоставим с Nvidia Jetson Nano по производительности. В тесте с моделью Yolo_v3_tiny_coco, предназначенной для распознавания 80 типов объектов в реальном времени, NM Card обрабатывал 24 кадра в секунду против 25 кадров у Jetson Nano при одинаковых параметрах размерности ввода (416x416x3).
Кроме того, НТЦ «Модуль» разработал более мощное решение — модуль NM Quad, который обладает в четыре раза большей производительностью по сравнению с NM Card. Плагин nminfer совместим и с этим ускорителем.
Отметим, что на мировом рынке существует несколько плагинов, альтернативных Nvidia Deepstream, которые также используют фреймворк GStreamer для инференса нейросетевых моделей. Самые известные – продукты Intel, Google, Xilinx.
Intel's OpenVINO Toolkit поддерживает интеграцию с GStreamer и предлагает плагины для инференса на основе моделей, оптимизированных для процессоров Intel. OpenVINO активно используется для задач компьютерного зрения и видеоаналитики, предлагая поддержку аппаратного ускорения на Intel CPU, GPU и VPU.
Плагин Xilinx Vitis AI, интегрированный с GStreamer, предназначен для инференса нейросетей на FPGA и SoC устройствах Xilinx. Vitis AI предлагает высокую производительность и гибкость для внедрения сложных моделей искусственного интеллекта в видеоаналитику и другие задачи.
Google's Coral позволяет интегрировать инференс на устройствах с Edge TPU. Coral предлагает решения для быстрого и эффективного выполнения задач компьютерного зрения и машинного обучения на краевых устройствах.
«Развитие nminfer как аналога плагинов инференса в Deepstream упростит дальнейшие разработки приложений нейросетевой обработки потоковых мультимедийных данных, так как сохранит преемственность с этим популярным инструментом, а также внесет вклад в обеспечение технологической независимости и безопасности России», — уверен создатель отечественного плагина Антон Подлегаев.