В последнее время некоторые из вас могли сталкиваться с такими понятиями как видеоаналитика, компьютерное зрение и искусственный интеллект. Но что это, и как это работает понятно не всем.
Видеоаналитика, по сути, это процесс получения информации с камер видеонаблюдения, последующая передача ее через коммуникационные каналы для обработки на сервере или в облаке, после чего сформированные результаты отправляются на устройство пользователя. Такая модель на данный момент является общепризнанной и применяется в реальной жизни.
Казалось бы – все просто. Камера собирает видео, выступая глазами системы, передает его по каналам коммуникации на сервер, выступающий разумом системы. Сервер обрабатывает полученную информацию, делает выводы и принимает необходимые решения. Если камеры – это всего лишь устройства для получения информации, тогда за счет чего конкурируют их производители?
Будь оно так, можно было бы установить любую камеру, в зависимости от нужного качества изображения и подключить к ней все остальное. На самом деле все не так просто, как кажется на первый взгляд. Камеры видеонаблюдения уже давно стали маленькими умными компьютерами. Но, если все камеры умные, тогда какая из них умнее?
Давайте заглянем в историю создания систем видеонаблюдения и пройдем все этапы от первых опытных образцов до современной реальности.
В этой статье мы расскажем вам о том, какое место в системах видеоаналитики занимают камеры, чем отличается объем их интеллекта, что такое «EDGE computing» и выясним, какая камера является самой умной.
Для анализа камер по критерию их «smart» возможностей мы решили сравнить их между собой с применением типичных ассоциаций по уровню образования человека. Такой подход позволит правильно понять их возможности и пройти путь от начального обучения до «светилы» интеллектуальной деятельности среди видеокамер.
Сельские пятиклашки
Как мы уже говорили выше, в базовой системе видеокамера играет роль всевидящего ока, которое напрямую связано с интеллектуальным центром управления. В момент зарождения видеоаналитики такая позиция для камеры была единственно возможной, и камеры не имели возможностей самостоятельных вычислений и обработки информации.
Первые системы видеонаблюдения появились еще в 1932 году, благодаря Владимиру Зворыкину и Давиду Сарнову, которые создали первую в мире замкнутую телевизионную систему в США.
На тот момент система была построена таким образом, что видео с камеры передавалось на монитор напрямую через кабель. Такие системы использовались для наблюдения за объектами, где нахождение человека было невозможным или нежелательным. Например, камеры видеонаблюдения транслировали испытания ракет ФАУ-2 в Германии в 1942 году или испытания ядерных бомб в США, в 1945 году. Возможности записи видео тогда не существовало.
Позже в 1956 году российский инженер, иммигрировавший в США и основавший компанию «Ampex» выпустил первый коммерческий ленточный видеомагнитофон, который впоследствии стал одним из важнейших компонентов систем видеонаблюдения. Благодаря добавлению в систему видеомагнитофона появилась функция записи, сохранения и последующего просмотра видео. Этот момент стал основополагающем в истории развития видеоаналитики во всем мире.
Первое использование системы видеонаблюдения для общественных целей произошло в 1960 году в Великобритании. Сначала такие системы установили на улицах, чтобы следить за общественным порядком. Позже семья Браун запатентовала первую домашнюю систему видеонаблюдения.
Когда новый патент показал свою эффективность на практике, системы видеонаблюдения начали повсеместно использоваться в банках, магазинах, на заправочных станциях и на других коммерческих объектах.
Далее системы видеонаблюдения стали развиваться в трех направлениях:
1) В камеры стали добавлять ПЗС-матрицы и дополнительные модули;
2) Улучшались средства записи видео;
3) Разрабатывались новые стандарты видеозаписи.
Например, в 1970 году компании Philips совместно c Grundig разработали бытовой стандарт аналоговой видеозаписи VCR, который используется до сих пор.
CCTV камеры умели только передавать кадры, которые после передавались на средство видеозаписи, с которого происходила трансляция на монитор. Сама камера еще практически ничему не научилась, но система видеонаблюдения получила возможность обрабатывать и сохранять полученное изображение в более-менее приемлемом качестве.
Восьмиклассница
В 1990-х годах на смену аналоговой записи появилась известная многим, благодаря видеорегистраторам для автомобилей, цифровая система записи видео DVR. С развитием технологий это позволило использовать в качестве носителей диски, карты памяти и USB-накопители. Поскольку во времена аналоговой видеозаписи не было необходимости передавать информацию через интернет или сохранять информацию на цифровой носитель, никто даже и не думал о том, что объем получаемых данных должен быть ниже.
Сделайте фото на свой смартфон и посмотрите, сколько весит полученное изображение. Скорее всего оно будет занимать на вашем носителе от 5 до 25 мб, и это уже в сжатом формате изображения. Видео – это набор взаимосвязанных изображений. Значит 1 секунда видео, состоящая из 10 кадров, может весить от 50 до 250 мб. Стоит только представить, как много может занимать часовая запись в несжатом виде. Даже сегодня в эпоху быстрого интернета передать такой объем информации будет нелегко.
Интернет-канал может передавать ограниченное количество данных и, если перегрузить его миллионами терабайт информации с систем видеонаблюдения, то скорость передачи данных для пользователей станет крайне низкой.
Когда произошел переход к цифровой записи, и появилась потребность передавать полученную с камер информацию – основным вопросом всех производителей стало ее сжатие. Тогда были разработаны специальные алгоритмы, которые были реализованы в специализированных чипах – кодаки. Они позволили сжимать объем получаемых записей за счет обработки и кодирования полученных данных, а в дальнейшем стали частью SoC (процессора) камеры. С момента своего появления кодеки стали использоваться повсеместно. Практически все видеоматериалы в мире сейчас передаются и сохраняются в кодированном формате, значительно экономя объем хранилища.
Также, для возможности передачи информации через интернет, в камеры добавили функцию передачи потока информации по межсетевому протоколу IP. Так появились известные сейчас на весь мир IP-камеры .
Благодаря появлению новых функций, камеры научились передавать информацию по определенному адресу, производить запись, кодировать ее, работать через Wi-Fi и даже научились производить небольшие вычисления.
Школьные отличники
Дальше индустрия массово развивалась, заходила на новые рынки и стимулировала спрос на свои продукты.
Производители стали добавлять в камеры чипы, которые позволили детектировать предметы и события. Но т.к. камера непрерывно передавала информацию, она засоряла хранилище данных, объем которого весьма ограничен.
Перед разработчиками встал вопрос оптимизации хранилища. Для решения этой проблемы они добавили небольшой вычислитель, который позволил передавать информацию по принципу «есть движение – нет движения».
В начале 2000-х компания Hikvision впервые внедрила в своих устройствах стандарт H.264, который позволяет достигать высокой степени сжатия аналогового видео, сохраняя при этом качество изображения. В то же время была использована технология двойного кодирования на плате DS-4000H. Чуть позже появились улучшенные стандарты H.265 и H.265+, обладающие большей эффективностью сжатия по сравнению с H.264.
Основой этого решения стал «мастер-кадр». Принцип записи стал таким - если изображение не меняется, то его не нужно сохранять и передавать. Теперь система стала создавать основной мастер-кадр, на котором происходят события, а после фиксировать только изменения, которые происходят в данном кадре.
Представьте себе комнату или просто осмотрите помещение, в котором вы сейчас находитесь. Как правило, его основные объекты (стены, мебель, цветы, техника и тд) не изменяются. Они находятся на одном и том же месте, в одном и том же положении. Значит их можно сфотографировать один раз, и этого хватит для получения главного кадра. После создания и сохранения главного кадра система больше не записывает статичные объекты до тех пор, пока с ними не произойдут изменения. Далее система записывает только изменения на мастер-кадре. Например, она может записать движение листьев, изменения освещения или любые другие изменения. Главный принцип записи – фиксировать изменения, которые не совпадают с изначальным мастер-кадром.
Камеры научились записывать события и фильтровать передаваемую информацию. Это позволило значительно уменьшить объем информации передаваемой на носители и стало шагом к реализации самых разнообразных событий видеонаблюдения.
Университетский выпускник
Системы видеонаблюдения стали использоваться повсеместно. Но некоторые важные события остались непокрытыми простой аналитикой. Пожары, люди и машины требовали более сложного подхода и новых решений. Теперь от камер требовалось думать самостоятельно. Производители камер решили создать алгоритмы способные охватить и сложную аналитику. Этот процесс происходил параллельно с развитием сферы компактных вычислительных чипов, что предоставляло новые возможности для производителей камер при встраивании данных чипов внутрь камеры видеонаблюдения.
Следующий шаг в развитии видеокамер был сделан в 2005 году, когда на рынке появилась первая IP-камера со встроенной системой видеоанализа.
Теперь устройства безопасности могли самостоятельно распознавать различные события и выявлять нарушения, например пересечение контрольных линий, несанкционированный доступ в охраняемые зоны и многое другое.
Например, у китайского производителя камер Dahua реализована система «смарт поиска», которая позволяет выделять отдельную область на изображении и производить последующий поиск происходящих изменений только в заданной области.
Параллельно с развитием сетевых систем видеонаблюдения компании-производители совершенствовали аналоговый сегмент, так как большое количество объектов уже использовали аналоговые системы и обладали развитой аналоговой инфраструктурой. В первой декаде нового тысячелетия на рынке систем видеонаблюдения появились такие стандарты, как HD-TVI, HD-CVI, AHD. Основная задача этих технологий заключается в преобразовании цифровых форматов высокой четкости в аналоговые и их дальнейшей передаче по коаксиальному кабелю. Компания Hikvision стала одной из первых в мире, кто начал использовать новые аналоговые решения.
Профессор видеонаблюдения
На фоне широкого распространения сетевого видеонаблюдения все большую популярность получают сетевые накопители видеоданных (Network Video Recorder). Это устройства под управлением специализированного программного обеспечения и надежной операционной системы.
На рынке появляется все больше проектов, использующих модель видеонаблюдения VSaaS (Video Surveillance-as-a-Service), когда хранение, управление данными и анализ размещается на серверах сервисного провайдера, а доступ к информации осуществляется через интернет.
Сегодня основной акцент в развитии систем видеонаблюдения компании-разработчики делают на расширении возможностей видеоанализа для эффективной работы с инцидентами и для решения бизнес-задач, а также для улучшения качества изображения в трудных условиях съемки.
Например, в 2018 году появилась уникальная технология ColorVu, которая позволяет получать четкое цветное изображение в условиях низкой освещенности и даже при полном отсутствии света.
Видеоаналитика широко применяется в интересах не только безопасности, но и бизнеса: подсчет посетителей, распознавание VIP-клиентов, управление рабочими процессами и многое другое.
Теперь мы пришли в наше время, где камера стала еще умнее. Начали появляться SoC с NPU/VPU модулями, которые позволяли использовать нейронные сети, и производители стали использовать их для расширения возможностей камер. Но никто в мире не предоставлял систему способную реализовать на ней полноценное законченное решение.
По-прежнему нужен высокопроизводительный процессор, который будет способен выполнять сложные алгоритмы компьютерного зрения и принимать решения на основе полученных данных.
Камера смогла взять на себя часть функций компьютерного зрения, что привело к добавлению функций первичной детекции и добавлению метаинформации к видео потоку (например, о наличии движения, задетектированных объектах или событиях). Это позволило серверам обрабатывать не весь поток видео, а только те участки, где есть нужные для пользователя события. Но все еще основной процессинг происходит на серверах.
Камеры научились видеть, обрабатывать информацию, но все еще не стали самостоятельными и работают в команде с высшими умами в виде облака или сервера.
Хотя, кажется, что от текущего момента до принятия решения на уровне камеры осталось сделать маленький шаг.
Ведь, если камера способна определить номер машины, то, в теории, она может являться точкой принятия решения и открывать шлагбаум перед автомобилем. Или нет?
Для этого нужна база данных(БД), понимание того, как она будет обновляться, сетевой интерфейс, статистика входа и выхода данных, функция распознавание номеров, чтения БД, анализ БД и возврат решения на исполняемый процесс.
На некоторых камерах с интерфейсом Wiegand, который позволяет работать с системами контроля удаленного доступа, такое можно реализовать и сейчас. Например, это можно сделать на камерах компании Axis. Технические средства для этого уже есть, но концепта готового продукта, камера как окончательная точка принятия решения, в мире еще не сформировалось.
Камеры стали достаточно умными, получили звание профессора, но все еще не стали центром принятия решений для простых ситуаций.
Светила компьютерного зрения и искусственного интеллекта
Мир стал развиваться с безумной скоростью. В ответ на запросы жизни разрабатываются новые технологии, и сейчас информационный мир может решать множество проблем современного общества.
Реакцию индустрии не пришлось ждать слишком долго.
В ответ на запросы рынка в части упрощения, ускорения и удешевления процессов реализации и внедрения алгоритмов компьютерного зрения и ИИ пришла концепция граничных вычислений или EDGE computing, образованная в начале 2000-х.
Данный подход был основан на периферийных вычислениях, которые начались с момента активного развития сетей доставки контента в конце 1990-х годов для распространения веб- и видео-контента с помощью граничных серверов, развернутых рядом с пользователями.
В начале 2000-х эти сети развивались для размещения приложений и компонентов приложений на граничных серверах, что привело к появлению первых коммерческих периферийных вычислительных сервисов, на которых размещались такие приложения, как агрегаторы данных в реальном времени и рекламные движки.
Современные граничные вычисления значительно расширяют этот подход за счет визуализации, упрощающей развертывание и запуск более широкого спектра приложений на граничных серверах. Граничные вычисления — это парадигма распределенных вычислений, осуществляемых в пределах досягаемости конечных устройств. Данный тип вычислений используется для сокращения времени сетевого отклика, а также более эффективного использования пропускной способности сети.
Данный подход стал основной парадигмой компании SmaSS.
В 2017 году компания SmaSS разработала камеры нового типа, которые могли выполнять все известные аналитические операции на борту, а также принимать решения полностью самостоятельно. Для этого внутри камеры были размещены высокопроизводительный SoC для выполнения процессов компьютерного зрения и NPU модули, позволяющие реализовывать алгоритмы искусственного интеллекта на борту устройства.
Первый образец таких камер был представлены на международной выставке ритейлеров NRF в 2018 году, а уже в 2019 году на той же выставке в США был представлен первый концепт решения Магазина без кассиров, реализованный только на EDGE камерах SmaSS.
Казалось бы, зачем обучать камеры дальше? В чем преимущества EDGE подхода над обработкой информации в облаке или на сервере?
1. Применение видеоаналитики там, где нет инфраструктуры.
На Земле остается много мест, куда тяжело или невозможно провести коммуникации, чтобы забирать видеопоток с камер и отправлять его для обработки. Для покрытия таких кейсов SmaSS добавили в камеры возможность использовать сотовую связь (4G) для передачи законченного вывода/решения и WiFi Mesh Network, что позволяет добавлять к одной камере вычислительные мощности соседних камер, реализовывая принцип распределённых вычислений, в тех случаях, когда для одной камеры было очень много задач в одну единицу времени, а соседние камеры отдыхали.
2. Простота и скорость установки.
В разы проще установить одну камеру с полной обработкой данных на борту, чем камеру+коммуникационный канал+сервер+множество программных модулей.
3. Значительная экономия.
Меньше компонентов реализации решения (все решение в одном корпусе)– меньше затраты на установку и поддержание работоспособности и обслуживания. Доказанная экономия CAPEX и OPEX при реализации решения с применением принципа EDGE computing составляет от 3 до 10 раз.
Камеры SmaSS могут собирать, обрабатывать и анализировать информацию, передавать выводы на различные устройства и даже взаимодействовать с уже имеющимися системами через широкий спектр сетевых интерфейсов.
Совмещение видеосенсора и вычислительных модулей в одном корпусе позволило SmaSS получить новые возможности по совмещению с видеопотоком данных от дополнительных сенсоров, например,
таких как радиолокатор.
Подобного типа устройства имеют более широкие возможности по детектированию объектов на расстоянии до 150 метров от камеры в условиях полной темноты, что является новой эпохой реализации систем безопасности для всего мира.
Рынок видеонаблюдения растет с каждым годом, и мы уже видим сумасшедшие результаты развития технологий в банках, аэропортах и супермаркетах. Выбор системы видеонаблюдения постепенно превращается в процесс найма сотрудника на работу. В зависимости от задач можно выбрать ученика сельской школы, способного выполнять одно простое действие или суперспециалиста, способного справиться с сотней тысяч задач в режиме многозадачности.
Мы считаем, что эпоха умных систем уже наступила. Устройства, которые только появляются на рынке способны решать все задачи, которые существуют сегодня. Скоро камеры видеонаблюдения будут решать все больше и больше задач. Если сегодня - это простая детекция и аналитика, то уже завтра они смогут охватить сложные вычисления. Магазин без кассиров, реализуемый с использованием только камер, без сервера или облака, уже стал реальностью.
Мы следим за трендами, и считаем, что уже скоро все функциональные решения смогут выполняться с использованием камер без необходимости подключения к серверу или облаку. Мир продолжит свое развитие и мы тоже будем развиваться в ногу со временем.
SmaSS доказывает, что камера способна на большее.
Реализация магазина без кассиров без сервера с помощью камер SmaSS