13 тыс подписчиков

Как работает система распознавания лиц в московском метро

15 февраля 202215 фев 2022

1930

7 мин

Оглавление

ЗНАКОМЫЕ ЛИЦА
С ОДНОГО ВЗГЛЯДА
МАСКА, Я ТЕБЯ ЗНАЮ

«Усы, лапы, хвост — вот мои документы!».

Сегодня заявление кота Матроскина звучит не так уж комично. С недавних пор «лицом» можно оплатить проход на любую станцию московской подземки.

О системах распознавания лиц «Цифровой океан» поговорил с компанией-разработчиком VisionLabs, технологическим партнером столичной подземки.

На самом деле, машины давно узнают москвичей в лицо.

Инструменты видеонаблюдения с распознаванием лиц стали устанавливать в метро еще в середине 2010-х, но использовались они только полицией.

Камеры системы безопасности «Сфера» можно встретить при входе на станцию и на выходе, на платформе и в вагоне поезда.

По данным правоохранителей, ежемесячно они помогают задерживать несколько сотен преступников, сопоставляя их изображения с фотографиями из базы лиц, находящихся в розыске.

Однако эти данные закрыты от посторонних.

«Поэтому для оплаты проезда в метро через FacePay используется собственная база биометрии», — рассказал нам Дмитрий Марков, глава компании VisionLabs, разработавшей алгоритмы распознавания лиц для новой системы.

Пассажиру, решившему перейти на новый и быстрый способ оплаты, требуется не только указать свои реквизиты в специальном приложении, но и сделать снимок лица, по которому система распознавания лиц в метро сможет его опознавать.

Первые камеры FacePay появились на станции «Октябрьское Поле» в 2019 году. К осени 2021 года к ней были подключены уже все 14 веток и 241 станция столичного метрополитена, готовится запуск системы распознавания лиц на линиях МЦК и МЦД.

Зарегистрированному пользователю достаточно встать на круглый черный стикер, приклеенный к полу перед турникетом, и прямо взглянуть в камеру.

Проход занимает на пару секунд меньше, чем при использовании карты, и в пересчете на многомиллионный поток выигрыш оказывается весьма серьезным.

ЗНАКОМЫЕ ЛИЦА

Самые первые опыты с машинным распознаванием лиц проводились в 1960-х в Техасском университете. И хотя до применения современных нейросетей было еще далеко, ключевые принципы были найдены уже тогда.

Лицо на фотографии вручную размечали опорными точками, очерчивая положение глаз, носа и рта.

Затем в работу вступали алгоритмы: они корректировали искажения, разворачивая лицо в стандартное положение, строго анфас, после чего сопоставляли координаты точек с данными из базы, которая в то время насчитывала лишь 800 снимков.

Сегодня все эти задачи выполняют нейросети, а датасеты могут достигать объемов в сотни тысяч и миллионы лиц, но в целом подход остался прежним.

«На первом этапе нейросеть обнаруживает и вырезает из изображения лицо, детектирует на нем точки, число которых иногда переваливает за сотню, а также масштабирует и поворачивает снимок для дальнейшей обработки. На следующем шаге координаты всех опорных точек превращаются в одно векторное значение — дескриптор, нечто вроде „биометрической контрольной суммы“ лица, — объясняет Дмитрий Марков. — Использование дескриптора экономит вычислительные ресурсы. Его значение просто сопоставляется с сохраненными в базе дескрипторами ранее обработанных лиц: чем ближе совпадение, тем выше сходство. Кроме того, оно не позволяет восстановить по нему исходный портрет человека, защищая конфиденциальность».

С 2010 года такие технологии используются на Facebook, чтобы находить и отмечать пользователей на публикуемых фотографиях.

Сегодня нейросети делают это лучше, чем настоящие живые люди. Биометрические системы идентификации внедряют в банках и супермаркетах, больницах и даже на стадионах. Собственные сервисы развивают Google (FaceNet) и Amazon (Rekognition).

С ОДНОГО ВЗГЛЯДА

Московский департамент транспорта называет свой эксперимент с системами распознавания лиц самым масштабным в мире, хотя подобные проекты запущены и в других городах, например в Сеуле.

Чтобы привлечь в систему больше пассажиров, москвичам даже предлагают скидки на проезд.

«Оплата по лицу гораздо удобнее и безопаснее, — рассказывает Дмитрий Марков. — Не нужно искать и доставать карту или наличные, достаточно просто посмотреть в камеру. Биометрический идентификатор невозможно забыть или потерять. Распознавание занимает доли секунды, поэтому в целом проход через турникеты становится быстрее, что особенно важно в часы пик».

Высокую скорость работы программисты VisionLabs считают одним из главных достоинств своего алгоритма. Дело в том, что время, необходимое на сопоставление дескриптора с базой, обычно растет в линейной пропорции к ее размеру.

Скажем, если данных для сравнения станет в два раза больше, то и поиск займет примерно вдвое дольше. У VisionLabs увеличение времени происходит совсем не так стремительно.

Тесты, проведенные американским Национальным институтом стандартов и технологий (NIST), показали, что поиск по базе, содержащей три миллиона лиц, у этой системы занимает 36 миллисекунд, а для 12 миллионов удлиняется всего до 43 миллисекунд, причем без ущерба точности распознавания.

«Ежегодно обновляемый рейтинг NIST — это главный отраслевой бенчмарк в распознавании лиц, — объясняет Дмитрий Марков. — В 2021 году институт отобрал 29 лучших алгоритмов, которые впервые участвовали в испытаниях по сценарию „Путешествие без паспорта“. Решение VisionLabs было признано лучшим сразу по трем тестам: „Посадка в самолет по нескольким снимкам“, „Посадка в самолет по одному снимку“ и „Прохождение паспортного контроля по одному снимку“. В первом тесте точность распознавания составила 99,98 %, что соответствует одному ложному положительному результату на 3333».

МАСКА, Я ТЕБЯ ЗНАЮ

Этой результативности не помешала и новая напасть: пандемия COVID‑19.

«Процесс распознавания лица в маске в целом не отличается от обычного, однако информации, на основе которой работают нейросети, становится значительно меньше, — добавляет Дмитрий Марков. — В результате усложняется каждый этап распознавания: труднее найти лицо, труднее расположить на нем ключевые точки, вычислить дескриптор. Точность работы падает при этом на 20–50 %. Однако то же касается и людей в очках, головных уборах или просто с необычным ярким макияжем». Поэтому такая задача была уже знакома программистам как частный случай распознавания «перекрытых» лиц.

Эту проблему решают дополнительным обучением нейросетей на тысячах новых снимков, показывая параллельно открытые и частично закрытые портреты.

После такого «повышения квалификации» алгоритмы становятся устойчивы к появлению или отсутствию очков, зимних шапок и даже к течению времени, опознавая одного и того же человека на фотографиях, сделанных в разном возрасте.

Так что обязательные к ношению медицинские маски не создают никаких трудностей для оплаты в метро.

«По данным независимых тестов NIST, в настоящий момент мы занимаем третье место в мире по распознаванию людей в масках», — говорит Дмитрий Марков.

Не удастся обмануть систему и с помощью чужого портрета, заранее распечатанного на принтере или выведенного на экран планшета.

Алгоритмы защиты от спуфинга — подмены лица — целенаправленно ищут на изображении артефакты, характерные для таких подделок: искажения текстур и цветовой палитры, блики и т. п.

«В 2021-м мы стали лучшими в глобальном конкурсе Face Anti-Spoofing Challenge, причем уже третий год подряд, — продолжает Дмитрий Марков. — На этот раз соревнование было сфокусировано на обнаружении атак с использованием 3D-масок. На сегодняшний день эта задача считается одной из самых сложных: при достаточном качестве маски даже человек не всегда способен определить ее на фотографии».

Впрочем, злоумышленник, который обманет систему распознавания лиц, тоже далеко не уйдет.

VisionLabs и другие компании уже используют алгоритмы, способные идентифицировать человека не только по лицу, но и по силуэту, телосложению, по виду и цвету его одежды и обуви, а также по прическе.

Это позволяет отслеживать перемещения пассажиров по метрополитену, чтобы оптимизировать потоки, находить потерявшихся людей или нарушителей.

По мнению Дмитрия Маркова, такой тренд продолжится и в ближайшие годы: компьютерное зрение будет все шире учитывать детали картинки и ее контекст, чтобы работать точнее и надежнее. А в конечном итоге нейросети смогут получать из камеры такую же информацию, что и люди, способные узнать друг друга даже по походке.