Институт NIST провёл первую порцию анонсированных ранее исследований, в которых проверяется способность 89 различных систем распознавания лиц работать в условиях повсеместного ношения масок. Как и следовало полагать, маска, которая в данных тестах накладывалась на фото людей цифровым способом, сильно снижает точность распознавания.
Разработчики систем распознавания лиц переоценивают способность их продуктов идентифицировать людей, носящих маски. Этот вполне очевидный факт получил строгое подтверждение в ходе исследования, которое провёл американский Национальный институт стандартов и технологий (NIST). Выяснилось, что ведущие платформы для распознавания дают ошибку с вероятностью от 5 до 50%, когда им даётся фото человека, нижняя половина лица которого закрыта маской.
Своё исследование специалисты института задумали ещё весной, когда распространение коронавируса заставило всех надеть защитные маски, что поставило дальнейшее существование индустрии распознавания лиц под угрозу. Однако неблагоприятные условия, вызванные как раз самой «пандемией», заставили институт отложить реализацию задуманного.
И вот теперь состоялся первый этап испытаний, в котором приняло участие 89 систем. Некоторые разработчики ранее поспешили провозгласить, что точность распознавания лица в маске достигает у них 95%. Проведённый тест показывает, что ситуация далеко не столь оптимистична, что и неудивительно — половина лица никак не может давать почти той же точности, что и целое.
Тем не менее, в институте подчёркивают, что тестирование прошли версии продуктов, выпущенные до начала «пандемии», то есть совсем не адаптированные под работу с масками. Сейчас разработчики уже пытаются приспособить свои системы к «масочному миру», что непременно скажется положительно на их точности.
Маски на фотографию налагались цифровым образом. Поскольку реальное лицо слегка проступает сквозь обычную медицинскую маску, то ожидается, что система распознавания сможет обходиться с настоящей маской всё же покорректнее, чем с «пририсованной».
В ходе исследования в дело пошла база из 6 млн изображений, которую институт применял для аналогичных тестов раньше, в «доковидную эпоху». При этом проигрывался только сценарий «один к одному» — фото человека сравнивалось с другим его же фото. На лицо накладывались маски девяти видов, различавшихся цветом и формой. Выяснилось, что система лучше распознаёт лицо в круглой маске, чем в широкой. Кроме того, чёрная маска более сложна для неё, чем голубая, имитирующая обычную медицинскую маску.
