Израильские и японские исследователи разработали новый метод обмана систем распознавания лиц, установленных в общественных местах, используя маскировку, незаметную для обычных людей, в том числе, например, охраны. Нейросетевая модель определяет области лица, которые сильнее всего влияют на результат распознавания, и в цифровом виде подбирает макияж для этих областей, помогающий обмануть систему, а затем этот же макияж повторяют на настоящем лице. Испытания на 20 добровольцах показали, что метод снижает точность распознавания лица с 47,5 до 1,2 процента.
По всему миру в общественных местах установлены сотни миллионов камер видеонаблюдения, многие из которых подключены к системам распознавания лиц. Исследователи ищут как способы повышения их точности, так и способы обмана, которые в свою очередь тоже можно использовать для совершенствования алгоритмов распознавания. Есть несколько подходов к обману систем распознавания лиц в реальном мире (не в цифровом виде). Самый очевидный: использовать тот или иной вид камуфляжа, не дающий алгоритмам распознать расположение ключевых точек лица. В прошлом году редакторы N + 1 проверили несколько видов камуфляжа на практике и попытались обмануть систему распознавания лиц FindFace. Есть и более специфичные методы, например, основанные на состязательных атаках, использующих одну из фундаментальных уязвимостей нейросетевых алгоритмов. Они позволяют обманывать алгоритмы распознавания лиц с помощью ярких очков или вовсе не давать системе увидеть человека в кадре, потому что он держит в руках «кислотную» картинку.
Но оба этих подхода обманывают лишь компьютерные системы, при этом привлекая внимание людей. Исследователи под руководством Юваля Эловици (Yuval Elovici) из Университета имени Бен-Гуриона разработали метод, который позволяет обманывать алгоритмы распознавания лиц, не выделяя их из толпы для людей. Их алгоритм работает в несколько этапов и использует две модели распознавания лиц: собственную одного типа (авторы называют ее суррогатной) и целевую (которую нужно обмануть) другого типа, с расчетом на то, что подготовка на одной модели позволит обмануть и другую. Сначала он принимает некоторое количество фотографий атакующего человека и случайных людей того же пола. Затем он с помощью пропускания изображений через модель и других манипуляций вычисляет тепловую карту, показывающую, какие области лица играют ключевую роль при распознавании.
Затем на основе тепловой карты создается изображение с нанесенным макияжем и подается на распознавание на суррогатную модель. Эти шаги повторяются до момента, когда модель не сможет корректно распознать лицо. После этого подбор макияжа признается успешным и его воссоздают в реальности, нанося на лицо.Испытания проходили на 20 добровольцах и двух камерах, снимающих лица проходящих людей под разным углом. Тесты показали, что без макияжа целевая модель корректно распознавала лица на 47,57 процента кадров. С нанесенным макияжем процент распознавания снизился до 1,22, при этом для стороннего наблюдателя этот макияж практически незаметен. Также авторы протестировали случайный макияж, но он снизил точность лишь до 33,73 процента, указывая на эффективность нового метода.
Исследователи также ищут методы защиты от систем распознавания лиц в цифровой среде. Например, они предлагают заменять настоящие лица на фотографиях или видеороликах на дипфейки, чтобы сохранять приватность.