Распознавание лиц в школах: даже сторонники говорят, что это не остановит перестрелки
Индустрия распознавания лиц начинает понимать, что ее обещания дают ложное чувство безопасности.
После школьной стрельбы в Паркленде, штат Флорида, погибли 17 человек, RealNetworks решила сделать свою технологию распознавания лиц бесплатной для школ в США и Канаде. Если школьные чиновники смогут обнаружить незнакомцев в своих кампусах, они смогут остановить стрелков до того, как они попадут в классную комнату.
Стремясь защитить детей от насилия с применением огнестрельного оружия, тысячи школ обратились с интересом к этой технологии. Десятки начали использовать SAFR, технологию распознавания лиц RealNetworks.
Работая со школами, RealNetworks, компания, занимающаяся потоковым мультимедиа, говорит, что она усвоила важный урок: распознавание лиц вряд ли является эффективным средством для предотвращения стрельбы.
«Подавляющее большинство школьной стрельбы проводится людьми, которых вы не обязательно включите в список наблюдения, на которые вы бы не обращали внимания», - сказал Майк Вэнс, старший директор SAFR по управлению продуктами. «Вы должны знать, кого вы ищете».
По словам компании, если школы не знают, кто является вероятным стрелком, ее программное обеспечение не знает, кого искать.
С приближением второй годовщины стрельбы во Флориде индустрия видеонаблюдения сталкивается с реальностью того, что распознавание лиц недостаточно приспособлено для решения задач по предотвращению стрельбы в школах. Эксперты ИИ и защитники конфиденциальности уже давно утверждают эту точку зрения. Теперь компании по распознаванию лиц тоже начинают это понимать.
Компании по распознаванию лиц стекались в школы, чтобы представить свою продукцию, часто ссылаясь на такие трагедии, как Columbine, Sandy Hook и Parkland. Эти шаги были эффективными, так как школьные советы стремятся принять распознавание лиц в своих коридорах, надеясь, что технология поможет спасти жизнь учащихся.
Распознавание лиц 101
По данным IHS Markit, сектор образования потратил 2,7 миллиарда долларов на системы безопасности в 2017 году, за год до расстрела в Паркленде. Ожидается, что к 2021 году это число вырастет еще на 100 миллионов долларов.
В Нью-Йорке государственные школы Локпорта потратили около 1,4 млн. Долларов на установку технологии распознавания лиц в своих школах. Деньги, которые были потрачены на 300 камер, серверов и программного обеспечения, первоначально были выделены на образовательные технологии для студентов в соответствии с Законом об умных связях школ, принятым в 2014 году в Нью-Йорке.
«К нашему ужасу, в нашей стране продолжают происходить стрельбы по школам. Во многих случаях в этих стрельбах участвуют учащиеся, подключенные к школам, в которых происходят эти ужасающие инциденты», - заявила Мишель Брэдли, руководитель школ в Локпорте. на сайте района с объяснением решения. «Городской школьный округ Локпорт продолжает уделять приоритетное внимание школьной безопасности».
Система распознавания лиц в школьном округе была запущена в январе, несмотря на протесты против этого инструмента и ожидаемое государственное законодательство о технологии, предусматривающее введение моратория до 2022 года. Совет по образованию округа не ответил на запрос о комментариях. Несколько сторонников конфиденциальности призвали ввести мораторий на технологию распознавания лиц до тех пор, пока ее результаты и возможности не будут полностью исследованы.
Общественное мнение также склоняется в пользу распознавания лиц в школах, несмотря на небольшое количество доказательств его эффективности. В ноябре группа ProPrivacy, занимающаяся защитой конфиденциальности, обнаружила, что 54% респондентов заявили, что им удобно использовать распознавание лиц в школах.
Однако после работы со школами Vance из RealNetworks обеспокоен тем, что распознавание лиц дает педагогам ложное чувство безопасности.
«Вы не должны говорить, что распознавание лиц может предотвратить школьные перестрелки, потому что это действительно слишком многообещающе», - сказал Вэнс. «Вам все еще нужно иметь благоразумие. Вам все равно нужно взаимодействовать с сообществом, чтобы быть уверенным, что вы знаете, что происходит с детьми».
Вэнс не единственный руководитель службы безопасности, который пришел к такому выводу.
Когда Лиза Фальцоне, генеральный директор компании по обнаружению оружия Athena Security, исследовала, как использовать ИИ, чтобы помочь остановить стрельбу в школе, она сказала, что быстро увидела проблемы с распознаванием лиц.
Продукт ее компании используется школой в Пенсильвании и мечетью в Новой Зеландии. Athena Security сосредоточена на обнаружении оружия, а не лиц. Это означает, что он не полагается на список наблюдения, как распознавание лиц.
«Мы не считаем распознавание лиц хорошим способом решения проблемы», - сказал Фальзоне. «Когда мы стали больше разбираться в этом, мы увидели много проблем с приватностью».
Не все компании по распознаванию лиц пришли к выводу, что RealNetworks и Athena сделали это, хотя это может измениться, когда появится больше данных.
Trueface - компания по распознаванию лиц, технология которой используется в школах и на базах ВВС. Но генеральный директор Шон Мур говорит, что компания начала фокусироваться на возможностях обнаружения оружия, отчасти из-за проблем с конфиденциальностью при обнаружении лиц людей.
Мур говорит, что он не видел достаточно данных, чтобы решить, является ли распознавание лица эффективным инструментом для прекращения стрельбы в школе. Но он начал думать, что это не может быть.
«Мы склоняемся в этом направлении», - сказал Мур, имея в виду ограничения распознавания лиц при прекращении стрельбы. «Но я все еще думаю, что признание лица в действии является эффективным сдерживающим фактором или, возможно, может помешать людям хотеть причинить вред».
Ложные срабатывания
Множество исследований вызвало обеспокоенность по поводу недостатков точности распознавания лиц, а также его влияния на конфиденциальность.
В декабре прошлого года Национальный институт стандартов и технологий США обнаружил, что большинство систем распознавания лиц ошибочно распознают цветных людей чаще, чем белые. Уровень ошибок варьировался от 10 раз до 100 раз чаще для цветных людей.
Если распознавание лиц используется в школах, частота ошибок показывает, что цветные ученики будут ложно отмечаться чаще, чем белые ученики.
Такие организации, как Human Rights Watch, Американский союз гражданских свобод и Фонд Electronic Frontier, предупреждают, что распознавание лиц в школах угрожает личной жизни учащихся. Американские законодатели подняли вопросы конфиденциальности, связанные с этой технологией, предупредив, что распознавание лиц может оказать сдерживающее влияние на свободу слова благодаря постоянному наблюдению и выявлению способностей.
Другая проблема заключается в том, что школы оправдывают внедрение технологии распознавания лиц, ссылаясь на предотвращение расстрелов. Однако часто они используют его для разных целей.
Независимый школьный округ Техаса принял распознавание лиц после того, как в результате стрельбы в средней школе Санта-Фе в 2018 году 10 человек погибли и 10 получили ранения.
«Я укажу, что не все инициативы по обеспечению безопасности связаны со школьными стрелками, и распознавание лиц намного больше, чем это», - заявила Мелисса Торторичи, директор по коммуникациям школьного округа. «Сказать, что это основная причина, по которой мы приняли распознавание лиц, неточно».
Школьный округ превратился в AnyVision, израильскую компанию по распознаванию лиц, которая в основном занимается маркетингом в школах, используя стрельбу в качестве основной торговой точки. В маркетинговых материалах были представлены снимки школьных съемок в Коломбине, Сэнди Хук и Паркленде.
Корпорация Microsoft проводит аудит компании на предмет использования распознавания лиц на палестинцах после того, как технологический гигант инвестировал в AnyVision в рамках раунда финансирования в 74 миллиона долларов. Программный гигант расследует, не нарушила ли компания свое обещание не использовать распознавание лиц способами, нарушающими права человека.
AnyVision не ответил на запрос о комментариях, и Microsoft заявила, что аудит все еще продолжается.
Торторичи сказал, что школьный округ использовал распознавание лиц, чтобы удалить ученика, которому запретили посещать кампус, но не раскрыл подробности инцидента. Школьный округ также использовал это, чтобы отследить уволенного сотрудника, который угрожал руководителям, сказал Торторичи.
Позднее, по словам Вайреда, система была использована исполнительным директором службы безопасности района, чтобы запретить женщине посещать кампус, с которым он поспорил. После того, как она назвала его мудаком во время ссоры на заседании школьного совета, исполнительный директор поместил изображение женщины в список наблюдения системы распознавания лиц. Торторичи сказал, что любой, кто использовал «угрожающий язык по отношению к сотрудникам или студентам», будет добавлен в систему распознавания лиц.
«Это поднимает все вопросы технологий наблюдения и нормализации слежки и отслеживания», - сказала Бренда Леонг, старший советник и директор AI и этики на форуме Future of Privacy. «Чем больше мы это делаем, тем труднее студентам выразить себя».
Лицо плоское
Когда распознавание лиц стало известно в школьном округе Локпорта, суперинтендант Брэдли объяснил, что это сопоставит посетителей с базой данных, которую ведет округ.
Чтобы обеспечить конфиденциальность учащихся и сотрудников, база данных будет содержать только фотографии ограниченного числа людей, которые могут представлять потенциальную угрозу для школ. База данных включала сотрудников, которые были отстранены от работы, лиц, совершивших преступления на сексуальной почве, и людей, которым по решению суда запрещено посещать школу.
По словам Вэнса из RealNetworks, система наблюдения - это именно то, почему распознавание лиц не сможет предотвратить школьные перестрелки.
Чтобы технология работала, школа должна была уже знать, что кто-то может напасть на кампус. Но школьные перестрелки исторически проводились непредсказуемым образом, которого не ожидали ни технологии, ни администраторы.
«Я не хочу сказать, что это никогда не может быть использовано, но я думаю, что в большинстве случаев, которые вы видите, вы просто не могли бы предсказать, что человек, приезжающий в кампус, будет делать что-то не так», - сказал Вэнс. «Мы не рассматриваем это как« решение »для школьной стрельбы, мы рассматриваем это как инструмент безопасности школы».
Вэнс говорит, что распознавание лиц может помочь утвержденным родителям забрать своих детей после занятий или определить повседневные школьные задачи, например, выяснить, какие учащиеся участвуют в драке на парковке.
Он обнаружил, что школы в основном используют распознавание лиц для логистики, а не для предотвращения массовых расстрелов, как рекламируют компании.
Страх продает
Даже когда основной смысл продажи распознавания лиц не так прочен, как он утверждает, он все еще устанавливается в школах по всей стране. Эксперты считают, что отчасти это связано с маркетингом, основанным на страхе, который используют компании по распознаванию лиц.
«Это ужасная проблема - знать, что кто-то может ворваться в школу вашего ребенка и начать расстреливать людей», - сказал Леонг из Future of Privacy Forum. «Большинство людей не знают, как работает распознавание лиц, и они хотят чувствовать, что они что-то сделали».
По мере того, как компании пытаются продать свою технологию распознавания лиц, возникают опасения, что средства перенаправляются с образовательных целей на ненадежную технологию.
«Большинство людей не знают, как работает распознавание лиц, и они хотят чувствовать, что они что-то сделали».
Бренда Леонг, старший советник и директор AI и этики на форуме Future of Privacy
«За каждую систему камер, которую вы покупаете, вы не платите за консультации, которые могут помочь этой обеспокоенной молодежи понять, что происходит в их жизни», - сказал Эндрю Гатри Фергюсон, профессор права в Университете округа Колумбия и Автор книги «Повышение безопасности больших данных». «1 миллион долларов лучше потратить на создание образовательной среды с социально-эмоциональной учебной средой, чем на состояние наблюдения».
Сторонники конфиденциальности беспокоятся, что распознавание лиц создает состояние слежки в школах, и они не единственные. Компании по распознаванию лиц тоже начинают это видеть. «Школы должны быть открытыми, и они должны чувствовать себя доброжелательно», - сказал Вэнс из RealNetworks. «За исключением создания этих мини-тюрем, это просто не та среда, которую люди пытаются создать в сфере образования».
Смотрете больше на сайте