История, в которой алгоритм оказался важнее обычной проверки фактов, уже дошла до суда и медиа. В США женщина почти полгода провела под стражей после того, как полиция связала её с банковским мошенничеством на основании системы распознавания лиц. Для темы ИИ это важно потому, что речь идёт не о сбое в приложении, а о реальных последствиях для человека — с потерей имущества и разрушенной нормальной жизни.
Что известно сейчас
По данным SecurityLab, речь идёт об Анджеле Липпс — жительнице штата Теннесси. Полиция города Фарго в Северной Дакоте сочла её участницей банковского мошенничества после того, как программа распознавания лиц указала именно на неё. Основанием для расследования стали записи с камер, на которых женщина использовала поддельное военное удостоверение армии США и снимала крупные суммы денег.
После этого следствие сопоставило результат работы алгоритма с профилями в социальных сетях и фотографией водительского удостоверения. Следователь сделал вывод, что подозреваемая на видео похожа на Липпс по чертам лица, телосложению и причёске. На этом основании женщине предъявили обвинения по нескольким эпизодам незаконного использования персональных данных и кражи.
Как пишет SecurityLab, 14 июля сотрудники службы маршалов США задержали Липпс у неё дома, когда она присматривала за детьми. Сначала она почти четыре месяца провела в тюрьме округа в Теннесси без возможности освобождения под залог, а затем её доставили в Северную Дакоту. Первое полноценное интервью с ней полиция Фарго провела только в декабре, когда женщина уже более пяти месяцев находилась под стражей.
Перелом в деле произошёл после того, как адвокат проверил банковские операции своей подзащитной. Выписки показали, что в дни предполагаемых преступлений Липпс находилась более чем в 1900 километрах от Фарго — у себя дома в Теннесси. В тот период она получала выплаты социального обеспечения, покупала продукты в местных магазинах и оплачивала заказы через сервисы доставки. После этого 24 декабря обвинения с неё полностью сняли, а дело закрыли.
Почему это важно
Главный смысл этой истории не только в ошибке распознавания лиц, а в том, как именно результат работы ИИ был встроен в расследование. Алгоритм указал на человека, затем это совпадение было подкреплено визуальным сходством по фото и соцсетям, и уже после этого система правоохранительных решений пошла дальше. Для читателя, который ищет, что известно о рисках ИИ в полиции, именно здесь находится ключевой вопрос: насколько охотно люди доверяют алгоритму там, где цена ошибки слишком высока.
На практике это меняет взгляд на саму роль ИИ. Когда речь идёт о генерации текста или поиске картинок, ошибка неприятна, но обычно поправима. Когда тот же подход переносится в сферу уголовных расследований, последствия становятся совсем другими. В случае Анджелы Липпс ошибка в распознавании лиц и слабая дополнительная проверка привели не просто к неудобству, а к месяцам заключения и тяжёлым личным потерям.
SecurityLab пишет, что после освобождения женщина оказалась в Фарго без денег и тёплой одежды, а местные адвокаты и благотворители помогали ей вернуться домой. Несмотря на закрытие дела, последствия остались серьёзными: Липпс потеряла дом, автомобиль и собаку. Полиция Фарго извинений не принесла и заявила лишь, что расследование банковского мошенничества продолжается, а настоящие подозреваемые пока не установлены.
Что пока не ясно
При этом в доступных данных нет полного технического разбора самой системы распознавания лиц, которая привела к ошибке. Не раскрывается, какая именно модель использовалась, каков был уровень её точности в этом случае и какие внутренние процедуры проверки должны были сработать до ареста. Поэтому делать выводы о конкретной технологии по одному опубликованному материалу рано.
Не хватает и более широкой информации о том, будут ли у этой истории последствия для самой полицейской практики. Сейчас подтверждены ошибочный арест, последующее снятие обвинений и тяжёлые последствия для женщины, но неясно, изменятся ли после этого правила работы с системами распознавания лиц в подобных расследованиях. Это как раз тот случай, когда важно ждать не только обсуждения, но и официальных решений.
Кому стоит подождать? Тем, кто хочет понять, последуют ли после этого дела официальные изменения в применении распознавания лиц полицией. Кому можно не ждать? Тем, кто уже сейчас следит за темой ИИ в правоохранительной системе и хочет видеть реальные риски таких инструментов. Дальше стоит обращать внимание на возможные иски, на реакцию полиции Фарго и на новые подтверждения того, как именно должны проверяться выводы алгоритма до ареста человека.
Если вам интересны такие разборы ИИ, цифровых ошибок и их последствий в реальной жизни, подписывайтесь на канал.
Как вам кажется, в делах с такими последствиями распознавание лиц вообще должно использоваться как основание для подозрения, или без независимых подтверждений ему не место в расследовании?