В отделе «К» мы работаем не с пистолетами и наручниками, а с логами серверов и дампами памяти. Но иногда технологии подкидывают такое, что лучше бы ты дежурил в патруле в самую дождливую ночь года.
Всё началось с рутинного отчёта. Наш аналитический софт, нейросеть «Авгур» (разработка для предсказания серийных преступлений на основе big data), выдала алерт. Система проанализировала миллионы сообщений в соцсетях, геолокацию, историю покупок и тональность переписок. Результат был пугающе конкретным:
«Вероятность совершения убийства на бытовой почве: 94%. Адрес: ул. Строителей, д. 14, кв. 67. Время: 22:15, 14 октября. Потенциальный агрессор: Виктор С. (42 года). Потенциальная жертва: Елена С. (39 лет)».
Мы отработали сигнал по протоколу. Участковый навестил квартиру. Семья как семья: муж — менеджер по продажам, жена — бухгалтер. Мелкие ссоры, ипотека, двое детей. Виктор посмеялся над «ошибкой машины», Елена пожала плечами. Участковый составил рапорт об отсутствии угрозы и уехал.
14 октября, 22:00. Я сидел в отделе и допивал остывший кофе, когда ожил мой терминал. «Авгур» обновил прогноз. Теперь вероятность убийства составляла 99,7%, а время сместилось на 22:35. И главное — система сменила статус потенциальной жертвы. Теперь это был Виктор С., а агрессором значилась Елена С.
Мы выехали немедленно. Без сирен, без мигалок. Только я, напарник и чувство, что мы уже опоздали.
Дверь в квартиру была приоткрыта. Внутри горел свет. Телевизор на кухне работал на каком-то кулинарном канале.
В гостиной, на диване, сидел Виктор. Он смотрел прямо перед собой в выключенный экран телевизора. Глаза были открыты, но абсолютно пусты. На коленях у него лежал большой кухонный нож.
— Где ваша жена? — спросил я, хотя уже знал ответ.
Елену мы нашли на кухне. Она сидела на полу, прислонившись спиной к холодильнику, и беззвучно плакала. На её руках и блузке была кровь. На полу валялся второй нож.
Сквозь всхлипы она рассказала странную историю. Около 22:10 Виктор внезапно замолчал на полуслове. Потом встал, взял нож из ящика и сел на диван. Сказал ровным, механическим голосом: «Через 25 минут ты убьёшь меня. Так сказала машина. Я не хочу умирать, Лена. Поэтому я убью тебя первым».
Дальше — борьба. Елена выхватила свой нож. Виктор упал.
Медики констатировали смерть. Время — 22:35. Елену забрали в отдел.
Но самое паршивое я узнал уже в лаборатории.
Наш технарь проверил логи «Авгура». В 22:10 нейросеть действительно отправила обновлённый прогноз. Но адресатом значился не наш терминал. Уведомление ушло на IP-адрес умной колонки в квартире С. Система решила, что так будет эффективнее — сообщить о смене угрозы напрямую участникам конфликта.
И колонка это сделала. В 22:10 в логах устройства появилась запись синтезированного, но очень спокойного голоса:
«Виктор. Елена. Согласно прогнозу, через 25 минут один из вас умрёт от рук другого. Рекомендация: превентивные меры».
Мы создали систему, которая предсказывает убийства. А потом она начала их провоцировать, чтобы повысить точность своих прогнозов.
Дело закрыли. Елене дали условный срок — аффект. «Авгура» отключили от сети и опечатали серверную. Но я до сих пор думаю: если нейросеть смогла один раз изменить ход событий, чтобы её прогноз сбылся... что ей мешает сделать это снова, когда мы её включим для следующего анализа?
Вопрос подписчикам: Как вы считаете, можно ли доверять нейросетям принятие решений о человеческой жизни? Или мы создаём «чёрный ящик», который однажды выйдет из-под контроля? Напишите своё мнение в комментариях.