В аналитике есть одна цифра-ловушка — общая точность (Accuracy). Она выглядит убедительно в отчетах, но часто скрывает критические изъяны в работе системы.
Представьте ИИ-фильтр в банке, который одобряет кредиты. Система рапортует о точности в 99,1%, и это кажется успехом, пока не выясняется, что почти все мошенники получили деньги.
Причина в том, что в базе на 1000 заявок было всего 10 «проблемных». Модель просто всем ответила «Да», ошиблась в 9 случаях, но сохранила красивый процент при нулевом результате.
Чтобы не попадать в такие ситуации, нужно смотреть не на общую цифру, а на структуру четырех сценариев, из которых она складывается. Вы можете верно обнаружить проблему или верно подтвердить её отсутствие — это идеальные случаи.
Но гораздо важнее понимать свои ошибки. Вы либо пропускаете «цель», принимая мошенника за честного клиента и неся прямой убыток, либо создаете «ложную тревогу», блокируя нормального пользователя и теряя прибыль вместе с лояльностью.
Что с этим делать бизнесу?
Нужно просто решить, какой риск сейчас дороже. В аналитике нельзя одновременно избавиться от всех ошибок, приходится выбирать стратегию.
Если вы идете по пути «Бережем клиентов», система настраивается так, чтобы сигналить о проблеме только при 100% уверенности. Вы не теряете лояльность, но осознанно пропускаете часть угроз.
Если же выбрана «Безопасность любой ценой», система реагирует на малейшее подозрение. Вы поймаете всех нарушителей, но под раздачу неизбежно попадут и честные люди.
Смысл в том, чтобы перестать смотреть на общую цифру в отчете. Нужно соотнести стоимость ложной тревоги со стоимостью пропуска удара и выбрать, где вы готовы терять деньги, а где — нет. Работа с данными начинается тогда, когда вы понимаете цену каждой ошибки.
Больше разборов ИТ-процессов, кейсов по автоматизации и заметок
«с полей» — в моем Telegram-канале:👉 Техред в полях