Целевые показатели

Невозможно управлять тем, что невозможно измерить

Питер Дрюкер

Заставь дурака Богу молиться, он и лоб расшибет

Русская пословица

Я горячий сторонник измерений и метрик и на своем личном опыте прекрасно понимаю, что для того, чтобы понимать что я двигаюсь в запланированном направлении и двигаюсь туда эффективно, мне нужно постоянно измерять свою деятельность и ее плоды. Но все хорошо работает только будучи примененным обдуманно, во всем должна быть красота (см. эпиграф). Последний раз про перегибы я писал более 10 лет назад, но, не смотря на эволюцию атак, кибервойны, социалку на топменеджеров, и кибертерроризм, глупостей в управлении ИБ хватает, поэтому приходится продолжать серию.

Но сначала следует упомянуть важный, много раз разобранный, момент, не раз проверенный на практике: отрицательная мотивация не работает. К счастью, мы уже не крепостные и не прикреплены к месту работы, поэтому вполне можем себе позволить устраивать Юрьев день. Отрицательная мотивация работает, разве что, только для отчетности: "Ситуация расследована, виновные найдены и наказаны", хотя и подобная фраза вызывает много вопросов: "виновные" действительно злостные нарушители, со злым умыслом? что сделано для того, чтобы ситуация не повторилась? что изменено в процессе? и т.п.

Итак, как отмечал в докладе, метрики измеряют мой процесс, как минимум, что он эффективен и приводит к результату. Также, я отмечал, что, в целом, любую проблему, можно декомпозировать на части и обложить метриками, что позволит нам контролировать наше управление этой проблемой. Очевидно, проблемы есть всегда, поэтому у нас всегда есть что измерить, проблемы меняются во времени, во времени меняются и метрики. Метрики отражают нашу работу, поэтому их можно считать нашими ключевыми показателями эффективности (КПЭ или KPI), и для непрерывного совершенствования нам необходимо себе ставить целевые показатели - целевые показатели наших КПЭ.

Но, чтобы измерения работали нам на пользу, надо уметь отличать метрики хорошие от плохих. Для подавляющего большинства то, что КПЭ должны быть S.M.A.R.T. - достаточное объяснение, чтобы целевые показатели, которые не конкретны, неизмеримы, недостижимы, нерелевантны и не ограничены во времени не брались во внимание, однако, на практике, почему-то, нередко, дела обстоят иначе.

Результативность и эффективность команды SOC зависит от совершенства процессов, профессионализма команды и адекватности используемых технологий. Если что-то из этой триады работает плохо - это недоработка команды SOC, и как следствие, команда SOC пропускает инциденты. По такой логике выглядит привлекательным поставить целевым показателем 0 пропущенных инцидентов, действительно, число к которому надо стремиться. Однако, при всей стройности приведенной логики, есть одна большая проблема: 0 пропущенных инцидентов не выполняет условия S.M.A.R.T.

Когда мы говорим о Threat hunting-е, мы придерживаемся принципа Assume breach, из которого простое следствие - Assume vulnerable, и еще более очевидное следствие - инциденты неизбежны. Неизбежность инцидентов на практике не столь большая проблема, так как цель - не исключить возможность инцидента, а не допустить ущерб. Многие это уже понимают, думаю, в наступившем году это станет очевидным для абсолютно всех, и мы больше будем говорить не о предотвращении инцидентов, а о киберустойчивости, что я отметил в прогнозах под номером 5. В условиях неизбежности инцидентов целевой показатель SOC в отсутствии пропущенных инцидентов недостижим, а значит не S.M.A.R.T.

В приведенной логике возможное возражение - инцидент пропущенный по вине аналитика. Практика показывает, что в современных условиях виновного можно найти всегда, поскольку вопросы ответственности за оперативный мониторинг - стандартная проблема, имеющая типовое решение, а современные технические средства мониторинга достаточно совершенны, чтобы не пропускать атаки (тем более, если мы говорим о EDR/NDR, то релевантная телеметрия точно будет). В реальных инцидентах расследование показывает, что имеющие средства безопасности, включая классические антивирусы, не пропускают атаки "без единого чиха" (это вижу и я по статистике инцидентов MDR, это подтверждают и ребята, занимающиеся расследованием). В общем, всегда есть то, на что следовало бы обратить внимание, и всегда ясно кто это должен был быть (спойлер: аналитик SOC).

Итак, думаю, я был убедительным, доказывая, что "0 пропущенных инцидентов" - не самый хороший целевой показатель для SOC.