Событий в SOC становится все больше, а аналитиков больше не становится. Поэтому системы на базе ИИ уже сегодня помогают сортировать инциденты, расставлять приоритеты и отсеивать часть шума. Следующий логичный шаг – разрешить искусственному интеллекту самостоятельно закрывать часть инцидентов без участия человека. Но это значит, что система начнет решать не только на что обратить внимание аналитика, но и выбирать, что он вообще никогда не увидит.
Авторы:
Ольга Гордеева, магистрант 2 курса направления «Инноватика» ФГАОУ ВО Казанский (Приволжский) федеральный университет
Олег Недопекин, к.ф.-м.н., доцент ФГАОУ ВО Казанский (Приволжский) федеральный университет
Общепринятая сегодня модель работы SOC формировалась в период, когда объемы журналов событий были относительно невелики, а основным ограничением считалась вычислительная мощность систем хранения и анализа данных. Сегодня ситуация изменилась.
Современная инфраструктура организации включает десятки и сотни источников телеметрии: средства защиты конечных точек, сетевые устройства, облачные сервисы, системы управления доступом, прикладные платформы и средства мониторинга инфраструктуры. Каждое из этих решений генерирует собственный поток событий. Даже после фильтрации и корреляции количество детектов остается настолько высоким, что ручная обработка становится плохо масштабируемой. Увеличение числа клиентов или расширение инфраструктуры приводит к непропорциональному росту нагрузки на аналитиков SOC.
В результате рынок ИБ пришел к выводу, что дальнейшее развитие центров мониторинга невозможно без существенного увеличения доли автоматизации. Сначала автоматизация помогала собирать контекст, расставлять приоритеты и ускорять работу аналитиков. Однако все острее становится такой вопрос: может ли система не только помогать принимать решения, но и самостоятельно отсеивать часть детектов, которые не требуют внимания человека? Одним из наиболее радикальных вариантов такого подхода считается автоматическое закрытие инцидентов. Потенциальные преимущества такого подхода очевидны:
- сокращение времени обработки инцидентов;
- снижение нагрузки на аналитиков;
- уменьшение количества ложноположительных срабатываний;
- повышение масштабируемости SOC.
Однако именно в этот момент возникают новые проблемы.
А если ИИ сам закрывает инциденты?
Будем исходить из того, что любая система автоматического закрытия начинает работу с наиболее безопасных сценариев. В первую очередь из поля зрения аналитиков исчезают повторяющиеся события, типовые ложноположительные срабатывания и инциденты с низкой оценкой критичности.
На первых этапах эффект выглядит исключительно положительным. Количество инцидентов, требующих ручного анализа, сокращается, а специалисты получают возможность сосредоточиться на действительно значимых угрозах.
Однако по мере роста доверия к системе происходит постепенное изменение информационного пространства SOC. Аналитики начинают видеть не весь поток событий, а только ту его часть, которую система сочла достойной внимания. Другими словами, между человеком и телеметрией появляется интеллектуальный посредник.
Именно здесь возникает самый большой риск. Системы машинного обучения ориентированы на выявление отклонений и шумных аномалий. В то же время современные злоумышленники все чаще стремятся действовать максимально незаметно, имитируя нормальное поведение пользователей и администраторов.
Парадокс заключается в том, что наиболее опасными становятся события, которые выглядят наиболее типичными. Чем агрессивнее система сокращает поток событий, тем сложнее понять, где заканчивается шум и начинаются слабые сигналы угрозы.
Злоумышленники могут адаптироваться к логике ИИ
Любая технология защиты со временем становится объектом изучения со стороны атакующих. Если решение о закрытии инцидента принимает некий алгоритм, то сам этот алгоритм становится частью поверхности атаки. Злоумышленнику больше не обязательно обходить аналитика. Достаточно научиться обходить модель принятия решений.
Для этого атакующий может применять различные тактики обхода механизмов автоматической фильтрации:
- увеличение временных интервалов между действиями;
- использование легитимных инструментов;
- имитацию легитимного поведения пользователей;
- эксплуатацию особенностей модели оценки риска.
Особую опасность представляют медленные атаки, растянутые во времени на недели или месяцы. В таких случаях каждое отдельное действие выглядит безопасным и не вызывает подозрений, однако совокупность действий может свидетельствовать о полномасштабной компрометации инфраструктуры. Аналогичная ситуация возникает при горизонтальном перемещении внутри сети. Последовательность незначительных событий может не представлять угрозы по отдельности, но их комбинация формирует картину атаки.
Если отдельные элементы этой цепочки будут автоматически закрываться, вероятность своевременного обнаружения злоумышленника существенно снижается.
Автоматизация поменяет не только процессы обработки инцидентов, но и роль аналитика. Если специалисты годами работают только с отфильтрованным потоком событий, постепенно снижается их способность самостоятельно выявлять нетипичные закономерности. Аналитик начинает доверять системе и воспринимать ее решения как исходную истину. В долгосрочной перспективе это может привести к деградации экспертных навыков.
Кроме того, уменьшается объем данных, используемых для совершенствования механизмов выявления угроз. Многие гипотезы и сценарии обнаружения формируются именно в процессе ручного анализа шумных и неоднозначных событий. Если такие события перестают попадать к специалистам, качество развития SOC заметно снизится.
Одним из ключевых требований к системам автоматического закрытия инцидентов станет объяснимость. Если ИИ принимает решение о закрытии, аналитик должен понимать:
- почему событие было закрыто;
- какие признаки были учтены;
- какие факторы повлияли на оценку риска;
- насколько уверенной была модель в своем решении и т. д.
Без прозрачности механизм автоматического закрытия превращается в черный ящик, который постепенно начинает определять границы видимости для всего SOC.
Первый серьезный инцидент
Наиболее вероятно, что первый критический инцидент, пропущенный ИИ, не будет сопровождаться всплеском активности или большим количеством предупреждений. Напротив, наиболее опасной окажется медленная и малозаметная атака, как мы разобрали ранее.
Весьма вероятна ситуация, когда телеметрия поступила в SOC, но ИИ принимает решение не показывать ее аналитикам. В таком случае проблема заключается не в отсутствии данных, а в их искусственном сокрытии на уровне логики принятия решений.
Концептуальный риск возникает при использовании механизмов самообучения. Если модель начинает обучаться на собственных решениях, формируется опасный цикл обратной связи. Ошибочно закрытые инциденты начинают восприниматься системой как корректные примеры поведения, что приводит к накоплению ошибок и планомерному снижению качества обнаружения угроз.
Впрочем, несмотря на быстрый прогресс технологий ИИ, полностью автономный SOC в ближайшие годы представляется малореалистичным. Наиболее вероятным сценарием развития станет сохранение человека в контуре принятия решений. Автоматизация будет использоваться для отбора, приоритизации и предварительной обработки инцидентов, тогда как окончательный контроль над критически важными решениями останется за аналитиками.
Вероятно, широкое распространение получат следующие меры контроля:
- режим наблюдения перед включением автоматического закрытия;
- обязательное подтверждение отдельных категорий инцидентов;
- периодический аудит автоматически закрытых событий;
- сохранение полного доступа к исходной телеметрии;
- возможность объяснения каждого решения системы.
Да, при этом меняется философия мониторинга. Раньше считалось, что чем больше обнаружено угроз, тем лучше. Теперь ключевым ресурсом становится внимание аналитика, а значит важно не только находить угрозы, но и не перегружать человека лишними сигналами.
Автоматическое закрытие инцидентов, вероятно, неизбежно. Однако его массовое внедрение станет возможным только после появления механизмов контроля ИИ в качестве системы принятия решений. Пока SOC умеет измерять качество обнаружения угроз, но практически не умеет измерять качество их сокрытия. До тех пор передавать ИИ право самостоятельно исключать события из поля зрения аналитиков, по-видимому, преждевременно.