Продолжаем серию статей о практиках, сложившихся в нашем SOC, и в этой заметке коснемся темы контроля качества работы аналитиков (может, Бог даст, удастся написать и о других механизмах контроля качества, и эта статья будет первой в серии).
В идеальном случае нам бы хотелось перепроверять все опубликованные инциденты, но на практике из-за объема работ это сложно реализовать, поэтому на 50% - многообещающее достижение. Перепроверкой в нашем случае занимается вторая линия. Проверенный инцидент помечается тегом критичности ошибки (нехитрая табличка приведена ниже). Все замечания указываются во внутренних заметках, описание замечаний должно быть достаточным для обоснования проставленного тега критичности ошибки. Если еще имеет смысл, то проверяющий исправляет карточку инцидента и переопубликовывает ее Заказчику.
На регулярной встрече под запись, так как работа аналитиков сменная и они расположены в разных часовых поясах, мы коллективно разбираем все ошибки: владелец инцидента рассказывает почему он сделал то, что он сделал, а проверяющий обосновывает свою оценку. Обычно, проверяющий оказывается прав, однако случаи, когда оценка проверяющего корректируется в лучшую или худшую сторону также нередки, все мы постоянно обучаемся. Ключевой момент здесь, в том, что все ошибки разбираются коллективно, и такого рода встречи имеют массу позитивных последствий:
- улучшается качество информации, предоставляемой в карточках инцидентов заказчикам - это можно отслеживать в метриках SOC, по статистике этих же ошибок в результате перепроверки
- вырабатываются единые подходы к расследованию и оформлению - наличие массы внутренних инструкций - это прекрасно, но важно публично разбирать отклонения от исполнения этих инструкций, да и инструкций можно иметь меньше, когда в рамках таких встреч мы вырабатываем "правильную" практику работы аналитика SOC, внедряем это во внутреннюю культуру, если хотите
- более эффективно проходит onboarding наших новых коллег - опять же можно прочитать кучу документации и выслушать часы рассказов о том, как правильно, но разбор практических ситуаций, тем более с непосредственным собственным участием, - незаменимый опыт
В завершение, давайте поговорим о классификации ошибок по критичности, и она предельно проста.
