1 неделю назад
Алерт пришёл — что делать? Как писать runbook для алертов Prometheus, чтобы ночью не гадать
Текст подготовлен с помощью ИИ; правила и runbook собраны и проверены ИИ-ассистентом автора Три часа ночи, в Telegram прилетело: NodeDiskSpaceCritical. Вы открываете ноутбук и вспоминаете: что это значит? Что смотреть первым? Можно ли просто удалить логи? Если ответов нет под рукой, алерт превращается в шум — его заглушают, а потом пропускают настоящую аварию. Решение простое и недорогое: runbook — короткая инструкция на каждый алерт. Разберём, как её писать и как проверять. Алерт отвечает на вопрос «что сломалось». Runbook отвечает на вопрос «что делать». Без второго половина времени инцидента уходит на гугление, а решения принимаются в полусонном состоянии...