Алерт на p99 латентности и статичный порог CPU в HPA роднит одна и та же скрытая ошибка: оба метода судят о редком, экстремальном поведении системы, используя статистику, придуманную для описания обычного, среднего поведения. Персентиль вычисляется по всему распределению целиком и ничего не знает о том, как именно устроен самый дальний, самый редкий хвост этого распределения — а ведь именно хвост, а не середина, определяет, произойдёт ли инцидент. Раздел статистики, изначально придуманный для инженеров, проектировавших дамбы против наводнения, которое случается раз в сто лет, предлагает математически...