Airbnb сократил время разработки оповещений до минут — на 90% меньше шума

Airbnb значительно улучшил процесс разработки оповещений, сократив время цикла до нескольких минут и снизив уровень шума на 90%. Это важно для обеспечения надежности систем и повышения доверия к инструментам мониторинга.

Как это было сделано

Ранее компания имела около 300 000 оповещений, которые поддерживали тысячи сервисов. Их Observability as Code (OaC) подход не обеспечивал полное соответствие реальным условиям, что приводило к неэффективности. Инженеры не могли увидеть поведение оповещений до их публикации, что ухудшало качество сигналов.

Airbnb осознала, что проблемы не были связанны с культурой работы и научной дисциплиной, а возникали из-за недостатков инструментов и рабочих процессов. Пересмотрев платформу мониторинга, компания смогла внедрить быстрые циклы обратной связи, что позволило тестировать оповещения с реальными данными перед их развертыванием.

Ключевые улучшения

Теперь команды могут видеть, как будут работать оповещения, и вносить изменения на этапе разработки. Новые возможности, такие как предварительное тестирование и валидация, сократили время разработки оповещений с недель до минут, что значительно упрощает управление большим числом сервисов и оповещений. Кроме того, это привело к улучшению доверия к системам мониторинга и уменьшению утомления от оповещений.

Польза для разработчиков

Для российских разработчиков или компаний, работающих с большим количеством сервисов, важен опыт Airbnb: усовершенствование инструментов мониторинга может привести к существенным улучшениям в сроках разработки и надежности систем. Переход с опытной валидациив практику разработки позволяет избежать трудностей, связанных с запуском в продакшн и дальнейшими коррекциями, и минимизировать время outage.

Следующий шаг — smoothing migration оповещений на новую платформу Prometheus. Это обозначает важный этап в стратегии «zero-touch» наблюдаемости для Airbnb, где немедленно используется высокое качество оповещений и объектов мониторинга.

The post Airbnb сократил время разработки оповещений до минут — на 90% меньше шума appeared first on iTech News.