Создание эффективной и масштабируемой системы мониторинга — задача, стоящая перед многими компаниями. Эта статья описывает опыт автора в создании такой системы с использованием ClickHouse как хранилища данных и Grafana для визуализации. Здесь вы найдете анализ различных технологий, описание конечного решения и основные выводы. На протяжении последних шести месяцев автор работал над экспериментальным проектом мониторинга для инфраструктуры компании. Работа началась с анализа существующих решений и в итоге остановилась на связке ClickHouse + Grafana...

Сами по себе логи, трейсы, метрики - это очень узкие артефакты состояния нашего объекта наблюдения и обслуживания. Для понимания общей картины нужен взгляд сверху, сбор всех важных сигналов в одну систему и работа с большими данными в ней. Зонтичный подход близок по своим целям к RED и Golden Signals, но по своей сути является противоположным по принципу работы с данными. В Golden Signals мы отслеживаем Latency, Traffic, Errors отдельных сервисов и по ним можем быстро, но очень поверхностно определить их состояние...