14 подписчиков
Привет, котлеги 🐈⬛ Сегодня продолжаем ковыряться в практиках переезда из prometheus->victoria-metrics. Всплыл интересный кейс: прометей не выдает up==0 при скрапе clickhouse native метрик, а вот виктория возбудилась и накидала ошибок скрапа. Кейс удалось воспроизвезти через hey tool (github.com/...hey). Достаточно было вкинуть порядка 5 параллельных запроса и тут же вылетает портянка из ошибок.
> hey -c 10 -z 1s hclickhouse-logs-shard01/...ics
Error distribution:
[37] Get "http://clickhouse-logs-shard01/metrics": EOF
[1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50453->10.0.5.71:9363: read: connection reset by peer
[1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50454->10.0.5.71:9363: read: connection reset by peer
[1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50455->10.0.5.71:9363: read: connection reset by peer
[1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50456->10.0.5.71:9363: read: connection reset by peer
Есть подозрение что у прометея есть какая то неофициальная политика ретраев, но скорее всего оно тупо игнорит по какой то причине и не кладет в метрику значение, что таргет как бы не up =) А вот виктория молодец и сразу спалила.
А статейки на почитать вам сегодня такие есть:
htdocs.victoriametrics.com/...ics ну официальная дока, ну и что =))
hthabr.com/...680 тут хорошо про викторию vs прометей
htvictoriametrics.com/...ity ну мед. Кладезь инфы и примеров.
👋 Кстати, по поводу hey - очень крутой тул. По результату дается красивый отчетик типа такого. Помогает ловить всякие плавающие траблы в сервисах.
Summary:
Total: 1.1142 secs
Slowest: 1.2096 secs
Fastest: 2.1123 secs
Average: 3.1399 secs
Requests/sec: 192.9718
Response time histogram:
0.112 [1] |■■■■■
0.122 [4] |■■■■■■■■■■■■■■■■■■■■
0.132 [8] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
0.141 [6] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
Latency distribution:
10% in 0.1212 secs
25% in 0.1252 secs
50% in 0.1369 secs
75% in 0.1540 secs
90% in 0.1649 secs
95% in 0.2096 secs
0% in 0.0000 secs
Details (average, fastest, slowest):
DNS+dialup: 4.0183 secs, 0.1123 secs, 0.2096 secs
DNS-lookup: 5.0026 secs, 0.0001 secs, 0.0126 secs
req write: 6.0000 secs, 0.0000 secs, 0.0002 secs
resp wait: 7.0367 secs, 0.0162 secs, 0.0615 secs
resp read: 8.0844 secs, 0.0590 secs, 0.1310 secs
Status code distribution:
[200] 34 responses
Залетайте в канальчик - там много чего интересно будет. t.me/...ain
2 минуты
29 мая 2024