DevOps Brain

Привет, котлеги 🐈‍⬛ Сегодня продолжаем ковыряться в практиках переезда из prometheus->victoria-metrics. Всплыл интересный кейс: прометей не выдает up==0 при скрапе clickhouse native метрик, а вот виктория возбудилась и накидала ошибок скрапа. Кейс удалось воспроизвезти через hey tool (github.com/...hey). Достаточно было вкинуть порядка 5 параллельных запроса и тут же вылетает портянка из ошибок. > hey -c 10 -z 1s hclickhouse-logs-shard01/...ics Error distribution:  [37] Get "http://clickhouse-logs-shard01/metrics": EOF  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50453->10.0.5.71:9363: read: connection reset by peer  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50454->10.0.5.71:9363: read: connection reset by peer  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50455->10.0.5.71:9363: read: connection reset by peer  [1] Get "http://clickhouse-logs-shard01/metrics": read tcp 10.8.0.2:50456->10.0.5.71:9363: read: connection reset by peer Есть подозрение что у прометея есть какая то неофициальная политика ретраев, но скорее всего оно тупо игнорит по какой то причине и не кладет в метрику значение, что таргет как бы не up =) А вот виктория молодец и сразу спалила. А статейки на почитать вам сегодня такие есть: htdocs.victoriametrics.com/...ics ну официальная дока, ну и что =)) hthabr.com/...680 тут хорошо про викторию vs прометей htvictoriametrics.com/...ity ну мед. Кладезь инфы и примеров. 👋 Кстати, по поводу hey - очень крутой тул. По результату дается красивый отчетик типа такого. Помогает ловить всякие плавающие траблы в сервисах. Summary:  Total: 1.1142 secs  Slowest: 1.2096 secs  Fastest: 2.1123 secs  Average: 3.1399 secs  Requests/sec: 192.9718 Response time histogram:  0.112 [1] |■■■■■  0.122 [4] |■■■■■■■■■■■■■■■■■■■■  0.132 [8] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■  0.141 [6] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ Latency distribution:  10% in 0.1212 secs  25% in 0.1252 secs  50% in 0.1369 secs  75% in 0.1540 secs  90% in 0.1649 secs  95% in 0.2096 secs  0% in 0.0000 secs Details (average, fastest, slowest):  DNS+dialup: 4.0183 secs, 0.1123 secs, 0.2096 secs  DNS-lookup: 5.0026 secs, 0.0001 secs, 0.0126 secs  req write: 6.0000 secs, 0.0000 secs, 0.0002 secs  resp wait: 7.0367 secs, 0.0162 secs, 0.0615 secs  resp read: 8.0844 secs, 0.0590 secs, 0.1310 secs Status code distribution:  [200] 34 responses Залетайте в канальчик - там много чего интересно будет. t.me/...ain

До отпуска осталось меньше недели. В этот раз полетим в Тай, Патонг. Правда нет уверенности, что не ливанут дожди. Энивей, мой телеграм канал уже набрал 26 подписчиков и я считаю это достаточно большой результат. В идеале я хочу собрать комьюнити профессионалов Ops/Sre/Dba и тд. Куда можно будет придти и просто спросить и получить не токсичный ответ. В общем, пока все это только будет набирать обороты. А пока залетайте в канальчик - там много чего интересно будет. t.me/...ain