Добавить в корзинуПозвонить
Найти в Дзене
Алексей Иванов

🎃 Хеллоуинская история о воскрешении мертвых (данных

🎃 Хеллоуинская история о воскрешении мертвых (данных) Ночь с 31 октября на 1 ноября. Все нормальные люди смотрят хорроры или идут на вечеринки. А я? Я занимаюсь настоящим некромантством — восстанавливаю метрики Prometheus Я веду учет количества токенов, сетевых запросов и заявок в тильду по каждому проекту и недавно я начал замечать, что каким-то мистическим образом старые метрики Multify стали исчезать, хотя у меня и настроен режим сохранения на диск ⚡️ И вот, почему-то именно в эту ночь, меня, как Франкенштейна, молнией озарило: А что если у Prometheus установлено ограничение на срок хранения? ... Так и оказалось! По-умолчанию --storage.tsdb.retention.time равен 15 дней И вот я пошел, откопал запылившийся бэкап сервера, чтобы вытащить из него старые данные... Однако, оказалось это не так-то просто: SSH молчит, как склеп. Пароли не подходят, а ключи игнорируются. Сервер превратился в настоящий заколдованный дом. Видишь его, но попасть внутрь не можешь На помощь пришла загру

🎃 Хеллоуинская история о воскрешении мертвых (данных)

Ночь с 31 октября на 1 ноября. Все нормальные люди смотрят хорроры или идут на вечеринки. А я? Я занимаюсь настоящим некромантством — восстанавливаю метрики Prometheus

Я веду учет количества токенов, сетевых запросов и заявок в тильду по каждому проекту и недавно я начал замечать, что каким-то мистическим образом старые метрики Multify стали исчезать, хотя у меня и настроен режим сохранения на диск

⚡️ И вот, почему-то именно в эту ночь, меня, как Франкенштейна, молнией озарило:

А что если у Prometheus установлено ограничение на срок хранения? ...

Так и оказалось!

По-умолчанию --storage.tsdb.retention.time равен 15 дней

И вот я пошел, откопал запылившийся бэкап сервера, чтобы вытащить из него старые данные...

Однако, оказалось это не так-то просто:

SSH молчит, как склеп. Пароли не подходят, а ключи игнорируются. Сервер превратился в настоящий заколдованный дом. Видишь его, но попасть внутрь не можешь

На помощь пришла загрузка в rescue mode, т.н. «режиме спасения» сервера — это когда сервер загружается с отдельного образа, а зайдя в него можно смонтировать диски вручную

Я буквально лезу в файловую систему как археолог в древнюю гробницу: ищу данные Prometheus, копирую их и переношу на живой сервер

И вот, момент истины... я запускаю docker compose start prometheus и вижу...