И снова почему не надо работать на выходные и праздники
Про то, что выходные, а тем более праздничные дни – не время для работы, мы говорим давно. Причины здесь просты – в случае любой нештатной ситуации вы останетесь с проблемой один на один.
Сегодня произошел еще один подобный случай, в котором наш коллега получил себе целый набор проблем на ровном месте.
Торговая сеть среднего размера, офис находится в бывшей промзоне на закрытой территории и охраняется отдельным ЧОП, пропускной режим достаточно строгий.
Чтобы прийти пораньше и или задержаться – нужно писать и заверять у руководителя заявление. Чтобы пройти в выходные и праздничные дни нужна или предварительная заявка, или запрос непосредственно от руководителя.
Четверг, 30 апреля, вечер. Офис ушел домой на все праздники, магазины закрылись. Местный админ, назовем его Вася, решил массово обновить гипервизоры Proxmox, которых там целых три штуки.
Два обновились нормально, а на третьем у Васи дрогнула рука и вместо Reboot он нажал Shutdown. Бывает…
В этот момент все еще можно было исправить, время было еще не слишком позднее, примерно 22:30, свяжись с руководителем, объясни ситуацию, попроси пропуск, там делов то на минуту.
Не можешь связаться – напиши в мессенджере, чтобы шеф прочитал, когда проснется и принял меры. Ну и сам будь готов сорваться с раннего старта утром пораньше.
Но Вася решает пойти иным путем, мол он тут не причем и вообще, так ситуация сложилась, а он, наоборот, бросил все в выходные и помчался устранять внезапный сбой.
В целом тот сервер сильно никому не нужен, магазины могут торговать и без него, но там синхронизация, заявки поставщикам и все такое прочее.
Первый звоночек прозвучал часа в три дня, когда одна из точек, оценив торговлю решила оперативно дозаказать товар и не смогла. В рабочем чате тут же пошла волна – центральная база не работает.
Тогда уже к проблеме и подключился Вася, который выждал какое-то время на диагностику и уже около 16 часов порадовал шефа, мол так и так, надо ехать в офис.
Надо ли говорить, как эта новость обрадовала шефа? Который уже успел выпить коньячка и пожевать шашлычка за городом?
А так как просто звонком эта задача не решалась, ему пришлось вызванивать арендодателя, который тоже уже вкусил прелестей отдыха, а потом вместе искать руководителя ЧОП.
В общем Васю таки на территорию пустили и сервер он включил. Но шеф, которого вырвали из отдыха и нирваны праздничного дня жаждал найти крайнего. И Вася тупо перевел стрелки на подрядчиков, т.е. нас, мол это 1С, это не ко мне вопросы.
Шеф решил, что если суетиться – так по полной и набрал нас с претензией и требованием предоставить отчет об инциденте сразу после праздников.
Нам тоже такая предъява на ровном месте не понравилась, поэтому мы подключились к инфраструктуре и первым делом посмотрели Zabbix, который четко сказал, что поменялась версия ядра, причем сразу не всех серверах.
Ага, обновление. Далее смотрим, когда пропал с радаров искомый гипервизор, находим по времени нужный кусок лога и отдаем его ИИ, чтобы тот поискал какие-либо аномалии.
ИИ бодро рапортует, что у тебя все в порядке, кто-то штатно выключил узел и тот без ошибок отработал выключение. А днем штатно включил.
Вообще, мы как бы не любители подковерных игр и переводов стрелок, но раз пошла такая пьянка. Сохраняем логи и звоним шефу, суетиться – так по полной, и приводим наш анализ ситуации. И говорим, что готовы подтвердить все документально.
Проходит еще час и вечер праздничного дня окончательно перестает быть томным, звонит Вася, бьется в истерике и вопрошает – а зачем мы его так подставили?
Но история на этом не закончена и после праздников будет подробный разбор полетов и оргвыводы, которые Васе, скорее всего не понравятся.
