Но иногда источник проблем намного ближе и проще, чем кажется.
Недавно мы получили звонок от компании, которая увидела нашу рекламу и просила срочной помощи. Сеть их офиса вела себя как капризная пубертатная барышня: видеоконференции срывались ровно в момент когда шёл самый важный доклад или картинка рассыпалась на пиксели, соединения с интернет ресурсами прерывались чаще, чем ветер меняет направление. Всё указывало на серьезную неисправность активного сетевого оборудования. Мы были уверены, что мы достаточно оперативно локализуем проблему и просто заменим неисправное оборудование. Но админы на нас смотрели как на самонадеянных идиотов, потому что они уже пробовали менять всё.
По приезду на место наша команда столкнулась с чем-то, что вызвало настоящий офигинез. Мы ожидали увидеть что угодно, но не ЭТО:
На первый взгляд, монтаж сети выглядел как произведение искусства авангарда, где каждый кабель стремился выразить себя как личность. Но в IT нет места хаосу в свободном творчестве, здесь царят порядок и системность.
Кстати, в своем Telegram-канале я делюсь IT-советами для руководителей бизнеса, которые помогают узнать, где теряются деньги и как проверить системных администраторов.
Мы разделились на две бригады. Одна занялась исправлением монтажа, пытаясь навести порядок в проводном хаосе. Другая начала диагностику активного сетевого оборудования, настраиваясь на долгие часы мучительной работы. Но вот что удивительно: как только первая бригада исправляла недомонтаж вторая бригада не видела ошибок на портах.
Эмоции наших инженеров переполняли от негодования, ненависти и удивление в адрес монтажников сети. Каждый исправленный кабель был как очередной выдох, каждый новый тест сети - как вдох свежего воздуха. И вот, спустя несколько часов, все начало проясняться. Сеть ожила, байтики потекли рекой, а звонкие "пинги" заполнили комнату, словно аплодисменты после успешного спектакля.
Оказалось, что все проблемы были исключительно из-за некачественного монтажа. Ни одно активное устройство не было неисправно. Это было настоящее откровение для ИТ отдела заказчика: беспорядок в кабелях мог свести на нет работу дорогостоящего оборудования.
Эта история - напоминание для всех нас. Не стоит недооценивать важность качественного монтажа сети Ethernet. Это фундамент, на котором держится вся локальная сеть. Небрежность на этом этапе может привести к дорогостоящим проблемам, которые, к счастью, вполне предотвратимы. Общение с ИТ отделом заказчика от надменных насмешек над нами превратился в растерянное бормотание и косые взгляды. Генеральный директор заказчика был почти в бешенстве, т. к. он оказывается уже и сам не раз делал замечание за такой монтаж.
Поэтому доверяйте монтаж профессионалам (не нам ибо мы не монтажная организация, а ИТ специалисты).
Продолжение истории случилось через пару месяцев. Меня пригласил директор и попросил провести аудит в целом ИТ инфраструктуры и дать анализ чем вообще занят его ИТ отдел. Мне было удивительно видеть на меньше чем 200 сотрудников ИТР целых 6 человек ИТшников и я ещё в первую с ним встречу не очень хорошо скрыл своё удивление, когда мне поведали что в ИТ отделе у них 6 сотрудников. И вот после двух недель анализа я случайно узнал, что ИТ отдел зачем то монтаж сети делал своими силами (а мы то крайне не лестно отзывались о подрядной организации монтажной). Ещё выяснилось, что покупаемые сервера почти каждый год всё более новые и более новые оказались так сконфигурированы (оборудование), что кроме как "Растрата бюджетных средств" это было невозможно оценить. А ИТ инфраструктура реализована как специально таким образом, что если выключить (или вышел из строя по причине поломки) любой из 8-ми серверов (не спрашивайте нахрена 8 серверов на 200 сотрудников ИТР учитывая что это не ИТ компания), то компания встаёт пока не будет восстановлена работа этого сервера или "нечто" что "вертелось" на этом сервере не будет восстановлено из бэкапа. Ну и классика жанра: мы увидели "бэкап Шрёдингера". Мало того, что все резервные копии были доступны в том же домене безопасности, так ещё и почти во всех случаях физически носители были в тех же серверах подключены, откуда и снимались резервные копии.
Вишенкой на торте были обнаружены нежно настроенные майнинговые сервисы на серверах и обнаружили следы майнингового ПО на компьютерах пользователей.