#РазборСбояBitrix24 #Битрикс24 #IT
Пятница, 3 апреля. Сначала это выглядело как обычный массовый сбой
В пятницу, 3 апреля, с обеда нам начали писать клиенты: часть наших решений, включая и Дожми Продажи, завязанных на Битрикс24, перестала нормально работать.
На первый взгляд это вообще не выглядело как наша локальная проблема. В тот день и так было много разговоров про сбои, нестабильный доступ к разным сервисам и странное поведение сети. Поэтому первая мысль была простой: это очередная массовая проблема на стороне самой платформы.
Именно так мы сначала и трактовали ситуацию.
Мы посмотрели на картину широко: жалобы были не от одного клиента, не по одному приложению и не по одному сценарию.
Ошибки были похожи, а значит версия про внешний сбой казалась вполне логичной. Тем более что визуально все выглядело именно так: где-то не открывается, где-то запросы зависают, где-то интеграция просто перестает отвечать.
В такие моменты очень легко принять первое объяснение и на этом успокоиться. Сообщить клиентам, что проблема на стороне платформы, и ждать, пока все само восстановится.
Но к вечеру у нас начало появляться неприятное ощущение, что картина слишком неровная для обычного массового сбоя.
Если проблема действительно в Битрикс24, то почему часть сценариев ведет себя не так, как должна вести себя единая поломка ...с?
Именно в этот момент стало понятно, что выходные, скорее всего, уже отменяются. Нужно было не гадать, а разбирать проблему слой за слоем и проверять все гипотезы руками.
В следующем посте расскажу, в какой момент стало ясно, что это не просто "упал Битрикс24", а история гораздо неприятнее и глубже ...
---
