Что происходит?
В ~18:50 в сети Facebook раскатали обновление на всё своё сетевое оборудование, занимавшееся анонсами BGP, которое объявляет маршрутизацию к их сервисам.
Это привело к полной остановке связи между сервисами FACEBOOK, а вместе с этим и приостановке обслуживания их DNS:
Входы по facebook.com буквально у всего мира около получаса-часа показывали
"can't resolve domain"
WhatsApp и Instagram также принадлежат FB и размещаются на их площадке, в связи с чем они также стали недоступны.
Для починки требуется ручное вмешательство:
1. Во все BGP-роутеры
2. Во всех датацентрах
3. Всех точек присутствия FACEBOOK
Что очень сложно: физического доступа до всех нужных ЦОД'ов нет, а там, на местах, физически сейчас присутствуют не самые опытные дежурные сотрудники,
Чьими руками приходится производить манипуляции с большой задержкой, так как из головного офиса инженеры не могут мгновенно "прилететь" во все необходимые датацентры.
Ситуация осложняется эпидем. обстановкой: физическое присутствие персонала в датацентрах сильно сокращено.
Кроме того, у сотрудников FACEBOOK из-за настолько масштабного влияния проблемы стали недоступны внутренние средства коммуникации - по этой причине они вынуждены координировать все происходящие сейчас работы через иные платформы. Что также замедляет решение.
Иные? Через TELEGRAM, разумеется.
Не говоря о том, что настолько долгий перерыв прервал все их репликации данных между датацентрами, и на разбор последствий аварии теперь уйдёт какое-то время, в связи с тем, что автоматика их не разрулит после возобновления сетевого общения.
Сервисы не работали слишком долго, поэтому аудитория Facebook, Instagram & WhatsApp плавно перетекает в другие сети и мессенджеры, которые переживают очень резкий наплыв трафика, что выглядит со стороны как замедление их работы.