Началось с того что в одном из ДЦ потухли все серваки, у нас там было 2шт, переводил клиентов на другие ноды, потом соседний ДЦ тоже потух. А это был наш основной выдох на Нидерланды. Пока я искал норм варики в других ДЦ упал весь прод. Прод хоть и на 100 активных в момент юзеров все равно ощущался, кол-вом тикетов в тп, что я просто бросил отвечать спустя пару часов и всем просто разослали что тех работы, когда встанем отпишем. А такое было, потому что обрубили все исходящие коннекты на наши ноды вне РФ) Пришлось перебрать архитектуру за ночь и потихоньку реанимировать все ноды. В итоге этот мув лишь привел к более взрослой и стойкой архитектуре, с запасными входами и выходами для клиентов. Просто вот делюсь, вдруг кому то интересно)
В первый раз столкнулся с горящим продом где я сам за все ответственный и нельзя перекинуть проблему на девопса и тп
12 июня12 июн
~1 мин