После повреждения сразу трех дата-центров часть инфраструктуры компании продолжает работать с ограничениями. Эксперты считают, что ядро сервисов может стабилизироваться за две-три недели, однако полное восстановление пострадавших площадок потребует значительно больше времени.
За четыре дня инфраструктура «Яндекса» пережила сразу три серьезных удара. Один за другим повреждения получили дата-центры в Сасове, Калуге и Владимире, из-за чего компании пришлось буквально на ходу перераспределять нагрузку и возвращать к жизни сервисы, которыми ежедневно пользуются миллионы людей. «Российская газета» вместе с экспертами разобралась, сколько времени может потребоваться на восстановление и почему назвать точную дату сейчас практически невозможно.
Первым из цепочки событий стал ЦОД в Сасове Рязанской области. В ночь на 8 октября после атаки беспилотников там произошел пожар, площадку пришлось остановить, а связанная с ней зона Yandex Cloud ru-central1-b стала недоступна. Уже на следующий день повреждения получила инфраструктура дата-центра в Калуге - несколько его модулей, по данным компании, полностью вышли из строя.
Но наиболее тяжелый удар пришелся на 11 октября. Утром «Яндекс» сообщил о повреждении дата-центра во Владимире и полной остановке объекта. Эта площадка обслуживала зону ru-central1-a, поэтому облачная инфраструктура компании одновременно лишилась двух зон - «a» и «b». Оставшуюся конфигурацию в компании признали неустойчивой: Yandex Cloud сначала перешел в аварийный, а затем в ограниченный режим.
При этом для обычного пользователя последствия выглядят не так драматично, как можно было бы ожидать после остановки сразу нескольких крупных площадок. Уже к вечеру 11 октября снова заработали «Алиса», «Поиск», «Карты», «Такси», «Почта» и другие массовые продукты. Можно было заказать машину или еду, открыть почтовый ящик и воспользоваться поиском, хотя предупреждения о возможных перебоях сохранялись. Днем 12 октября в российском сегменте интернета вновь появились жалобы на отдельные сбои.
С облачными сервисами ситуация заметно сложнее. По состоянию на 11:00 12 октября Yandex Cloud продолжал работать в ограниченном режиме: часть вычислительных мощностей была доступна, базы данных и Kubernetes функционировали с отдельными проблемами, а операции с объектным хранилищем S3 могли выполняться медленнее обычного. Платформа мониторинга Monium оставалась недоступной, Yandex AI Studio и часть защитных сервисов работали не полностью, а выдачу дополнительных облачных ресурсов временно остановили.
В самом «Яндексе» сообщили, что специалисты занимаются восстановлением круглосуточно. Корпоративным клиентам при этом рекомендовали использовать альтернативные площадки для размещения и резервирования ресурсов. Из-за резко выросшего числа обращений увеличилось и время ответа технической поддержки.
Главная проблема в том, что дата-центр нельзя представить просто как огромное помещение, где достаточно заменить несколько поврежденных компьютеров и нажать кнопку включения. Для работы такой площадки одновременно необходимы электроснабжение, охлаждение, связь, сетевое оборудование и системы пожаротушения. Даже если сами серверы физически уцелели, возвращать их в работу до проверки всей этой инфраструктуры небезопасно.
Отсюда и два совершенно разных понятия восстановления. Пользовательские сервисы можно постепенно переносить на резервные мощности и возвращать в строй, не дожидаясь ремонта пострадавшего объекта. А вот восстановление самого дата-центра - гораздо более долгая история, особенно когда речь идет не об одной, а сразу о нескольких поврежденных площадках.
Заместитель директора управления продуктов и технологий «Е-Флопс» Филипп Моднов объяснил, что универсального срока в такой ситуации попросту не существует. Все зависит от того, как была устроена система резервирования, сколько данных необходимо восстановить, насколько критичны пострадавшие приложения и какую часть процесса удается автоматизировать.
«Восстановление может занимать от нуля секунд (когда у вас геораспределение и бесшовная миграция) до бесконечности (т. е. вплоть до потери данных). Зависит его время от объема данных, критичности приложений, схемы резервирования и глубины автоматизации», - рассказал эксперт.
При обычной аварии одного ЦОДа подобная ситуация для пользователей вообще может пройти почти незаметно. Генеральный директор группы компаний ComNews Леонид Коник отметил, что приложения и данные в таком случае подхватывает резервная площадка, а на перераспределение нагрузки требуется несколько часов. По его словам, «Яндекс» уделял резервированию большое внимание и полностью дублировал один дата-центр другим.
Но нынешний случай выходит далеко за рамки обычной аварии. Последовательно пострадали сразу три площадки, а значит, под ударом могли оказаться не только основные мощности, но и часть резервной инфраструктуры. Дополнительную сложность создает то, что оставшиеся ЦОДы также приходится рассматривать с точки зрения возможных рисков.
Один из выходов - временно вынести часть нагрузки за пределы собственной инфраструктуры. «Яндекс» уже договорился с Selectel, К2Cloud и VK Cloud об ускоренном размещении ресурсов пострадавших клиентов. Однако и здесь нет волшебной кнопки: на российском рынке может просто не оказаться свободных мощностей нужного масштаба.
Есть и еще одна техническая сложность. По словам Леонида Коника, для собственных дата-центров «Яндекс» заказывал специальные серверы с архитектурой собственной разработки. Поэтому перенести приложения на стандартное оборудование стороннего ЦОДа без дополнительной доработки может оказаться невозможно.
Именно поэтому опрошенные «Российской газетой» специалисты разделяют восстановление привычной работы сервисов и полноценное возвращение всей инфраструктуры. По оценкам некоторых экспертов, ядро продуктов «Яндекса» может стабилизироваться примерно за две-три недели. Помочь должны перенаправление трафика, использование сторонних площадок и временное отключение менее важных функций.
С самими поврежденными дата-центрами счет идет уже совсем на другие сроки. Строительство площадки сопоставимого масштаба специалисты оценивают примерно в полтора года, причем после возведения здания его еще необходимо наполнить оборудованием. И именно здесь сроки могут растянуться еще сильнее.
Ведущий аналитик Mobile Research Group Эльдар Муртазин отмечает, что обычные серверы со стандартными процессорами реально приобрести за три-четыре месяца, хотя свободных запасов необходимого масштаба в России сейчас нет. С графическими серверами, которые используются в суперкомпьютерах и для работы с искусственным интеллектом, ситуация еще сложнее - глобальный дефицит такого оборудования способен растянуть закупку с нуля на несколько лет. За последний год, по словам эксперта, выросла и стоимость обычных серверов - примерно вдвое.
История с тремя поврежденными площадками становится испытанием не только для самого «Яндекса». Для российского бизнеса она фактически ставит вопрос о том, насколько далеко нужно заходить в резервировании критической инфраструктуры. Одной запасной площадки, способной спасти от обычной аварии, при одновременной физической потере нескольких ЦОДов может оказаться недостаточно.
Поэтому возвращение «Яндекса» к нормальной работе, вероятно, будет происходить не в один конкретный день, а постепенно. Массовые продукты уже вернулись к пользователям, отдельные ограничения могут снимать по мере перераспределения нагрузки, а стабилизация ядра сервисов, по экспертным оценкам, способна занять две-три недели. Полное восстановление поврежденной инфраструктуры - уже отдельная и значительно более долгая задача.
Ранее «Брянская Губерния» рассказывала, что после атак на дата-центры «Яндекс» временно ограничил часть возможностей «Диска». В веб-версии перестали работать массовое скачивание папок и нескольких файлов, загрузка альбомов и функция «скачать все» по публичной ссылке, при этом отдельные файлы оставались доступными.
Позднее глава Минцифры Максут Шадаев назвал произошедшее беспрецедентным по масштабу и сообщил о совместной с Минобороны работе над защитой дата-центров. К восстановлению инфраструктуры подключились и другие участники отрасли, а сохранить доступ к основным сервисам удалось благодаря созданным резервным мощностям.
Снят вопрос, когда сервисы «Яндекса» вернутся к нормальной работе