Если кто не в курсе, масштабный сбой в работе Microsoft нарушил работу рейсов, банков, СМИ и компаний по всему миру в эту пятницу. Далее сообщает CNN:
"Компания, вызвавшая масштабный сбой в работе компьютеров по всему миру, заявила, что некорректное обновление было отменено, но это не обязательно поможет тысячам предприятий, пострадавших от сбоя.
Проблема с программным обеспечением CrowdStrike, лежащая в основе сбоя, настолько глубоко укоренилась в пострадавших компьютерах и системах, что даже простое восстановление их работоспособности для устранения неполадки во многих случаях станет огромной проблемой.
Ситуация усугубляется тем фактом, что многие серверы, которые могут содержать информацию, необходимую для возобновления работы этих систем, сами попадают в цикл сбоев и перезагрузок.
А некоторые затронутые компьютеры могут быть даже нелегкодоступными, установлены в удаленных местах и не предназначены для работы без вмешательства человека.
«Я не думаю, что еще слишком рано говорить об этом: это будет самый крупный сбой в работе ИТ-систем в истории», — сказал эксперт по безопасности Трой Хант в своем посте на X.
Программное обеспечение CrowdStrike, вызвавшее ошибку, работает на уровне ядра компьютера, гораздо более глубоком уровне, чем то, что делают более обычные приложения, такие как браузеры или видеоигры. Эта часть устройства имеет гораздо большую видимость и контроль над компьютером и его компонентами, что делает ее критически важной для работы всех других систем — и гораздо более чувствительной.
Работа на уровне ядра означает, что программное обеспечение CrowdStrike может делать больше для обнаружения кибератак, но это также означает, что текущая ошибка приводит к тому, что компьютеры Windows зависают и появляются « синие экраны смерти» до того, как пользователи успевают предпринять какие-либо действия для ее исправления.
CrowdStrike заявила, что проблема, по-видимому, поддается устранению , но во многих случаях это требует кропотливой работы: каждое затронутое устройство должно быть доступно администратору и вручную перезагружено в безопасном режиме. Затем файл CrowdStrike, вызывающий проблему, должен быть удален вручную.
Для предприятий с сотнями или тысячами ноутбуков, настольных компьютеров и серверов, на которых установлено программное обеспечение безопасности CrowdStrike, одному человеку, возможно, придется выполнять этот процесс снова и снова.
«Это невозможно автоматизировать», — сказал Кевин Бомонт, исследователь безопасности и бывший аналитик угроз Microsoft, в посте на X. «Так что это будет невероятно болезненно для клиентов CrowdStrike».
В пятницу на странице статуса Microsoft появилась информация о том, что некоторые пользователи виртуальной машины Windows успешно устранили проблему путем многократной перезагрузки, в некоторых ситуациях до 15 раз подряд.
«Мы получили отзывы от клиентов о том, что может потребоваться несколько перезагрузок (было зарегистрировано до 15), но в целом отзывы говорят о том, что перезагрузки являются эффективным шагом по устранению неполадок на данном этапе», — говорится на странице Microsoft. Компания не стала строить предположения о том, почему эта техника, по-видимому, работает.
Пострадавшие организации также могут попытаться восстановить свои машины до более раннего состояния, вернувшись к предыдущей резервной копии системы, добавила Microsoft, хотя и признала, что не во всех случаях это возможно.
«Компании, которые не инвестировали в решения для быстрого резервного копирования, оказались в тупике», — сказал Эрик О'Нил, эксперт по кибербезопасности и бывший сотрудник контрразведки ФБР.
Становится хуже.
Организации, серьезно относящиеся к безопасности, скорее всего, зашифровали жесткие диски своих компьютеров, что еще больше усложняет доступ к файлу, который необходимо удалить.
Для таких организаций «вам необходимо вручную расшифровать диск с помощью ключа восстановления BitLocker, который, вероятно, — для большинства компаний — хранится в цифровом виде на одном из серверов, который в данный момент загружается снова и снова», — сказал Айра Бейли, исследователь в области безопасности, в сообщении на BlueSky .
Эксперт по кибербезопасности, известный под псевдонимом SwiftOnSecurity, сообщил в сообщении на X., что каждый затронутый компьютер, зашифрованный с помощью BitLocker, необходимо будет разблокировать с помощью ключа восстановления, прежде чем организации смогут начать процесс удаления поврежденного файла CrowdStrike и восстановления нормальной работы .
По словам Кенна Уайта, независимого исследователя в области безопасности, специализирующегося на сетевой безопасности, восстановление будет чрезвычайно дорогим для компаний из списка Fortune 500 с большими штатами ИТ-персонала и, вероятно, еще более сложным для небольших фирм.
«Если у вас нет физического персонала, который мог бы к этому прикоснуться, то для восстановления корпоративной Америке потребуется много-много дней», — сказал Уайт. «Это просто тонна трудоемкой ручной работы».
«Это довольно сложная процедура для нетехнических людей», — добавил Уайт, — «и даже многим опытным ИТ-специалистам будет сложно выполнить ее в требуемых масштабах, учитывая количество затронутых машин».
Каким образом ошибка CrowdStrike привела к столь масштабным последствиям?
Поскольку программное обеспечение безопасности CrowdStrike установлено на бесчисленном количестве отдельных компьютеров по всему миру, обновление, установленное на этих устройствах, привело к их практически одновременному отключению.
А в сегодняшней сетевой экономике сбой в одной части цепочки поставок может вызвать эффект домино вверх и вниз по линии. Когда выходят из строя несколько частей цепочки поставок, это запускает каскад проблем.
Представьте себе человека, пытающегося купить кофе, сказал Эндрю Пек, эксперт по кибербезопасности в Университете Лафборо в Великобритании. То, что может показаться простой транзакцией, зависит от нескольких компьютеров, работающих в тандеме, от точки продажи кофейни до собственных внутренних систем платежного процессора.
«В этой цепочке много компьютеров, и обычно чем крупнее бизнес, тем больше цепочка», — сказал Пек. «Если какой-либо из компьютеров выйдет из строя в цепочке, транзакция не будет завершена».
По словам О'Нила, бывшего сотрудника контрразведки ФБР, для исправления всех пострадавших компьютеров могут потребоваться миллионы человеко-часов работы корпоративных ИТ-специалистов. Но, по его словам, дать точную оценку сложно, поскольку неизвестно, сколько компьютеров пострадало.
Представьте себе что-то вроде огромной авиационной отрасли, критического сектора финансовых услуг или критически важной деятельности поставщика медицинских услуг, и масштабы катастрофы станут совершенно очевидны.
По его словам, поскольку многие люди теперь работают из дома, ИТ-специалисты не могут просто ходить от стола к столу, чтобы починить разные компьютеры. Вместо этого им придется общаться с отдельными сотрудниками и объяснять им процесс удаленно.
«Это усугубляет проблему», — сказал он. «То, что можно было исправить за несколько часов, займет несколько дней».
Некоторые затронутые машины могут редко обслуживаться людьми или находиться в отдаленных районах. Другие могут даже не иметь подключенных мониторов или клавиатур, поскольку им не требуется регулярного прямого взаимодействия с людьми.
По словам Пека, наиболее экстремальными примерами могут быть датчики или устройства для мониторинга погоды в железнодорожных сигнальных будках, в связи с чем техническим специалистам может потребоваться лично посетить сотни тысяч машин для выполнения процесса восстановления.
По словам Пека, восстановление обойдется миру в «тысячи часов и миллионы, а возможно, и миллиарды долларов», что быстро приведет к «крайне истощенным командам ИТ-поддержки, сжигающим бюджет, которого у них не было».
Какова роль Microsoft во всем этом?
Ранее, в четверг, другая проблема действительно оказала существенное влияние на многих клиентов облачных сервисов Microsoft, но она была решена в одночасье и не связана с проблемой CrowdStrike, сообщили CNN представители Microsoft и многочисленные эксперты по кибербезопасности.
Первоначально ошибку CrowdStrike могли спутать с проблемой Microsoft, поскольку она затрагивала только компьютеры под управлением Windows.
«Оба инцидента связаны с Microsoft, но Microsoft не имеет никакого отношения ко второму инциденту», — сказал Уайт CNN.
Похоже, это подтверждается собственным статусом учетной записи Microsoft на X, которая в четверг объявила о проблеме, затрагивающей «приложения и службы Microsoft 365», и отдельным объявлением в пятницу, касающимся сбоя CrowdStrike. Эти две проблемы отслеживаются с использованием разных ссылочных номеров.
По состоянию на утро пятницы компания Microsoft заявила, что проблема с Microsoft 365 решена и ситуация улучшается.
«Проблема с CrowdStrike не связана с предыдущим сбоем в регионе Azure в центральной части США, произошедшим 18 июля и затронувшим клиентов Azure, использующих этот регион, а также некоторые службы Microsoft 365», — заявили в Microsoft.
Генеральный директор Microsoft Сатья Наделла признал наличие проблемы с CrowdStrike в сообщении, опубликованном в пятницу утром, заявив, что Microsoft «тесно сотрудничает с CrowdStrike и всей отраслью, чтобы предоставить клиентам техническое руководство и поддержку для безопасного возврата их систем в строй».
Поскольку обновление программного обеспечения CrowdStrike было предоставлено собственными системами компании, маловероятно, что Microsoft несет прямую ответственность за сбои в работе в пятницу, сказал Бомонт, который, по его словам, изучил копию некорректного обновления CrowdStrike.
Проблема с обновлением CrowdStrike заключалась в том, что оно было неправильно отформатировано «и каждый раз приводило к сбою Windows», — написал Бомонт в X.
