Серверы, хранящие терабайты данных, могут быть остановлены удивительно простыми вещами. Роковая случайность или человеческая оплошность — и катастрофа неминуема. В одно мгновение могут потеряться данные, клиенты и репутация. Наша подборка историй — это напоминание о том, что в IT нет неважных деталей.
Amazon Web Services и один символ
В 2017 году масштабный сбой в работе Amazon Web Services (AWS), одного из самых надёжных облачных провайдеров, парализовал тысячи сервисов по всему миру. Причиной стала простая опечатка.
Сотрудник команды поддержки S3 (облачного хранилища AWS) пытался устранить проблему с производительностью. Для этого он ввёл команду в консоли. Но вместо того, чтобы указать три сервера, он случайно ввёл команду, затрагивающую тысячи. Один лишний символ — и система начала массовое отключение критически важных узлов. В результате сервис S3, на котором держались сайты, приложения и базы данных сотен компаний, перестал отвечать.
Сервисы вроде Slack, Trello и некоторые внутренние системы Amazon оказались в офлайне. Убытки исчислялись миллионами долларов, восстановление заняло несколько часов. Этот случай показал: даже у гигантов бывают «слепые зоны» и в самой продуманной системе человеческий фактор может стать разрушительной силой.
Google и случайно удалённый центр данных
В 2011 году Google пережил один из самых странных и драматичных инцидентов в своей истории: компания, чьи алгоритмы управляют половиной интернета, по ошибке удалила целый центр обработки данных. Не физически, конечно, но логически — вся информация, хранящаяся в одном из дата-центров, была по ошибке помечена как устаревшая и запланирована на удаление.
Всё началось с автоматизированного скрипта, который должен был очищать устаревшие резервные копии. Однако из-за сбоя в логике он начал «пожирать» не только старые бэкапы, но и активные данные пользователей Gmail. На несколько часов сотни тысяч аккаунтов утратили доступ к почте. Люди не могли получать письма, восстанавливать пароли, подтверждать транзакции.
Google оперативно отреагировал, но восстановление данных заняло дни. При этом часть информации так и не была возвращена. Позже компания признала: «Мы недооценили риски автоматизации без достаточных контрольных механизмов». С тех пор Google ввёл многоуровневые проверки для любых операций удаления. Но урок был дорог: автоматизация — это мощно, но без человеческого контроля она может превратиться в цифрового кракена.
Knight Capital и 45 минут, стоившие $440 миллионов
В 2012 году американская торговая фирма Knight Capital Group столкнулась с одной из самых дорогостоящих IT-катастроф в истории. За 45 минут компания потеряла 440 миллионов долларов из-за забытого фрагмента кода.
Компания внедряла новую систему для торговли на бирже. При обновлении ПО один старый модуль, предназначенный для тестирования, не был отключен, он остался «спящим» в системе. Когда новая платформа запустилась, этот устаревший код активировался и начал безостановочно покупать и продавать акции.
Рынок буквально взорвался от аномальной активности. Цены на десятки акций пошли вразнос. Регуляторы вмешались, торги приостановили, но ущерб был нанесён. Компания Knight Capital, некогда крупный игрок, оказалась на грани банкротства. Всё началось со строки кода, которую просто забыли удалить.
Заключение
В каждой из этих историй — реальный урок. Ошибки, которые привели к катастрофам, были элементарными: опечатка, забытый скрипт, неправильная настройка, неудалённый модуль. Никаких хакерских атак, никаких землетрясений — просто человеческая невнимательность и недостаток проверок.
Очевидно, что никакая технология, даже самая передовая, не застрахована от сбоев, если не соблюдаются базовые принципы безопасности, резервного копирования и контроля изменений. В следующий раз, когда вы будете вводить команду в терминал или обновлять систему — сделайте паузу. Перечитайте. Подумайте. Возможно, именно эта секунда внимания спасёт ваш бизнес от цифрового апокалипсиса.
Интернет Хостинг Центр — платный хостинг для проектов любой сложности. Защита от DDoS-атак на каждом тарифе! 🔒