Масштаб облачного хранилища S3 от AWS обеспечил ему значительное культурное влияние, несмотря на проблемы с безопасностью и сбои. Сервис отмечает 20-летие. — theregister.com
В субботу Amazon Web Services отметила 20-летие своей службы простого хранения данных (S3) и раскрыла несколько маленьких секретов об этой услуге.
S3 была запущена 14 марта 2006 года, и, согласно посту о дне рождения от ведущего разработчика-адвоката Себастьена Стормака, изначально она предлагала «примерно один петабайт общей емкости хранения на примерно 400 узлах хранения в 15 стойках, расположенных в трех центрах обработки данных, с общей пропускной способностью 15 Гбит/с».
Сегодня, как утверждается в посте, S3 «хранит более 500 триллионов объектов и обрабатывает более 200 миллионов запросов в секунду по всему миру в сотнях экзабайт данных в 123 зонах доступности в 39 регионах AWS».
AWS описала масштаб S3 следующими необычными метриками: «Если сложить все десятки миллионов жестких дисков S3 друг на друга, они достигнут Международной космической станции и почти вернутся обратно».
Большинство 3,5-дюймовых жестких дисков имеют высоту 26 мм, а Международная космическая станция вращается на высоте около 400 км над Землей. Мы знаем, что AWS закупает специализированное оборудование, но, предполагая, что компания придерживается стандартного форм-фактора, мы полагаем, что S3 использует около 276 миллионов жестких дисков.*
В посте Стормак назвал надежность S3 самым выдающимся достижением сервиса.
«Код, который вы написали для S3 в 2006 году, работает и сегодня без изменений», — написал он. «Ваши данные прошли через 20 лет инноваций и технических достижений. Мы мигрировали инфраструктуру через несколько поколений дисков и систем хранения. Весь код для обработки запроса был переписан. Но данные, которые вы сохранили 20 лет назад, по-прежнему доступны сегодня, и мы сохранили полную обратную совместимость API».
В посте также отмечается, что API S3 «был принят и использован в качестве ориентира во всей индустрии хранения данных», и что «многие поставщики теперь предлагают совместимые с S3 инструменты и системы хранения, реализующие те же шаблоны и соглашения API».
Конкурирующее облако предлагает загрузку числа Пи объемом 130 ТБ
S3 была запущена в «День Пи» — 14 марта, или 3/14, — дату, которую конкурирующий облачный сервис хранения данных Backblaze решил отметить публикацией загружаемого архива, содержащего число Пи до 314 триллионных знаков.
Загрузка превышает 130 ТБ, поэтому Backblaze разбил ее на объекты по 200 ГБ.
Какое время для жизни.
Это также очень значимое достижение. Ваш корреспондент редактировал австралийское издание, ориентированное на хранение данных, во время запуска S3 компанией AWS, и в течение нескольких месяцев стартапы, занимающиеся резервным копированием, начали использовать сервис как новый уровень хранения, который позволил им обрабатывать данные в масштабах, которые были бы непомерно дорогими для хранения или защиты с помощью локальных технологий того времени. Таким образом, S3 создала новые возможности для защиты данных.
Доступность облачного хранилища также имеет культурное значение: Netflix и Spotify известны как пользователи S3 и использовали этот сервис для быстрого масштабирования. Оба стриминговых гиганта подали пример, которому последовали другие в индустрии видео и музыки.
S3 также вызвала немало проблем, особенно из-за своеобразного решения изначально сделать все ресурсы сервиса общедоступными, если пользователи не ограничат доступ. Некоторые пользователи S3 полагали, что анонимность обеспечит безопасность, но как только преступники начали искать открытые бакеты S3, они обнаружили тысячи небезопасных облачных конфигураций хранения.
S3 также переживала сбои, самым печально известным из которых был сбой в 2017 году, когда проблемы в проблемном регионе US-EAST-1 Amazon парализовали работу некоторых крупных веб-сайтов на несколько часов.
В праздничном посте Amazon акцентирует внимание на положительных моментах, особенно на 11 девятках (99,999999999%) долговечности S3 и операциях без потерь.
В сообщении раскрывается немного о том, как AWS обеспечивает эту надежность.
«В основе долговечности S3 лежит система микросервисов, которые постоянно проверяют каждый байт во всем парке», — написал Стормак. «Эти аудиторские службы проверяют данные и автоматически запускают системы восстановления в тот момент, когда обнаруживают признаки деградации».
Затем он сообщил, что за последние восемь лет «AWS постепенно переписывала критически важный с точки зрения производительности код в пути запросов S3 на Rust. Перемещение BLOB-объектов и дисковое хранение были переписаны, и работа активно ведется над другими компонентами».
Пост завершается тем, что Стормак обрисовывает будущий план AWS по расширению S3 «за пределы простого сервиса хранения данных до универсальной основы для всех рабочих нагрузок данных и ИИ».
«Наше видение простое: вы один раз сохраняете любой тип данных в S3 и работаете с ним напрямую, без перемещения данных между специализированными системами. Такой подход снижает затраты, устраняет сложность и избавляет от необходимости иметь несколько копий одних и тех же данных».
И, возможно, также устраняет необходимость рассматривать облака, кроме AWS, а затем усложняет уход, как надеется любой поставщик, когда вы становитесь клиентом. ®
* 400 км — это 4 000 000 000 мм / 26 мм = 153 846 615. Предполагая, что «почти обратно» составляет 80 процентов, 1,8 x 153 846 615 = 276 923 077
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood