Google приоткрыла завесу тайны над своей универсальной платформой хранения данных Colossus. Компания охарактеризовала эту масштабную сетевую инфраструктуру как надёжное, масштабируемое и удобное решение для большинства своих интернет-сервисов.
Архитектура Colossus предполагает развёртывание файловой системы в рамках каждого кластера дата-центра. Мощности многих таких кластеров достаточно для управления объёмами, измеряемыми экзабайтами. Как минимум два модуля системы оперируют более чем 10 экзабайтами данных каждый. Google заявляет об обеспечении практически неограниченного дискового пространства для своих сервисов в пределах зоны Google Cloud.
Система демонстрирует внушительную пропускную способность. По данным Google, пиковые скорости чтения в крупнейших кластерах регулярно превышают 50 ТБ/с, а записи — достигают 25 ТБ/с. Компания иллюстрирует это аналогией: такой производительности достаточно для передачи более 100 полнометражных фильмов в разрешении 8K каждую секунду.
Платформа Colossus является развитием проекта Google File System, распределённой системы для работы с большими объёмами информации. Несмотря на современные тенденции, основу хранилища по-прежнему составляют проверенные временем магнитные жёсткие диски HDD, хотя и они продолжают эволюционировать. Однако для ускорения доступа Google внедрила собственную технологию кэширования на базе быстрых твердотельных накопителей SSD.
Ключ к высокой производительности лежит в правильном размещении информации. Внутренние пользователи Colossus могут указывать тип накопителя (HDD или SSD) для своих файлов, но большинство разработчиков полагаются на автоматизированное решение — распределённое кэширование L4 на SSD. Эта технология применяет алгоритмы машинного обучения для выбора оптимальной политики для конкретных блоков данных. Тем не менее, система спроектирована так, что любые новые данные в конечном итоге записываются на магнитные диски.
На мощностях Colossus работают многие ключевые сервисы Google, включая YouTube, Gmail, Google Drive и другие интернет-платформы компании.
