S3 — облачный сервис для хранения данных любого типа и объёма.
Предусматривает автоматическое масштабирование, возможность миграции данных между S3-хранилищами, совместимость «из коробки» с ПО резервного копирования.
В этой статье мы опубликуем наш гайд, где разбираемся как получить доступ, загружать и удалять объекты в S3.
S3 API – набор команд, которые «понимает» хранилище и выполняет в ответ некие действия.
Рекомендуемые клиенты для работы с S3:
- для консоли – awscli, s3cmd,
- графический – cyberduck.
Примечание: документацию по S3 API можно посмотреть на портале управления хранилищем CMC: Help → API Support (forDevelopers).
Доступ к хранилищу
Доступ к хранилищу с помощью S3 API осуществляется по адресу S3 Endpoint https://s3.dtln.ru/ с использованием ключей доступа, которые можно посмотреть в CMC https://cmc.s3.dtln.ru:
User_name → Security credentials
S3 API endpoint - https://s3.dtln.ru/
Cloudian Management Console (CMC) - https://cmc.s3.dtln.ru
group: ХХХХ
user: ХХХХ
password: ХХХХХХХХХХХХХХХХХХХХХХХХХ.
Учетная запись типа «GroupAdmin» является административной и позволяет в рамках своей группы:
- смотреть статистику по группе и учетным записям,
- управлять дополнительными учетными записями в рамках своей группы,
- управлять ключами доступа и хранимыми объектами.
Примечание: для загрузки и хранения объектов в хранилище рекомендуется использовать дополнительные УЗ с правами обычного пользователя (type: «User»).
Загрузка объектов в хранилище
Для загрузки объектов в хранилище необходимо создать бакет (bucket).
- Имя бакета должно быть уникальным в рамках системы и соответствовать требованиям к наименованию бакетов, с которыми можно ознакомиться в CMC: «Help» → «UsingtheConsole» → «Buckets&Objects» → «Buckets» → «Add a Bucket».
- Размер объектов, загружаемых через CMC, не должен превышать 4 GB.
Примечание:
- Рекомендуется не использовать в именах объектов спецсимволы и кириллицу. С полным списком ограничений по наименованию объектов можно ознакомиться в CMC («Help» → «UsingtheConsole» → «Buckets&Objects» → «Objects» → «ObjectNamingRestrictions»).
- Количество бакетов на одного пользователя установлено в 1000 штук.
Удаление объектов в хранилище
Для операций удаления объектов (запросами посредством S3 протокола, настроенными политиками хранения или через личный кабинет СМС) существует ограничение на уровне каждого отдельного бакета: количество (число) удаляемых в час объектов не должно превышать 100 000 (сто тысяч). В случае превышения данного ограничения некоторое время будет недоступен листинг содержимого бакета и его удаление, а также могут наблюдаться проблемы в работе настроенных политик жизненного цикла для объектов. Превышение данного ограничения никак не влияет на возможность загрузки/скачивания объектов посредством запросов PUT и GET.
Настоятельно рекомендуется не превышать данный лимит по количеству удаляемых в час объектов и создавать больше бакетов, чтобы в каждом отдельном бакете хранилось меньше объектов.