4363 подписчика
Научились переносить к себе огромные бакеты S3
Без проблем и падений 🤩 До 2 ТБ — гарантировано. Но можем и больше: даже если передача данных оборвется, после разгрузки системы мы продолжим перенос ровно с того же самого места, на котором остановились 🍿
Для технарей 😎 вот как это работает под капотом:
1️⃣ Приложение по переносу данных запускается в нескольких экземплярах. Каждый экземпляр непрерывно пингуется, чтобы проверять, доступен он или нет.
2️⃣ Каждый экземпляр выполняет фиксированное количество переносов, а переносы потребляют фиксированное количество памяти. В итоге передача данных никогда не прерывается.
3️⃣Но даже если пинг к экземпляром теряется, перенос данных подхватывает другой экземпляр.
4️⃣Каждый перенос стоит в очереди, имеет свой прогресс и обновляется in real time, что позволяет в любой момент остановить процесс и потом возобновить его с того же места.
Около минуты
25 июля 2023