#наше
Резервное копирование Google Диска на Яндекс Облако: наш опыт
Введение
Привет! 😊 Сегодня делимся нашим опытом резервного копирования Google Диска в более надёжное хранилище – Яндекс Облако. Зачем? Доверие к Google тает с каждым днем. Поэтому мы решили попробовать "спасти" наши данные на всякий случай!
Мы настроили специальный сервис на основе облачного хранилища и хотим показать, насколько быстро и качественно можно перекинуть файлы из Google Диска туда.
Расскажем в общих чертах, как настроить этот сервис, как он работает, и какие результаты стоит ожидать.
Подготовка к резервному копированию
⚠️ Все файлы формата Диска преобразуются в форматы по умолчанию ⚠️
Перед началом процесса резервного копирования необходимо подготовиться:
✅ Выбор сервиса для резервного копирования. Мы остановились на Yandex Cloud, который предлагает широкий спектр услуг для хранения данных. Стоит отметить, что любой сервис облачного хранения по типу S3 скорее всего обладает схожими характеристиками.
✅ Дополнительно потребуется создание аккаунта на Yandex Cloud и проекта в GCP, чтобы получить токен вдалельца Диска.
Настройка синхронизации
Мы использовали свой сервис, запущенный на VPS, в Cloud:ru, который и проводит основной процесс синхронизации.
Процесс синхронизации
Основная работа сервиса состоит из двух частей: первичная загрузка и синхронизация изменений, произведенных на Диске Гугл. Во втором случае обновляются только измененные файлы.
Сервис автоматически запускает себя по расписанию. Участие пользователя не требуется.
Тестирование передачи данных
Мы исследовали предлагаемые метрики хостинга и облака, чтобы оценить скорость передачи данных
👉 Общий объем синхронизации: 4.2 Gb (по версии Google)
👉 Файлов в синхронизации: 46425
👉 Время на проверку обновлений: 15m
👉 Ошибок: 6
👉 Скорость передачи данных больших файлов: 1.566 GiB 26.822 MiB/s, ETA 1m44s (первая цифра - сколько осталось данных, вторая - скорость передачи, третья - оставшееся время)
👉 Скорость передачи данных небольших файлов: 3.475 KiB 3.852 KiB/s, ETA 3h52m49s (🥶 там лежит пару папок с node_modules)
👉 Трансфер новых данных потребовал 1h30m
👉 Повторная проверка для синхронизации требует примерно 15m
💡 Обратите внимание, как резко выросло расчетное время ETA при изменении размеров файлов
Немного картинок в альбоме публикации
На графиках можно заметить, разницу между первичной загрузкой и проверкой на изменения. Граница проходит после 20:50
Анализ ошибок
В процессе резервного копирования мы столкнулись с некоторыми ошибками, связанными с доступом к файлам и чтением ярлыков:
👉 Проблемы чтения ярлыков 2024/12/11 18:38:14 ERROR : /~/my-super-site.com - СЯ: Failed to copy: failed to open source object: can't read dangling shortcut Этот ярлык я вижу только через API, в интерфейсе Диска он не отображается.
👉 Проблемы доступа 2024/12/11 18:38:11 ERROR : /Архивирование склада/Архивирование склада.docx: Failed to copy: failed to open source object: open file failed: forbidden to download - check sharing permission Это файл другого пользователя, который закрыл доступ на скачивание
Итоги
Переносить файлы из Google Диска в Яндекс Облако довольно просто и эффективно. Правда, есть пара моментов, которые нужно учесть (например, формат файлов), но в общем всё прошло гладко.
Так что, если нужно надёжно хранить свои данные, Яндекс/Sber/Selectel (любой из зоопарка s3) Облако – отличный выбор! Оно помогает сохранять файлы даже в неожиданных ситуациях.
Советы по сохранению файлов
✅ Не забывать обновлять резервные копии. Лучше всего делать это регулярно, чтобы быть уверенным, что все важные файлы сохранены.
✅ Использовать несколько сервисов. Можно выбрать ещё пару мест для хранения копий своих данных, чтобы было ещё безопаснее.
✅ Создавать копии самых важных файлов. Особенно важно следить за документами, фото и видео, чтобы они точно никуда не пропали.
✅ Запасная копия файлов – это как страховка на случай чего-то неожиданного. Сервисы вроде Яндекс Облака помогают сделать эту страховку максимально надёжной. Так что смело можно пользоваться ими!
3 минуты
12 декабря 2024