Всем привет!!!
Я расскажу вам про дедупликацию данных в Synology, как и где ее можно настроить.
Дедупликация данных — это процесс удаления дубликатов данных, чтобы сократить объем хранимой информации и оптимизировать использование ресурсов. Она часто применяется в системах хранения данных, резервного копирования и передачи информации.
▎Основные аспекты дедупликации:
1. Экономия места: Удаление дубликатов позволяет существенно сократить объем занимаемого пространства на дисках.
2. Ускорение процессов: Меньший объем данных ускоряет процессы резервного копирования, восстановления и передачи информации.
3. Типы дедупликации:
• На уровне файлов: Удаляются дубликаты целых файлов.
• На уровне блоков: Дублируются только части файлов (блоки), что более эффективно.
4. Применение: Используется в облачных хранилищах, системах резервного копирования, базах данных и других областях, где важно эффективно управлять данными.
Дедупликация помогает не только сэкономить место, но и улучшить производительность систем хранения данных.
В каких случаях дедупликация пригодится по моему мнению? Ну например, у вас есть офис с сотрудниками, которые записывают данные на сервер. Каждый это делает в разные папки. Причем данные зачастую могут быть одинаковыми. Например, сотрудники могут передавать данные друг другу и оставлять их в своих папках как оригинальные. Например, отснятый материал весом 500ГБ может храниться у оператора, в общей папке и у видео редактора. Таким образом на сервер хранится три одинаковые копии данных весом 1,5ТБ, а могло бы быть 500ГБ. В этом случаи идеально подойдет дедупликация данных.
Подробнее про дедупликацию данных в Synology можно почитать тут. Я же выберу основные моменты, которые посчитаю важными.
Первое, что нужно знать не все Synology NAS поддерживают дедупликацию. Официально ее поддерживают только модели на картинке ниже:
Второе, что нужно знать дедупликацию поддерживают только SSD диски Synology и тома с файловой системой BTRFS.
Согласитесь, что эти условия очень жесткие и мало у кого есть такие девайсы, да еще с очень дорогими дисками SSD Synology. У меня тоже нет такой возможности купить такое дорогое оборудование.
Как же я тогда это сделал? Я установил XPEnology на TerraMaster F8 SSD Plus, в котором эмулировал SA6400 и мне даже не пришлось устанавливать специальный аддон “deduplication”. Все само завелось.
Давайте посмотрим сколько места у меня сейчас занято
Как видим занято только в одной папке 1ТБ, а так же в других более 100ГБ и при этом общий объем пространства у меня 921ГБ. Это явно меньше занимаемого объема данных. Это получилось за счет дедупликации.
Дедупликацию данных можно делать как автоматически, разумный выбор, так и в ручную.
Я какое-то время экспериментировал с дедупликацией и так и не смог понять как работает автоматическая дедупликация. Написано, что она выполняется в момент простоя сервера, т.к. требует больших вычислительных ресурсов. Да же можно задать сетку времени, что бы в рабочее время автоматическая дедупликация не работала. И казалось бы все разумно и просто, но это не так.
Бывало за ночь или даже за пару дней простоя автоматическая дедупликация ничего не делала. Я специально не трогал сервер и пару раз в сутки только подключался проверить сработало или нет. Бывало и наоборот. Я закидывал данные и уже через час они были дедуплицированы. Закономерности выполнения автоматического дедуплицирования я не нашел. Живет своей жизнью.
А вот ручная дедупликация работает закономерно, что не удивительно. Нажал кнопку запустить сейчас и процесс пошел. Занимает, в моем случаи, 5-10 минут, а потом выводит результат сколько удалось сэкономить места. К слову автоматическая дедупликация не говорит про экономию места ни слова, что является минусом.
Какой мой вывод? Дедупликация данных в Synology может очень сильно экономить места на сервере NAS. Дома или в небольшом офисе можно об этом не думать, т.к. в небольшом сервере можно следить за тем кто и какие данные сохраняет. А вот в больших офисах, где много людей и уследить за ними трудно или невозможно, дедупликация данных может очень сильно помочь. Но для ее активации нужно выполнить очень жесткие условия, начиная от модели устройства, заканчивая SSD дисками. Если заморочиться, то сделать это можно и даже нужно, но не всем.
Теперь вы знаете как работает дедупликация данных в Synology.