Дедупликация централизованных дисковых хранилищ acronis что это

Обновлено: 02.07.2024

Чтобы создать управляемое централизованное хранилище, выполните следующие шаги.

Укажите уникальное имя хранилища. Создание двух централизованных хранилищ с одинаковыми именами запрещено.

[Необязательно] Введите понятное описание создаваемого хранилища.

Выберите тип Управляемое .

Выберите узел хранения Acronis Backup & Recovery 11, который будет управлять хранилищем. Возможно, придется ввести учетные данные для входа на узел хранения.

[Необязательно] Укажите, включать ли дедупликацию архивов в хранилище. Дедупликация минимизирует пространство памяти, необходимое для хранения архивов, и трафик резервного копирования. Эта функция уменьшает размеры архивов в хранилище, удаляя избыточные данные (например, одинаковые файлы или блоки дисков).

Дедупликация не работает на ленточных устройствах.

Дополнительные сведения о функции дедупликации см. в разделе Дедупликация.

[Необязательно] Укажите, нужно ли защитить хранилище шифрованием. Все данные, содержащиеся в хранилище, будут зашифрованы, а при чтении нужная информация будет расшифрована узлом хранения c помощью специального ключа шифрования для хранилища, который находится на этом узле хранения, и это произойдет незаметно для пользователя.

Хранилище на ленточном устройстве нельзя защитить шифрованием.

Укажите место создания хранилища. Управляемые хранилища могут находиться на общем сетевом ресурсе, в сети хранения данных (SAN), в сетевом хранилище данных (NAS), на ленточном устройстве хранения или на локальном жестком диске узла хранения.

Разместить базу данных дедупликации вместе с резервными копиями (этот флажок доступен, только если включен режим Дедупликация )

В базе данных дедупликации хранятся хэш-значения всех элементов в хранилище, кроме тех, которые не могут быть дедуплицированы, например зашифрованных файлов.

Если хранилище создается на локальном диске узла хранения, база данных дедупликации размещается в том же хранилище (установлен флажок Разместить базу данных дедупликации вместе с резервными копиями ).

Если хранилище создается в общем сетевом ресурсе, флажок Разместить базу данных дедупликации вместе с резервными копиями снят, поэтому необходимо вручную указать путь к базе данных дедупликации.

Размещение базы данных дедупликации вместе с резервными копиями может привести к снижению производительности системы. Для повышения производительности системы рекомендуется создавать базу данных дедупликации и управляемое хранилище на разных дисках.

Укажите папку на локальных дисках узла хранения или в хранилище SAN, чтобы создать базу данных дедупликации.

[Необязательно] Если хранилище создается на ленточном устройстве, укажите ленточные устройства, которые будут использоваться при резервном копировании в хранилище. По умолчанию используются все доступные устройства. Щелкните пункт Использовать следующие носители и установите или снимите нужные флажки.

[Необязательно] Если хранилище создается на ленточном устройстве, укажите пул, ленты которого будут использоваться хранилищем. По умолчанию выбран пул Acronis .

Для доступа к этому параметру установите флажок Показать обратную совместимость .

[Необязательно] Укажите, следует ли сделать хранилище обратно совместимым для работы с агентами Acronis Backup & Recovery 10. Агенты для версий Acronis Backup & Recovery 10 и 11 могут выполнять резервное копирование в обратно совместимое хранилище.

Следующие новые компоненты Acronis Backup & Recovery 11 будут недоступны в обратно совместимых хранилищах.

- Учетные записи пользователя: администраторы хранилища и пользователи хранилища.

- Централизованный каталог данных и представление «Данные» при просмотре хранилища, если консоль подключена к любому из агентов Acronis Backup & Recovery 10.

[Необязательно] Укажите, требуется ли сжатие данных в хранилищах дедуплицированных данных. Эта настройка доступна только в случае, если включены обратная совместимость и дедупликация.

Добавьте группы или учетные записи пользователей, которые будут иметь административные права в этом хранилище. Администраторы хранилища могут просматривать все архивы в хранилище и управлять ими. Централизованные администраторы Acronis и члены группы «Администраторы» на узле хранения также считаются администраторами хранилища по умолчанию.

Добавьте группы или учетные записи пользователей, которые будут иметь пользовательские права в этом хранилище. Пользователи хранилища могут просматривать только собственные архивы в хранилище и управлять только ими. По умолчанию к пользователям хранилища добавляется группа «Все» узла хранения.

Выполнив все необходимые действия, нажмите кнопку ОК , чтобы создать управляемое хранилище.

При выполнении резервного копирования в дедуплицирующее хранилище агент Acronis Backup вычисляет цифровой отпечаток каждого блока данных. Такой цифровой отпечаток обычно называют хэш-значением.

Некоторые данные, такие как зашифрованные файлы или дисковые блоки нестандартного размера, не могут быть дедуплицированы. Агент всегда передает такие данные в хранилище без вычисления их хэш-значений. Дополнительные сведения об ограничениях дедупликации см. в разделе Ограничения дедупликации.

По завершении процесса дедупликации хранилище содержит полученную в результате резервную копию и временный файл с уникальными блоками данных. Временный файл обрабатывается на следующем этапе. Резервная копия (TIB-файл) содержит хэш-значения и данные, которые не удалось дедуплицировать. Дальнейшая обработка этой резервной копии не требуется. Она готова для восстановления данных из нее.

Когда резервное копирование в дедуплицирующее хранилище завершается, узел хранения запускает действие индексирования . Это действие дедуплицирует данные в хранилище следующим образом.

Блоки данных перемещаются из временного файла в специальный файл в хранилище, при этом повторяющиеся элементы сохраняются только один раз. Этот файл называется папкой дедуплицированных данных .
Хэш-значения и ссылки, необходимые для «сборки» дедуплицированных данных, сохраняются в базе данных дедупликации.
После перемещения всех блоков данных временный файл удаляется.

В результате хранилище данных содержит некоторое количество уникальных блоков данных. На каждый блок указывает одна или несколько ссылок из резервных копий. Эти ссылки хранятся в базе данных дедупликации. Резервные копии остаются без изменений. Они содержат хэш-значения и данные, которые не удалось дедуплицировать.

На следующей диаграмме показан результат дедупликации в месте назначения.

Выполнение действия индексирования может занять значительное время. Чтобы просмотреть состояние этого действия на сервере управления, выберите соответствующий узел хранения и щелкните Просмотр сведений . Также в этом окне можно вручную запустить или остановить это действие.

При резервном копировании большого объема уникальных данных может произойти сбой индексирования из-за недостаточной емкости ОЗУ на узле хранения. Процессы резервного копирования продолжат выполняться. В этом случае можно увеличить объем ОЗУ на узле хранения или удалить ненужные резервные копии и запустить процесс уплотнения. По окончании следующего процесса резервного копирования индексирование будет запущено снова.

После удаления хотя бы одной резервной копии или архива из хранилища как вручную, так и в процессе очистки, в хранилище могут остаться блоки, на которые не ссылается ни один архив. Такие блоки удаляются заданием на уплотнение , которое выполняется узлом хранения по расписанию.

По умолчанию задания на уплотнение выполняются каждое воскресенье в 03:00 ночи. График выполнения задания можно изменить, выбрав соответствующий узел хранения и щелкнув Просмотр сведений , а затем щелкнув Расписание уплотнения . На этой же вкладке можно вручную запустить или остановить задание.

Удаление неиспользуемых блоков является ресурсоемкой операцией, поэтому задание уплотнения выполняется только при накоплении значительного объема подлежащих удалению данных. Пороговый объем определяется параметром конфигурации Compacting Trigger Threshold (Пороговое значение для включения сжатия).

кроме тех, которые не могут быть дедуплицированы, например зашифрованных файлов.

База данных дедупликации хранится в локальной папке на узле хранения. При создании

хранилища можно указать путь к базе данных.

Размер базы данных дедупликации составляет около 1,5 % от общего объема уникальных

данных в хранилище. Другими словами, каждый терабайт новых данных (не дубликатов)

добавляет около 15 ГБ к базе данных.

Если в случае повреждения базы данных или потери узла хранения, но при сохранении

содержимого хранилища, новый узел хранения повторно сканирует хранилище и воссоздает

базу данных хранилища, а затем базу данных дедупликации.

Как работает дедупликация

Дедупликация в источнике

При выполнении резервного копирования в дедуплицирующее хранилище агент Acronis

Backup вычисляет цифровой отпечаток каждого блока данных. Такой цифровой отпечаток

обычно называют хэш-значением.

дедупликации, нет ли уже в этом хранилище блока с таким хэш-значением. Если да, то агент

отправляет только хэш-значение элемента. В противном случае отправляется сам блок. Узел

хранения сохраняет полученные блоки данных во временном файле.

Некоторые данные, такие как зашифрованные файлы или дисковые блоки нестандартного

размера, не могут быть дедуплицированы. Агент всегда передает такие данные в хранилище

без вычисления их хэш-значений. Дополнительные сведения об ограничениях дедупликации

см. в разделе Ограничения дедупликации (стр. 266).

По завершении процесса дедупликации хранилище содержит полученную в результате

резервную копию и временный файл с уникальными блоками данных. Временный файл

обрабатывается на следующем этапе. Резервная копия (TIB-файл) содержит хэш-значения и

данные, которые не удалось дедуплицировать. Дальнейшая обработка этой резервной копии

не требуется. Она готова для восстановления данных из нее.

Дедупликация в месте назначения

Когда резервное копирование в дедуплицирующее хранилище завершается, узел хранения

запускает действие индексирования. Это действие дедуплицирует данные в хранилище

следующим образом.
1.

Блоки данных перемещаются из временного файла в специальный файл в хранилище, при

этом повторяющиеся элементы сохраняются только один раз. Этот файл называется папкой

Компания Acronis выпустила новые версии программ для резервного копирования – Acronis Backup и Acronis Backup Advanced v.11.7. В них применяется оригинальный механизм дедупликации, который дает возможность обрабатывать в 24 раза больше данных при том же объеме выделяемой памяти. Это снижает общие затраты на хранение данных и на 40% ускоряет их аварийное восстановление.

Основатель Acronis Сергей Белоусов (фото: Dylan Love / The Daily Dot).

Регулярное создание полной резервной копии – максимально надёжный, но и самый ресурсоёмкий вариант. В какой-то момент он становится слишком долгим процессом, который нагружает локальную сеть, требует расширения хранилища, оказывается слишком долгим сам по себе и не обеспечивает приемлемого времени восстановления данных в случае сбоя.

Схемы дифференциального и инкрементного бэкапа сокращают лишь объём новых резервных копий, записывая их как разницу соответственно с полной или последней копией. Однако чтобы определить и записать эту разницу, в обычных системах резервного копирования приходится каждый раз считывать и передавать для анализа все данные.

Управление агентами резервного копирования (изображение: Acronis).

Решить эту проблему помогают алгоритмы дедпуликации – уменьшения объема трафика и хранимых данных путем выявления повторяющихся фрагментов и их однократной обработки. Дедупликация выполняется над блоками данных. Она предотвращает повторную передачу и сохранение идентичных блоков, снижая нагрузку на сеть и освобождая объём хранилища за счёт создания более компактных резервных копий.

Большинство современных систем резервного копирования используют тот или иной вид дедупликации, но размер обрабатываемых блоков у них фиксированный. Это снижает эффективность устранения повторяющихся фрагментов, так как в зависимости от структуры «продуктива» их фактический размер может быть разным.

В новых решениях Acronis Backup (Advanced) размер блока автоматически меняется в диапазоне от 1 байта до 256 КБ. Алгоритм выбора блока оптимального размера работает для резервных копий как на уровне дисков, так и на уровне файлов. Сам процесс дедупликации выполняется в два этапа: в источнике данных (агентом резервного копирования) и в хранилище бэкапов (как фоновый процесс, который автоматически запускается после завершения очередного бэкапа). Теперь для дедупликации терабайтаа уникальных данных требуется всего 128 МБ оперативной памяти вместо 3 ГБ.

Калькулятор окупаемости дедупликации для версии 11.5

Дедупликация наиболее эффективна при использовании режима полного резервного копирования. Заметный выигрыш в снижении используемого объёма хранилища и трафика она даёт и в схемах инкрементного бэкапа, если меняются не столько сами файлы, сколько место их расположения. Такая ситуация типична для большинства компаний, в которых используются стандартизированные на уровне софта рабочие места или сотрудникам часто рассылаются копии документов по текущим и выполненным проектам.

Эффективность дедупликации напрямую зависит от структуры файлов. Часть файлов нецелесообразно подвергать процедуре дедупликации (например, зашифрованные), поэтому значения хэшей для соответствующих им блоков данных в этой базе отсутствуют. Помимо зашифрованных файлов дедупликацию не рекомендуется применять для регулярного бэкапа баз данных. Изменения в БД обычно уникальны, и поэтому изначально обладают низкой степенью избычтосности. Поэтому для данных с низкой энтропией лучше использовать хранилище резервных копий без дедупликации.

Восстановление отдельных файлов (изображение: Acronis).

Новые решения Acronis разрабатывались с учётом современных требований клиентов. Если раньше большинство заказчиков удовлетворял сам факт регулярного создания бэкапа, то сейчас их всё больше заботит уровень доступности данных в резервных копиях. Компании предъявляют возрастающие требования к скорости создания бэкапов и стремятся уменьшить время аварийного восстановления. Каждая минута простоя обходится не только внушительной суммой убытков, но и репутационными потерями.

Помимо новых алгоритмов дедупликации в Acronis Backup (Advanced) v.11.7 доступна расширенная поддержка хранилищ (включая сетевые СХД на основе NFS (SMB/CIFS, FTP и SFTP) и операционных систем (Microsoft Windows от 2000 SP4 до10, а также Windows Server 2003-2016 TP4, Red Hat Enterprise Linux 4.x–7.x, Oracle Linux 5.x–7.x (включая UEK), Fedora 11–22, Debian 4–8.2, Ubuntu 9.10–15.04, CentOS 5.x–7.x и других ОС Linux с версией ядра от 2.4.20 до 3.18 и 4.0/4.1, glibc 2.3.2 или более поздней версии).

Решения Acronis Backup (Advanced) основаны на фирменной платформе AnyData, разработанной для защиты данных в физических, виртуальных, гибридных и облачных средах. Они ориентированы в первую очередь на внедрение в компаниях малого и среднего бизнеса, поэтому для них предлагается вариант приобретения по подписке. Он позволяет сэкономить на долгосрочных капитальных вложениях и без значительных затрат опробовать разные модели развертывания – с размещением данных локально, у сервис-провайдеров, на серверах Acronis или по гибридной схеме.

Читайте также: