none
Сценарий бэкапа для дедуплицированного диска RRS feed

  • Вопрос

  • Приветствую всех,

    Имеется DPM сервер версии 2012 R2 4.2.1473, установлен на Windows Server 2012 R2 с включенной службой Data Deduplication. Он бэкапит файловый сервер (целиком диск на котором настроена дедупликация) WS 2012 R2. Возник вопрос, как узнать используется ли «Оптимизированный сценарий» для бэкапа или нет.

    Из статьи  видно что при оптимизированном бэкапе должна включаться функция FILE_FLAG_OPEN_REPARSE_POINT, но не описано где увидеть/посмотреть что эта функция в итоге используется бэкапом. Столкнулся с тем что бэкап на ленту стал очень большим, при том что объем хранящейся информации значительно меньше, естественно примерно 50% сохранено дедупликцией. Пробовал перенести бэкап на дисковое пространство DPM, но ситуация не меняется.

    Спасибо.


    • Изменено Vern1k 17 октября 2016 г. 2:28
    17 октября 2016 г. 2:18

Ответы

  • Приветствую!

    Для начала нужно убедиться, что выполнены все условия.

    Например, "Backup solutions (such as DPM running in a Hyper-V virtual machine) that save backup data to VHD/VHDX files on a Windows File Server.

    Источник: Deduplicate DPM storage

    Проверка описана по той же ссылке в разделе "Monitoring".

    Получить статус дедупликации при помощи Powershell можно командой: 

    Get-DedupStatus  

    Получить значения оптимизированного места при помощи Powershell можно командой:

    Get-DedupVolume 

    Для возможности дедупликации на лентах необходима аппаратная иои программная поддержка производителем данных устройств.

    Например, настройка библиотеки виртуальных лент с возможностью дедуплиукации "How To Add Virtual Tape Library (VTL) To System Center Data Protection Manager Using HP StoreOnce"

    Также стоит помнить об ограничениях

    Deduplicated volumes support

    Issue: Deduplication support for DPM depends on operating system support.

    Operating system of protected server Operating system of DPM server DPM version Dedup support
    Windows 2012 Windows Server 2012 DPM 2012 with SP1, DPM 2012 R2 Y
    Windows 2012 Windows Server 2012 R2 DPM 2012 R2 Y
    Windows Server 2012 R2 Windows Server 2012 R2 DPM 2012 R2 Y
    Windows Server 2012 R2 Windows Server 2012 DPM 2012 with SP1, DPM 2012 R2 N

    Workaround: Use within support limitations.

    Windows deduplication isn’t always supported on volumes hosting .VHD or .VHDX files

    Issue: Dedupe support

    Workaround: Deploy DPM as virtual machine.

    You can enable deduplication for DPM storage when it runs in a Hyper-V virtual machine and stored backup data to VHDs in shared folders on Windows File Servers with data deduplication enabled. For more information about this scenario read Deduplicate DPM storage.

    Dedup file system can’t be protected to a secondary DPM server

    Issue: After a dedup file system is protected by a primary DPM server, it can’t be protected to a secondary DPM server.

    Workaround: None.

    Источник: Supported and unsupported scenarios in DPM


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V




    17 октября 2016 г. 7:22
    Модератор
  • Евгений, благодарю в очередной раз за ответ.

    А если уйти от виртуализации? Нет никаких проблем, кроме разростающейся реплики при копировании дедуплицированного диска файлового сервера. Таким образом я пытаюсь разобраться, нормально ли это. Неужели для бэкапа файловых серверов с включенной дедупликацией необходимо подымать еще один  виртуальный DPM сервер и подключать к нему виртуальные VHDX диски, чтобы сэкономить место и не столкнуться с такой проблемой?

    Теперь понятен ваш расклад :)

    Оптимизированным сценарием (при котором будут передаваться и храниться только дедуплицированные данные) будет считаться, если у вас соблюдены следующие условия:

    1) DPM 2012 R2

    2) ОС на защищаемом файловом сервере - Windows Server 2012 R2

    3) ОС на DPM сервере - Windows Server 2012 R2

    4) Для всего раздела включена дедупликация на файловом сервере

    5) Установлена роль дедупликации на DPM 2012 R2

    6) Полностью выполняется резервное копирование всего раздела (full backup for volume)

    Источник: SC 2012 SP1 – DPM: Efficient Protection of Windows 2012 Dedup Volume

    "This efficient backup capability can be availed only when full volume is backed up and restored"

    Также стоит соблюсти последовательность, чтобы не было переизбытка данных в реплике:

    1) Assume that the PS1 is the production server where the file system volume (Vol1) is residing and DPM1 is DPM server.

    2) Install Deduplication role on PS1

    3) Enable Deduplication on Vol1

    4) Install DPM server on DPM1

    5) Install Deduplication role on DPM1 machine

    6) Install DPM agent on PS1

    7) Create Protection Group (PG) and select Vol1 on PS1 with appropriate protection settings

    8) DPM will not only recognize that this is a deduplicated volume but also transfers the content efficiently

    Иначе:

    "Another interesting scenario where dedup is enabled on the volume that is already being backed up.  When dedup is enabled on the volume, dedup will change almost all of files as part of dedup logic even though actual content is not changed.  In the next backup, DPM sees this as file changes and will transfer all deduped files.  This leads to a one time spike in DPM backup storage consumption."


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V

    • Предложено в качестве ответа EugeneLeitanMVP, Moderator 17 ноября 2016 г. 7:39
    • Помечено в качестве ответа Vern1k 21 ноября 2016 г. 2:45
    17 ноября 2016 г. 7:39
    Модератор

Все ответы

  • Приветствую!

    Для начала нужно убедиться, что выполнены все условия.

    Например, "Backup solutions (such as DPM running in a Hyper-V virtual machine) that save backup data to VHD/VHDX files on a Windows File Server.

    Источник: Deduplicate DPM storage

    Проверка описана по той же ссылке в разделе "Monitoring".

    Получить статус дедупликации при помощи Powershell можно командой: 

    Get-DedupStatus  

    Получить значения оптимизированного места при помощи Powershell можно командой:

    Get-DedupVolume 

    Для возможности дедупликации на лентах необходима аппаратная иои программная поддержка производителем данных устройств.

    Например, настройка библиотеки виртуальных лент с возможностью дедуплиукации "How To Add Virtual Tape Library (VTL) To System Center Data Protection Manager Using HP StoreOnce"

    Также стоит помнить об ограничениях

    Deduplicated volumes support

    Issue: Deduplication support for DPM depends on operating system support.

    Operating system of protected server Operating system of DPM server DPM version Dedup support
    Windows 2012 Windows Server 2012 DPM 2012 with SP1, DPM 2012 R2 Y
    Windows 2012 Windows Server 2012 R2 DPM 2012 R2 Y
    Windows Server 2012 R2 Windows Server 2012 R2 DPM 2012 R2 Y
    Windows Server 2012 R2 Windows Server 2012 DPM 2012 with SP1, DPM 2012 R2 N

    Workaround: Use within support limitations.

    Windows deduplication isn’t always supported on volumes hosting .VHD or .VHDX files

    Issue: Dedupe support

    Workaround: Deploy DPM as virtual machine.

    You can enable deduplication for DPM storage when it runs in a Hyper-V virtual machine and stored backup data to VHDs in shared folders on Windows File Servers with data deduplication enabled. For more information about this scenario read Deduplicate DPM storage.

    Dedup file system can’t be protected to a secondary DPM server

    Issue: After a dedup file system is protected by a primary DPM server, it can’t be protected to a secondary DPM server.

    Workaround: None.

    Источник: Supported and unsupported scenarios in DPM


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V




    17 октября 2016 г. 7:22
    Модератор
  • Большое спасибо за ответ!

    Хотелось все-таки иметь информацию о конкретном бэкапе в логе или еще где -нибудь. Например, да, это задание на бэкап выполняет все условия и будет выполнено по оптимизированному сценарию. Либо, нет, не выполнено то или иное условие, поэтому будет запущен стандартный вариант бэкапа.

    17 октября 2016 г. 9:43
  • Большое спасибо за ответ!

    Хотелось все-таки иметь информацию о конкретном бэкапе в логе или еще где -нибудь. Например, да, это задание на бэкап выполняет все условия и будет выполнено по оптимизированному сценарию. Либо, нет, не выполнено то или иное условие, поэтому будет запущен стандартный вариант бэкапа.

    еще раз: Источник: Deduplicate DPM storage

    Дедуплицируется хранилище DPM, если оно находится в SOSF с включенной дедупликацией!

    Все задания от всех ресурсов (файлы, SQL, Exch) будут уже с дедупликацией.

    Если хотите посмотреть в лог, то

    Monitoring events

    Monitoring the event log can help understand deduplication events and status.

    • To view deduplication events, in File Explorer, navigate to Applications and Services Logs > Microsoft > Windows > Deduplication.

    • If the value LastOptimizationResult = 0x00000000 appears in the Get-DedupStatus |fl Windows PowerShell results, the entire dataset was processed by the previous optimization job. If not then the system was unable to complete the deduplication processing and you might want to check your configuration settings, for example volume size.

    For more detailed cmdlet examples, see Monitor and Report for Data Deduplication.


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V

    • Предложено в качестве ответа EugeneLeitanMVP, Moderator 17 октября 2016 г. 9:48
    • Помечено в качестве ответа EugeneLeitanMVP, Moderator 25 октября 2016 г. 11:16
    • Снята пометка об ответе Vern1k 16 ноября 2016 г. 5:02
    17 октября 2016 г. 9:48
    Модератор
  • Спасибо за помощь.

    Простите, а разве есть какая-то связь между бэкапом дисков с включенной дедупликацией на уровне системы Windows Server 2012 и информацией о дедуплицировании данных на DPM дисках?

    16 ноября 2016 г. 5:02
  • Спасибо за помощь.

    Простите, а разве есть какая-то связь между бэкапом дисков с включенной дедупликацией на уровне системы Windows Server 2012 и информацией о дедуплицировании данных на DPM дисках?

    Есть :)

    Дедуплицирование данных на DPM подразумевает включенную дедупликацию на уровне системы Windows 2012.

    У DPM нет своей дедупликации! Разделение на replica и recovery point volume при копировании только изменившихся блоков данных - это недедупликация, а технология передачи данных с защищаемого клиента на сервер DPM. При этом значительная часть хранилища DPM имееет меньший объем занятых данных по сравнению с традиционными решениями резервного копирования.


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V

    16 ноября 2016 г. 6:32
    Модератор
  • Спасибо еще раз!

    Попробую подробнее обрисовать свою ситуацию. Есть файловый сервер с дедуплицируемым диском объемом 2,44 Tb, вот значения дедупликации:

    При этом получается такой размер реплики на DPM сервере:

    В ссылке выше, хорошо описан пример для VHDX, насколько я понял, если у меня подключен обычный LUN с СХД к DPM серверу, то мне нужно будет не только включить дедупликацию на сервере, но и активировать ее для каждого созданного раздела для реплики и точки восстановления?

    16 ноября 2016 г. 8:38
  • Спасибо еще раз!

    Попробую подробнее обрисовать свою ситуацию. Есть файловый сервер с дедуплицируемым диском объемом 2,44 Tb, вот значения дедупликации:

    При этом получается такой размер реплики на DPM сервере:

    В ссылке выше, хорошо описан пример для VHDX, насколько я понял, если у меня подключен обычный LUN с СХД к DPM серверу, то мне нужно будет не только включить дедупликацию на сервере, но и активировать ее для каждого созданного раздела для реплики и точки восстановления?

    В этом то и особенность дедупликации DPM: что она выполняется на стороне SOFS сервера с операционной системой Windows Server 2012/2012 R2/2016 (на картинке выше), который хранит VHDX файлы и по сути является СХД для DPM!

    SOFS - вариант СХД от Microsoft.

    Т.е. если у вас на стороне СХД, на котором находятся VHDX файлы не включена дедупликация (средствами СХД NetApp, HP, IBM и т.д. или SOFS с использованием Windows Server 2012/2012 R2/2016), то в DPM она не будет работать.

    И еще раз:

    1) Есть дедупликация дисков DPM, которая влияет на хранилище DPM и нет ОТДЕЛЬНОЙ дедупликации для томов реплик и точек восстановления.

    см. выше (в отмеченном варианте) по ссылке
    "You can enable deduplication for DPM storage when it runs in a Hyper-V virtual machine and stored backup data to VHDs in shared folders on Windows File Servers with data deduplication enabled. For more information about this scenario read Deduplicate DPM storage."

    2) Включенная дедупликация на клиенте не влияет на занимаемое место в DPM.


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V



    16 ноября 2016 г. 9:58
    Модератор
  • Евгений, благодарю в очередной раз за ответ.

    А если уйти от виртуализации? Нет никаких проблем, кроме разростающейся реплики при копировании дедуплицированного диска файлового сервера. Таким образом я пытаюсь разобраться, нормально ли это. Неужели для бэкапа файловых серверов с включенной дедупликацией необходимо подымать еще один  виртуальный DPM сервер и подключать к нему виртуальные VHDX диски, чтобы сэкономить место и не столкнуться с такой проблемой?

    17 ноября 2016 г. 1:50
  • Евгений, благодарю в очередной раз за ответ.

    А если уйти от виртуализации? Нет никаких проблем, кроме разростающейся реплики при копировании дедуплицированного диска файлового сервера. Таким образом я пытаюсь разобраться, нормально ли это. Неужели для бэкапа файловых серверов с включенной дедупликацией необходимо подымать еще один  виртуальный DPM сервер и подключать к нему виртуальные VHDX диски, чтобы сэкономить место и не столкнуться с такой проблемой?

    Теперь понятен ваш расклад :)

    Оптимизированным сценарием (при котором будут передаваться и храниться только дедуплицированные данные) будет считаться, если у вас соблюдены следующие условия:

    1) DPM 2012 R2

    2) ОС на защищаемом файловом сервере - Windows Server 2012 R2

    3) ОС на DPM сервере - Windows Server 2012 R2

    4) Для всего раздела включена дедупликация на файловом сервере

    5) Установлена роль дедупликации на DPM 2012 R2

    6) Полностью выполняется резервное копирование всего раздела (full backup for volume)

    Источник: SC 2012 SP1 – DPM: Efficient Protection of Windows 2012 Dedup Volume

    "This efficient backup capability can be availed only when full volume is backed up and restored"

    Также стоит соблюсти последовательность, чтобы не было переизбытка данных в реплике:

    1) Assume that the PS1 is the production server where the file system volume (Vol1) is residing and DPM1 is DPM server.

    2) Install Deduplication role on PS1

    3) Enable Deduplication on Vol1

    4) Install DPM server on DPM1

    5) Install Deduplication role on DPM1 machine

    6) Install DPM agent on PS1

    7) Create Protection Group (PG) and select Vol1 on PS1 with appropriate protection settings

    8) DPM will not only recognize that this is a deduplicated volume but also transfers the content efficiently

    Иначе:

    "Another interesting scenario where dedup is enabled on the volume that is already being backed up.  When dedup is enabled on the volume, dedup will change almost all of files as part of dedup logic even though actual content is not changed.  In the next backup, DPM sees this as file changes and will transfer all deduped files.  This leads to a one time spike in DPM backup storage consumption."


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V

    • Предложено в качестве ответа EugeneLeitanMVP, Moderator 17 ноября 2016 г. 7:39
    • Помечено в качестве ответа Vern1k 21 ноября 2016 г. 2:45
    17 ноября 2016 г. 7:39
    Модератор
  • Спасибо Евгений, да, вот этот момент и интересен.

    Еще раз пробежал по всем условиям и убедился что они выполнены, возник вопрос только по

    "6) Полностью выполняется резервное копирование всего раздела (full backup for volume)"

    Да, я выбрал копировать диск целиком, задал расписание создания точек восстановления и регулярность синхронизации. Затем был автоматически посчитан размер реплики и он был приемлемого размера, то есть примерно столько сколько занято на дедуплицируемом диске. Но при создании реплики постоянно нехватало места(выпадала ошибка Replica is inconsistent), пока я вручную не добавил еще порядка 1,5 Tb, после чего первая реплика успешно создалась. Появилось ощущение что при копировании был использован неоптимизированный сценарий, так размер реплики стал очень большой и теперь понемногу растет дальше.

    Может нужно создавать бэкап на ленточный носитель, а не на дисковое пространство? Таким образом использовать  не технологию с Recovery Points, а просто ежедневный Full Backup на ленту?


    • Изменено Vern1k 17 ноября 2016 г. 9:18
    17 ноября 2016 г. 9:16
  • "Таким образом использовать  не технологию с Recovery Points, а просто ежедневный Full Backup на ленту?"
    как вариант.

    Можно еще попробовать еще раз с нуля пройтись по шагам согласно предложенному порядку.


    Have a nice day !!!
    DPM 2012 R2: Remove Recovery Points
    DPM blog
    System Center
    Hyper-V

    18 ноября 2016 г. 13:06
    Модератор
  • По всей видимости, сложности возникают в моем частном случае, буду разбираться. Еще раз огромное спасибо за помощь.

    • Изменено Vern1k 21 ноября 2016 г. 2:45
    21 ноября 2016 г. 2:45