none
Проблемы с бэкапом ВМ на кластере после обновления DPM 2012 R2 до UR5 + hotfix RRS feed

  • Вопрос

  • Добрый день.

    Имеем Hyper-V кластер на Windows 2012 R2 с последними обновлениями МС до февраля 2015 года. Всё бэкапилось DPM 2012 R2 UR3. Всё было хорошо. Решил обновить до UR5 + hotfix, т.к. было написано про оптимизацию просмотра ресурсов кластера и собрались вводить второй DPM сервер для бэкапа кластера в scale out режиме (двумя DPM серверами один кластер). Обновление прошло успешно, затем обновил агентов на узлах кластера (с перезагрузкой).

    И вот после этого (правда не для всех ВМ) бэкап ВМ не проходит. Задание на бэкап висит более получаса и потом отваливается с ошибкой:

    Description: Recovery point creation jobs for Microsoft Hyper-V \Offline\******_vm16 on *****_vm16.CL01.ot.cloud have been failing. The number of failed recovery point creation jobs = 1.
     If the data source protected has some dependent data sources (like a SharePoint Farm), then click on the Error Details to view the list of dependent data sources for which recovery point creation failed. (ID 3114)
     DPM encountered an error while performing an operation for \\?\Volume{a4009d69-f57c-4250-b5f9-1f8a4c75951f}\VMHDD\*******_vm16_disk_0.vhdx on HV012.ot.cloud (ID 2033 Details: The process cannot access the file because it is being used by another process (0x80070020))

    В логе DPM agent'а в это время много записей вида:

    FileObject::Create failed, status: 80070020, FileName: \\?\Volume{c401bbec-5988-4168-bf5d-dec46959ba87}\System Volume Information\HV014\DpmFilterRequest, dis, access: 0xC0000000

    На узлах кластера ничего не менял/не обновлял. Антивируса нет ни на DPM сервере , ни на узлах кластера.

    Что с этим делать ?

     

    16 марта 2015 г. 15:24

Ответы

Все ответы

  • Приветствую!

    1) "собрались вводить второй DPM сервер для бэкапа кластера в scale out режиме (двумя DPM серверами один кластер). "

    Ошибка появилась после подключения второго DPM?

    2) "Description: Recovery point creation jobs for Microsoft Hyper-V \Offline\******_vm16 on "

    • Для ВМ должно быть состояние "Online". Для этого нужно включить интеграционные службы для ВМ.

    См. решение: Проблемы с бэкапом Hyper-V. offline/online состояние

    • Какая ОС внутри ВМ? Стоит перезагрузить проблемную ВМ.

    3) ВМ настроены на SMB ?

    4) На всякий случай прошу проверить данное решение: Backup fails with "The process cannot access the file because it is being used by another process (0x80070020)"

    Chimney
    
    To determine the current status of TCP Chimney Offload: netsh int tcp show global 
    
    To disable chimney: 
    netsh int tcp set global chimney=disabled 
    
    To enable chimney: 
    
    netsh int tcp set global chimney=enabled
    
    
    RSS
    
    To determine the current status of RSS, follow these steps: netsh int tcp show global
    
    To disable RSS: netsh int tcp set global rss=disabled 
    To enable RSS: netsh int tcp set global rss=enabled

    http://blogs.technet.com/b/dpm/archive/2012/02/06/data-protection-manager-agent-network-troubleshooting.aspx

    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    17 марта 2015 г. 6:15
    Модератор
  • Приветствую!

    1) "собрались вводить второй DPM сервер для бэкапа кластера в scale out режиме (двумя DPM серверами один кластер). "

    Ошибка появилась после подключения второго DPM? - нет, сразу на первом.

    2) "Description: Recovery point creation jobs for Microsoft Hyper-V \Offline\******_vm16 on "

    • Для ВМ должно быть состояние "Online". Для этого нужно включить интеграционные службы для ВМ.   -   это ОС из числа не поддерживающих Hyper-V IS.

    См. решение: Проблемы с бэкапом Hyper-V. offline/online состояние

    • Какая ОС внутри ВМ? Стоит перезагрузить проблемную ВМ.   -  я не могу перезагрузить ВМ, она клиентская.

    3) ВМ настроены на SMB ?  - нет, только CSV.

    4) На всякий случай прошу проверить данное решение: Backup fails with "The process cannot access the file because it is being used by another process (0x80070020)"   - Chimney отключён, а RSS отключить на продакшен узлах я не могу (не потянет один логический CPU)

    Chimney
    
    To determine the current status of TCP Chimney Offload: netsh int tcp show global 
    
    To disable chimney: 
    netsh int tcp set global chimney=disabled 
    
    To enable chimney: 
    
    netsh int tcp set global chimney=enabled
    
    
    RSS
    
    To determine the current status of RSS, follow these steps: netsh int tcp show global
    
    To disable RSS: netsh int tcp set global rss=disabled 
    To enable RSS: netsh int tcp set global rss=enabled

    http://blogs.technet.com/b/dpm/archive/2012/02/06/data-protection-manager-agent-network-troubleshooting.aspx

    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    Добрый день. Ответы по тексту.

    Самое интересное из 700 ВМ не бэкапиться только около 50.

    17 марта 2015 г. 13:07
  • Если пересоздать группу защиты или отдельную ВМ (удалить и включить заново), то ошибки все равно остаются?

    Внутри ВМ случайно нет ли Symantec ?

    DPM 2012 R2 - Azure Backups fail

    Azure online backup always fails with online recovery point creation failed

    P.S.

    Если такие объемы и сложности с использованием разных вариантов (перезагрузки ОС и (-или) изменения настроек), то рекомендую обратиться к Microsoft, открыв кейс.

    Для этого перейдите по ссылке http://support.microsoft.com/select/Default.aspx?target=assistance, выберите "System Center 2012 R2", потом  System Center 2012 R2 Data Protection Manager.

    К сожалению, я не могу воспроизвести данную ситуацию в тестовой лаборатории. В продакшн среде данную ошибку решал вышеописанными действиями.


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    17 марта 2015 г. 13:21
    Модератор
  • Если пересоздать группу защиты или отдельную ВМ (удалить и включить заново), то ошибки все равно остаются?   - вчера для одной ВМ так сделал. Со скрипом прошёл full express backup (джоб тормозил минут 30-40), но сегодня обычный бэкап уже не прошёл (таже ошибка). Сейчас попробую для большего кол-ва ВМ так сделать и собрать завтра статистику.

    Внутри ВМ случайно нет ли Symantec ?   - с 99,9 % нет. И я отключал опцию "Backup" в Hyper-V IS для ВМ.

    DPM 2012 R2 - Azure Backups fail

    Azure online backup always fails with online recovery point creation failed

    P.S.

    Если такие объемы и сложности с использованием разных вариантов (перезагрузки ОС и (-или) изменения настроек), то рекомендую обратиться к Microsoft, открыв кейс.

    Для этого перейдите по ссылке http://support.microsoft.com/select/Default.aspx?target=assistance, выберите "System Center 2012 R2", потом  System Center 2012 R2 Data Protection Manager.

    К сожалению, я не могу воспроизвести данную ситуацию в тестовой лаборатории. В продакшн среде данную ошибку решал вышеописанными действиями.    - это какими ?


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    По тексту.

    + можно конечно обратиться в МС, но там сейчас начнётся - давайте поставим все обновления на все узлы....

    17 марта 2015 г. 14:42
  • В продакшн среде данную ошибку решал вышеописанными действиями.    - это какими ?

    Ответ:

    1) Перезагрузка ВМ.

    2) Проблемы с бэкапом Hyper-V. offline/online состояние. При этом в Hyper-V для ВМ с Linux выключена опция "Backup (volume checkpoint)", но в DPM состояние online.

    3) Помогает перенос ВМ на другой родительский раздел (хост), если они в кластере (Или смена CSV).

    Еще как вариант:
    1) выключить ВМ, выключить Backup (volume snapshot), заархивировать, включить ВМ, заархивировать

    или

    2) выключить ВМ, заархивировать, включить ВМ

    4) Backup fails with "The process cannot access the file because it is being used by another process (0x80070020)"


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    18 марта 2015 г. 5:39
    Модератор
  • 1) еще бы проверить корректно ли установлены интеграционные службы в ВМ и VSS.

    пример,

    The following daemons must be installed manually for Ubuntu distributions:

    • VSS Snapshot daemon – This daemon is required to create live Linux virtual machine backups.

    Ubuntu virtual machines on Hyper-V

    2) Hyper-V Backup doesn’t interrupt running virtual machines (anymore)


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    18 марта 2015 г. 5:42
    Модератор
  • Короче, после сегодняшнего ночного бэкапа не прошло уже 70 ВМ, т.е. кол-во увеличилось, не прошли бэкапы по тем ВМ, которые успешно проходили после обновления. Плохо...

    Наверное буду делать с нуля на UR4. С UR4 проблем нет ?

    Есть вопрос про даунгрейд агентов на узлах. Дайнгрейд это "нормальная" процедура, там каких-либо засад нет ?

    Как я предполагаю последовательность (для уменьшения времени на изменение агентов на узлах (перезагрузки,...)): Снести агентов через DPM консоль, потом по очерёдно на каждом узле - перезагрузка узла, установка вручную нужной версии агента, повторная перезагрузка узла. А после того как я изменю сам DPM сервер - ручками привяжу агентов к DPM серверам.

    18 марта 2015 г. 9:25
  • 1) "Наверное буду делать с нуля на UR4. С UR4 проблем нет ?"

    Нет. Сам до сих пор использую UR4.

    2) "Есть вопрос про даунгрейд агентов на узлах. Дайнгрейд это "нормальная" процедура, там каких-либо засад нет ?"

    Написано с конце статьи: "System Center 2012 R2 DPM — Исправляем последствия применения Update Rollup 5"

    И самое главное! Помните, что нельзя просто удалить UR для DPM 2012 R2, чтобы вернуться к предыдущим настройкам!

    Удалить UR5 можно путем установки DPM 2012 R2, обновлением до соответствующего UR и восстановлением предыдущей версии базы данных (например, если архив база данных был выполнен при установленном UR4, то после установки DPM 2012 R2 должен быть установлен UR4 и только после этого восстановлена база).

    "Как я предполагаю последовательность (для уменьшения времени на изменение агентов на узлах (перезагрузки,...)): Снести агентов через DPM консоль, потом по очерёдно на каждом узле - перезагрузка узла, установка вручную нужной версии агента, повторная перезагрузка узла. А после того как я изменю сам DPM сервер - ручками привяжу агентов к DPM серверам."

    Можно и так :)

    Дополнительные материалы:

    Установка DPM 2012 R2 (текст)


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    18 марта 2015 г. 9:49
    Модератор
  • "после сегодняшнего ночного бэкапа не прошло уже 70 ВМ"

    Ошибка таже?


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    18 марта 2015 г. 9:50
    Модератор
  • 1. Да, ошибка таже.

    2. Да, я понял что надо с нуля ставить DPM сервер. Конечно есть бэкап БД от UR3, но применять его после недельных изменений на пуле дисков DPM наверное не правильно.

    18 марта 2015 г. 10:26
  • Решил всё же открыть тикет в поддержке МС
    18 марта 2015 г. 15:23
  • Привет.

    Проблема решена. Надо удалить системные файлы DPM на сбойном CSV томе по технологии https://social.technet.microsoft.com/Forums/en-US/0f040d19-1c97-4c4c-b79a-f00173a18669/recovery-point-creation-fails-because-change-traking-has-been-marked-inconsistent?forum=dpmhypervbackup

    В процессе удаления определяются конкретные DpmFilterRequest файлы которые "зажаты". Мне удалось их удалить после смены владельцы CSV.

    После такой "чистки" бэкапы заработали как надо.

    PS. Естественно, по всем DS на таком "зачищенном" CSV пойдёт CC (consistency check).

    • Помечено в качестве ответа StDenis (oblakoTeka) 23 марта 2015 г. 9:39
    23 марта 2015 г. 9:39
  • Спасибо за то, что не забыли написать решение ! :) Оно пригодится другим пользователям DPM !


    Have a nice day !!! DPM 2012 R2: Remove Recovery Points

    23 марта 2015 г. 10:05
    Модератор