none
Выполнение Live Migration любой виртуальной машины на любом хосте Windows Hyper-V Server 2012 при помощи оснастки Failover Cluster Manager не проходит успешно. Ошибка 21502. The logon attempt failed (0x8009030C). RRS feed

  • Общие обсуждения

  • Из пяти лезвий HP Proliant BL460c Gen8 собран Failover Cluster Windows Hyper-V Server 2012. На СХД нарезаны LUN и презентованы по FC Hyper-V хостам. ВМ размещаются на CSV томах. Выполнение Live Migration любой виртуальной машины на любом хосте Hyper-V при помощи оснастки Failover Cluster Manager не проходит успешно. Выдается ошибка 21502. Source Microsoft-Windows-Hyper-V-High-Availability.

    Live migration of 'Virtual Machine UPR19' failed.

    Virtual machine migration operation for 'UPR19' failed at migration source 'HV-BLADE01'. (Virtual machine ID 52EE5618-7FCF-4087-B85F-EFB17F03207E)

    The Virtual Machine Management Service failed to establish a connection for a Virtual Machine migration with host 'hv-blade02': The logon attempt failed (0x8009030C).

    The Virtual Machine Management Service failed to authenticate the connection for a Virtual Machine migration at the source host: The logon attempt failed (0x8009030C).

    При этом если выполнять Live Migration непосредственно залогинившись на хост Hyper-V командой Move-VM, то миграция виртуальной машины проходит успешно.

    Железо: блейд-шасси HP BladeSystem c7000 Enclosure G3 с пятью лезвиями HP Proliant BL460c Gen8. Все железо с самыми свежими Firmware и драйверами. СХД HP 3PAR StoreServ 7200. Версия HP 3PAR OS 3.1.2.

    В каждом лезвии каждый двухпортовый HP FlexFabric 10Gb 2P 554FLB FIO Adptr разделен на шесть FlexNIC (Ethernet) и два FlexHBA (для подключения к HP 3PAR StoreServ 7200). Подключение к СХД HP 3PAR StoreServ 7200 выполнено методом Direct Attach.

    Пример разделения HP FlexFabric 10Gb 2-port 554FLB Adapter на одном из лезвий:

    Server NIC Information
    Ethernet FlexNIC (NIC 1) LOM1:1-a
    FCoE FlexHBA                    LOM1:1-b
    Ethernet FlexNIC (NIC 5) LOM1:1-c
    Ethernet FlexNIC (NIC 7) LOM1:1-d
    Ethernet FlexNIC (NIC 2) LOM1:2-a
    FCoE FlexHBA                    LOM1:2-b
    Ethernet FlexNIC (NIC 6) LOM1:2-c
    Ethernet FlexNIC (NIC 8) LOM1:2-d

    На остальных лезвиях сделано аналогично.
    MgmtHypervisors01, MgmtHypervisors02 - Подсеть для управления гипервизорами.

    vNet-Cluster-LM01, vNet-Cluster-LM02 - Подсеть между гипервизорами в кластере для выполнения проверок доступности узлов кластера, CSV и для выполнения Live Migration.
    VMAccess01, VMAccess02 – Trunk порты. Используется как Hyper-V Extensible Switch.

    В качестве гипервизора на всех лезвиях используется Windows Hyper-V Server 2012. Сетевые адаптеры с индексами 01 (VMAccess01, MgmtHypervisors01) подключены к первому порту двухпортового HP FlexFabric 10Gb 2-port 554FLB Adapter и далее к Bay01 Interconnect-модуля HP BLc VC FlexFabric 10Gb/24-port. Сетевые адаптеры с индексами 02 (VMAccess02, MgmtHypervisors02) подключены ко второму порту двухпортового HP FlexFabric 10Gb 2-port 554FLB Adapter и далее к Bay02 Interconnect-модуля HP BLc VC FlexFabric 10Gb/24-port. Сети vNet-Cluster-LM01, vNet-Cluster-LM02 являются внутренними сетями домена HP BLc VC FlexFabric 10Gb/24-port, не имеют выхода в LAN предприятия и предназначены для траффика CSV, Live Migration, Cluster Heartbeat.

    PS C:> Get-NetAdapter | Select-Object Name,InterfaceDescription | ft -auto
    
    Name InterfaceDescription
    ---- --------------------
    vNet-Cluster-LM02 HP FlexFabric 10Gb 2-port 554FLB Adapter #6
    vNet-Cluster-LM01 HP FlexFabric 10Gb 2-port 554FLB Adapter #4
    MgmtHypervisors02 HP FlexFabric 10Gb 2-port 554FLB Adapter #3
    MgmtHypervisors01 HP FlexFabric 10Gb 2-port 554FLB Adapter #5
    VMAccess02 HP FlexFabric 10Gb 2-port 554FLB Adapter #2
    VMAccess01 HP FlexFabric 10Gb 2-port 554FLB Adapter
    vNet-Cluster-LM Microsoft Network Adapter Multiplexor Driver #3
    VMAccess Microsoft Network Adapter Multiplexor Driver #2
    MgmtHypervisors Microsoft Network Adapter Multiplexor Driver

    Каждая пара сетевых адаптеров объединена в Team.

    PS C: > Get-NetLbfoTeam
    
    Name : VMAccess
    Members : {VMAccess02, VMAccess01}
    TeamNics : VMAccess
    TeamingMode : SwitchIndependent
    LoadBalancingAlgorithm : TransportPorts
    Status : Up
    
    Name : vNet-Cluster-LM
    Members : {vNet-Cluster-LM01, vNet-Cluster-LM02}
    TeamNics : vNet-Cluster-LM
    TeamingMode : SwitchIndependent
    LoadBalancingAlgorithm : TransportPorts
    Status : Up
    
    Name : MgmtHypervisors
    Members : {MgmtHypervisors02, MgmtHypervisors01}
    TeamNics : MgmtHypervisors
    TeamingMode : SwitchIndependent
    LoadBalancingAlgorithm : TransportPorts
    Status : Up

    Сетевой адаптер (TeamNic) с именем VMAccess используется как Hyper-V Extensible Switch.

    PS C:\> Get-VMSwitch | fl
    
    ComputerName : HV-BLADE01
    Name : External
    Id : c345be16-8e40-4309-82ff-e41d02b5b40f
    Notes :
    SwitchType : External
    AllowManagementOS : False
    NetAdapterInterfaceDescription : Microsoft Network Adapter Multiplexor Driver #2
    AvailableVMQueues : 0
    NumberVmqAllocated : 0
    IovEnabled : False
    IovVirtualFunctionCount : 0
    IovVirtualFunctionsInUse : 0
    IovQueuePairCount : 0
    IovQueuePairsInUse : 0
    AvailableIPSecSA : 0
    NumberIPSecSAAllocated : 0
    BandwidthPercentage : 10
    BandwidthReservationMode : Absolute
    DefaultFlowMinimumBandwidthAbsolute : 2000000000
    DefaultFlowMinimumBandwidthWeight : 0
    Extensions : {Microsoft NDIS Capture, Microsoft VMM DHCPv4 Server Switch Extension, Microsoft
    Windows Filtering Platform}
    IovSupport : False
    IsDeleted : False

    На основании статей
    social.technet.microsoft.com/wiki/contents/articles/9711.hyper-v-network-design-configuration-and-prioritization-guidance.aspx
    virtualisationandmanagement.wordpress.com/2011/07/08/hyper-v-network-design-configuration-and-prioritization-guidance/
    blogs.msdn.com/b/clustering/archive/2011/06/17/10176338.aspx

    с помощью утилиты NVSPBIND (Network Virtual Service Provider Bind) code.msdn.microsoft.com/nvspbind были сделаны изменения в конфигурации сетевых адаптеров: 

    nvspbind.exe /d VMAccess ms_netbios
    nvspbind.exe /d VMAccess ms_server
    nvspbind.exe /d VMAccess ms_msclient
    nvspbind.exe /d vNet-Cluster-LM ms_netbios

    Список установленных патчей на каждом из Hyper-V хостов:

    Hotfix(s): 46 Hotfix(s) Installed.
    [01]: KB2737084
    [02]: KB2742614
    [03]: KB2753842
    [04]: KB2756872
    [05]: KB2757638
    [06]: KB2758246
    [07]: KB2761094
    [08]: KB2761465
    [09]: KB2769165
    [10]: KB2770917
    [11]: KB2771431
    [12]: KB2777166
    [13]: KB2779768
    [14]: KB2780342
    [15]: KB2784160
    [16]: KB2785094
    [17]: KB2785220
    [18]: KB2789649
    [19]: KB2790920
    [20]: KB2795944
    [21]: KB2798162
    [22]: KB2800088
    [23]: KB2803676
    [24]: KB2803748
    [25]: KB2804583
    [26]: KB2807986
    [27]: KB2811660
    [28]: KB2812829
    [29]: KB2813430
    [30]: KB2815769
    [31]: KB2822241
    [32]: KB2823516
    [33]: KB2829254
    [34]: KB2829361
    [35]: KB2830290
    [36]: KB2833958
    [37]: KB2835361
    [38]: KB2836988
    [39]: KB2840632
    [40]: KB2845533
    [41]: KB2845690
    [42]: KB2850674
    [43]: KB2850851
    [44]: KB2851234
    [45]: KB2853915
    [46]: KB2856758

    P.S. Самое интересное еще и то, что аналогичная ошибка 21502: The logon attempt failed (0x8009030C) вылазит при выполнении Live Migration ВМ и в тестовом кластере. В тестовой лаборатории собран двухузловой кластер Hyper-V Server 2012. В качестве СХД я сделал Windows Server 2012. Он выступает в роли iSCSI Target.
    29 июля 2013 г. 7:01

Все ответы

  • С базой знаний 2779204 ознакомлены ?


    29 июля 2013 г. 7:16
    Модератор
  • Как настроена аутентификация для Live Migration? Если она настроена на использование CredSSP, а не Kerberos, то поведение будет как раз таким.


    Слава России!

    29 июля 2013 г. 7:34
  • Да, конечно со статьей KB2779204 ознакомлен. На основании статей blogs.technet.com/b/askcore/archive/2012/10/31/logon-failures-involving-virtual-machines-in-windows-server-2012.aspx , support.microsoft.com/kb/2779204
    были внесены изменения в групповую политику гипервизоров. На всех гипервизорах специальной группе безопасности NT VIRTUAL MACHINE\Virtual Machines (S-1-5-83-0) должны быть предоставлены права Create Symbolic Links (SeCreateSymbolicLinkPrivilege) и Log on as a Service (SeServiceLogonRight).
    В оснастке Group Policy Management в групповой политике Computer Configuration\Windows Settings\Security Settings\Local Policies\User Rights Assignment\ установил разрешения как указано ниже:
    Create Symbolic Links: Administrators, NT VIRTUAL MACHINE\Virtual Machines
    Log on as a Service: NT VIRTUAL MACHINE\Virtual Machines, NT SERVICE\ALL SERVICES

    После этого на хостах Hyper-V обновил групповую политику командой gpupdate /force.
    Результирующая политика gpresult /scope computer /z выдает, что политика применена.

    Каждый хост после этих изменений еще был перезагружен. Предварительно с каждого перезагружаемого хоста виртуальные машины мигрировались на соседние хосты командой Move-VM. Для выполнения такой миграции я логинился на перезагружаемый хост Hyper-V через RDP и выполнял команду Move-VM. После этого хост перезагружался.
    Решение с групповыми политиками не принесло успешных результатов. Live Migration все равно не выполняется и выдает ту же ошибку 21502.

    После этого неуспеха на всех хостах Hyper-V в настройках Hyper-V Settings в разделе Live Migrations был установлен протокол Kerberos. В Active Directory были установлены делегирования для каждого хоста Hyper-V:
    Доверять компьютеру делегирование указанных служб - Использовать только Kerberos. И в списке служб выбирал службу Microsoft Virtual System Migration Service для всех пяти хостов. Получается картина вида (к сожалению картинки мне пока не разрешено вставлять здесь):

    Для хоста  HV-BLADE01

    Тип службы                                                    Пользователь или компьютер

    Microsoft Virtual System Migration Service         HV-BLADE01

    Microsoft Virtual System Migration Service         HV-BLADE02

    Microsoft Virtual System Migration Service         HV-BLADE03

    Microsoft Virtual System Migration Service         HV-BLADE04

    Microsoft Virtual System Migration Service         HV-BLADE05

    Аналогично для остальных учетных записей четырех оставшихся хостов HV-BLADE02 - HV-BLADE05.

    Каждый хост после этих изменений в AD еще был перезагружен. Предварительно с каждого перезагружаемого хоста виртуальные машины мигрировались на соседние хосты командой Move-VM. Для выполнения такой миграции я логинился на перезагружаемый хост Hyper-V через RDP и выполнял команду Move-VM. После этого хост перезагружался.
    После данных манипуляций с настройкой Kerberos, Live Migration стал проходить успешно между любыми хостами Hyper-V. Но это продлилось недолго. На следующее утро Live Migration любой виртуальной машины на любом хосте Hyper-V при помощи оснастки Failover Cluster Manager опять не проходит успешно. По-прежнему выдается ошибка 21502.

    29 июля 2013 г. 7:38
  • Не знаю, как насчет кластера, но для миграции VM между двумя хостами вне кластера нужно было разрешать делегирование не только для Microsoft Virtual System Migration Service, но и для cifs

    PS В кластере для всех операций AFAIK используется учетная запись кластера, а не хоста. Проверьте делегирование для нее.


    Слава России!

    29 июля 2013 г. 7:46
  • Подскажите где это проверить. А разве кластер не должен по умолчанию сразу работать после его сборки? Чтобы не приходилось его еще "допиливать напильником". Ведь Live Migration это ключевая фича Failover кластера. Но почему-то она не работает "из коробки". Кластер собрался без единой ошибки. В Failover Cluster Validation Report все зеленое без ошибок.
    29 июля 2013 г. 7:57
  • PS В кластере для всех операций AFAIK используется учетная запись кластера, а не хоста. Проверьте делегирование для нее.



    Нет, ноды с которой идет миграция. Я даже не заморачивался с делегированием для всех нод когда нужно было перенести машины из одного кластера в другой (потому что новая запись CD не сработает до перезагрузки хоста). Просто прописал на двух нодах CD (по одной из каждого кластера) и переезжал между ними.

    http://OpsMgr.ru/

    29 июля 2013 г. 8:02
    Отвечающий
  • Похоже, мы пишем про два разных случая: Вы - про миграцию между кластерами, я про миграцию внутри кластера (точнее я пересказываю вычитанное в документации - кластера Hyper-V на Win2012 у меня под руками нет, чтобы проверить).


    Слава России!

    29 июля 2013 г. 8:14
  • Подскажите где это проверить. А разве кластер не должен по умолчанию сразу работать после его сборки? Чтобы не приходилось его еще "допиливать напильником". Ведь Live Migration это ключевая фича Failover кластера. Но почему-то она не работает "из коробки". Кластер собрался без единой ошибки. В Failover Cluster Validation Report все зеленое без ошибок.

    Наверное, для диагностики имеет смысл включить аудит неудачных попыток входа в систему на хостах и аудит удачных и неудачных событий входа в систему в домене, и смотреть в журналах безопасности на хостах и КД, какие именно попытки входа и с какими учетными записями производятся. Плюс, имеет смысл посмотреть наличе ошибок Kerberos в журналах событий системы на КД. Так искать источник проблемы быстрее и надежнее, чем просто проверять все возможные места, где могла быть внесена ошибка.

    PS Но одно подозрительное место стоит проверить сразу: у Вас, случаем, не стоит ли в свойствах учетной записи, от имени которой Вы производите миграцию, флажок, что она не может быть делегирована?


    Слава России!


    • Изменено M.V.V. _ 29 июля 2013 г. 8:24 сабж
    29 июля 2013 г. 8:23
  • Аудит удачных и неудачных попыток включен как на Hyper-V хостах, так и на контроллерах домена. На контроллерах домена и на хостах Hyper-V в логах Security чисто. Никакой ругни, связанной с Live Migration нет. Только на хосте, с которого выполняется Live Migration в логе System регистрируется ошибка вида:

    Имя журнала:   System
    Источник:      Microsoft-Windows-Hyper-V-High-Availability
    Дата:          29.07.2013 13:28:36
    Код события:   21502
    Категория задачи:Отсутствует
    Уровень:       Error
    Ключевые слова:
    Пользователь:  система
    Компьютер:     hv-blade01.XXX.XX.XX.XX
    Описание:
    Live migration of 'Virtual Machine UPR19' failed.

    Virtual machine migration operation for 'UPR19' failed at migration source 'HV-BLADE01'. (Virtual machine ID 52EE5618-7FCF-4087-B85F-EFB17F03207E)

    The Virtual Machine Management Service failed to establish a connection for a Virtual Machine migration with host 'hv-blade03': The logon attempt failed (0x8009030C).

    The Virtual Machine Management Service failed to authenticate the connection for a Virtual Machine migration at the source host: The logon attempt failed (0x8009030C).
    Xml события:
    <Event xmlns=>
      <System>
        <Provider Name="Microsoft-Windows-Hyper-V-High-Availability" Guid="{64E92ABC-910C-4770-BD9C-C3C54699B8F9}" />
        <EventID>21502</EventID>
        <Version>0</Version>
        <Level>2</Level>
        <Task>0</Task>
        <Opcode>0</Opcode>
        <Keywords>0x2000000000000000</Keywords>
        <TimeCreated SystemTime="2013-07-29T10:28:36.010433900Z" />
        <EventRecordID>6863</EventRecordID>
        <Correlation />
        <Execution ProcessID="5360" ThreadID="2964" />
        <Channel>System</Channel>
        <Computer>hv-blade01.XXX.XX.XX.XX</Computer>
        <Security UserID="S-1-5-18" />
      </System>
      <EventData>
        <Data Name="ResourceName">Virtual Machine UPR19</Data>
        <Data Name="ResourceGroup">UPR19</Data>
        <Data Name="Message">Live migration of 'Virtual Machine UPR19' failed.

    Virtual machine migration operation for 'UPR19' failed at migration source 'HV-BLADE01'. (Virtual machine ID 52EE5618-7FCF-4087-B85F-EFB17F03207E)

    The Virtual Machine Management Service failed to establish a connection for a Virtual Machine migration with host 'hv-blade03': The logon attempt failed (0x8009030C).

    The Virtual Machine Management Service failed to authenticate the connection for a Virtual Machine migration at the source host: The logon attempt failed (0x8009030C).</Data>
      </EventData>
    </Event>

    29 июля 2013 г. 10:30
  • Покажите вкладку деленирования для учетной записи компьютера hv-blade01


    Слава России!

    29 июля 2013 г. 10:39
  • При выкладывании изображений и ссылок мне пишется предупреждение "Основной текст не может содержать изображения и ссылки, пока ваша учетная запись не будет проверена". Поэтому даю немного измененную ссылку на Dropbox, да простят меня модераторы. https_www_dropbox_com/s/jizzny9i63of18d/01.jpg

    29 июля 2013 г. 11:40
  • Добавьте туда еще разрешение для делегирования для cifs на все эти компьютеры и для Virtual Migration Service и cifs для кластерной учетной записи (и, для надежности, перезагрузите хост, чтобы разрешения применились).


    Слава России!

    29 июля 2013 г. 11:57