none
S2D настройка RDMA RRS feed

  • Вопрос

  • Всем привет, не получается настроить RDMA в кластере S2D

    Каждый сервер имеет 2 интерфейса: 1 маршрутизируемый на скорости 1G , 2 не маршрутизируемый на скорости 10G 

    Сетевые адаптеры HP 546SFP+ на базе Mellanox ConnectX-3 Pro подключены в свитч Dell PowerConnect 8024f

    Настройки свитча:

    no flowcontrol
    interface Te1/0/10
    datacenter-bridging
    priority-flow-control mode on
    priority-flow-control priority 3 no-drop
    exit
    description "node1"
    mtu 9216
    
    interface Te1/0/20
    datacenter-bridging
    priority-flow-control mode on
    priority-flow-control priority 3 no-drop
    exit
    description "node2"
    mtu 9216

    Настройка RDMA на самих нодах:

    Install-WindowsFeature "data-center-bridging"

    Set-NetQosDcbxSetting -Willing 0 -Confirm:$false

    New-NetQosPolicy "SMB" –NetDirectPortMatchCondition 445 –PriorityValue8021Action 3

    Disable-NetQosFlowControl –Priority 0,1,2,4,5,6,7

    Enable-NetAdapterQos –InterfaceAlias "Lan1 with RDMA"

    Set-MlnxDriverCoreSetting -RoceMode 1.0 -Confirm:$false

    Вывод диагностических комманд:

    PS C:\Users\sensei> Get-NetAdapterRDMA

    Name                      InterfaceDescription                     Enabled
    ----                      --------------------                     -------
    Lan2 with RDMA            HP Ethernet 10G 2-port 546SFP+ Adapte... True
    Lan1 with RDMA            HP Ethernet 10G 2-port 546SFP+ Adapter   True
    vEthernet (Internal)      Hyper-V Virtual Ethernet Adapter #2      False
    vEthernet (Trunk)         Hyper-V Virtual Ethernet Adapter         False

    PS C:\Users\administrator> netstat.exe -xan | ? {$_ -match “445”} на второй ноде ситуация аналогичная
      Ядро        11 Прослушиватель 10.100.100.1:445       Н/Д                    0
    PS C:\Users\administrator> Get-SmbMultichannelConnection
    PS C:\Users\administrator> Get-NetOffloadGlobalSetting | Select NetworkDirect

    NetworkDirect
    -------------
          Enabled


    Виртуальные машины работают на маршрутизируемом адаптере , а для кластера хочу сделать 10G

    по всем параметрам вроде везде True ,  но в системном мониторе не вижу получения \ передачу данных RDMA все по нулям.... 

    Есть ряд вопросов:

    1. Для RDMA надо делать виртуальный свитч? или можно для кластера оставить физ интерфейсы

    2. Как можно сгенерировать нагрузку RDMA чтобы проверить работоспособность? при миграции также не вижу передачу данных RDMA

    3. может что-то не так делаю?


    • Изменено next40 26 мая 2017 г. 20:36