none
Выбор СХД и оценка выбора коммутаторов для Hyper-V кластера. RRS feed

  • Вопрос

  • Добрый день господа.

    Стоит следующая задача - перенести все сервисы компании в кластер Hyper-V.

    Под сервисами понимать: 6 серверов терминального доступа для обеспечения удалёнными рабочими местами 300 (в перспективе 350) сотрудников. Все сотрудники будут работать с 1С, коих серверов аж 5 штук. 1С общается с SQL объём рабочих баз которого состовляет 500ГБ, + базы разработки и тестирования - 2.5 ТБ. Ещё у нас есть 2 сервера Exchange 2010 работающих в кластере. Контроллер домена, разумеется. Сервер Lync 2010. В ближайшем будущем добавим несколько машин терминального доступа для общения избранных сотрудников с сетью (вообще интернета на терминалах нет). Сервер WSUS то же стоит.

    На данный момент план такой:

    Платформа - SuperMicro 6027R-N3RF (или аналог) - 6 единиц (хостов). Хосты укомплектованы: 2 процессора  E5-2670, ОЗУ - 128ГБ, 2 винчестера в массиве первого уровня, дополнительный сетевой адаптер I350-T2.

    СХД - LenovoEMC px12-450r NAS с дополнительным контроллером Intel X520-DA2, HDD - SAS Seagte Constelation ES3 2ТБ - 12шт. в массиве уровня 10.

    Сетевое оборудование:

    Коммутаторы Cisco SG500X-24-K9-G5 в стеке как между хостами и СХД так и между СХД и ZyWALL USG 100, который будет выступать в качестве аппаратного брандмауэра. СХД будет подключена к коммутаторам по линии шириной 10Гбит/с, хосты по двум  линиям шириной 1 Гбит/с.

    Работа должна быть обеспечена в режиме 24/365.

    Собственно вопрос - где косяк, если есть. Где чего не учёл. Может коммутаторов не хватит и надо уйти в сторону 10Гбит  Netgear, или вообще - Mellanox InfiniBand Switch. 

    Если есть вопросы - задавайте, с хорошими людьми всегда приятно пообщаться.

    12 октября 2013 г. 13:55

Ответы

  • Вы упретесь в производительность сетевой подсистемы серверов очень быстро. Нужно еще как минимум 4 адаптера.

    Приемлемой считаю следующую схему для кластеров с ролью Hyper-V, c iSCSI:
    Выделенные интерфейсы (VLAN или физика):
    1) Management + CAP + VCO
    2) Cluster + CSV
    3) Live Migration
    4) Storage
    5) Network Backup
    6) Virtual Machines

    Физические интерфейсы:
    NIC1+NIC2 (trunk) -> Team (promiscous) -> vSwitch (скрыт от родительского раздела)
    NIC3+NIC4 (trunk) -> Team -> нарезан на VLAN, см. ниже
    NIC5+NIC6 (access) -> not Teamed -> ввыключено использование этой сети кластером

    VLAN1: Management + CAP + VCO
    VLAN2: Backup
    VLAN3: Live Migration (QoS по порту 6600, с ограничением до 90%)
    VLAN4: Cluster + CSV

    12 октября 2013 г. 17:31
    Модератор

Все ответы

  • а вы уверены что одно схд на гигабите потянет такую нагрузку с sql базами 500+ гб и 300 юзеров? в сторону san не смотрели?

    12 октября 2013 г. 14:21
  • СХД будет подключена к коммутаторам по 2 линиям 10Гбит/с, 1 линия в один, вторая во второй. Коммутаторы в стеке.
    12 октября 2013 г. 14:30
  • а серверы?

    12 октября 2013 г. 15:01
  • Каждый хост подключён к коммутаторам со стороны СХД по 2 линиям 1Гбит/с, одна в один, вторая во второй. Со второй стороны так-же. Т. е. я предпологаю использовать 4 коммутатора, беру их одинаковыми, +1 в холодном резерве.
    12 октября 2013 г. 16:59
  • Вы упретесь в производительность сетевой подсистемы серверов очень быстро. Нужно еще как минимум 4 адаптера.

    Приемлемой считаю следующую схему для кластеров с ролью Hyper-V, c iSCSI:
    Выделенные интерфейсы (VLAN или физика):
    1) Management + CAP + VCO
    2) Cluster + CSV
    3) Live Migration
    4) Storage
    5) Network Backup
    6) Virtual Machines

    Физические интерфейсы:
    NIC1+NIC2 (trunk) -> Team (promiscous) -> vSwitch (скрыт от родительского раздела)
    NIC3+NIC4 (trunk) -> Team -> нарезан на VLAN, см. ниже
    NIC5+NIC6 (access) -> not Teamed -> ввыключено использование этой сети кластером

    VLAN1: Management + CAP + VCO
    VLAN2: Backup
    VLAN3: Live Migration (QoS по порту 6600, с ограничением до 90%)
    VLAN4: Cluster + CSV

    12 октября 2013 г. 17:31
    Модератор
  • Не совсем понятно назначение NIC5 + NIC6. Можно пояснить?
    14 октября 2013 г. 9:30
  • Это адаптеры, предназначенные для iSCSI-трафика. Тиминг для сети хранилища настраивать не совсем правильно, нужно использовать MPIO.

    14 октября 2013 г. 9:44
    Модератор
  • Вы имеете в виду СХД с аппаратной реализацией MPIO или программный, встроенный в WIN 2012?

    Под trunk вы понимаете агрегирование каналов аппаратными средствами с соотв. настройкой сетевых карт и коммутаторов или объединение сетевых карт по средствам ОС?

    Про ширину канала: как показывает мониторинг, на данный момент ширина канала в 1Гбит/с (125МБ/с) практически выработала свою ширину. Объединение двух линков даст мне в 2 раза больше. Хотя, сейчас, после предупреждений, задумался о реализации 10Гбит/с в обоих от хостов направлениях, найти бы коммутаторы соответствующие.

    14 октября 2013 г. 14:38
  • ~

    ~

    Каждый хост подключён к коммутаторам со стороны СХД по 2 линиям 1Гбит/с

    ~

    ~

     Если так, то в чем смысл 10 Gb СХД {--} коммутатор ?

    ~

    ~

    ==

     Объединение двух линков даст мне в 2 раза больше.

    ==

    ~

    Не факт

    ~

    ==

    Хотя, сейчас, после предупреждений, задумался о реализации 10Гбит/с

    ==

    ~

    ~

     Да, рекомендую 10Gb EtherNet  всюду в цепочке под iSCSI :

    N шт. Hyper-V Host[s]  {--} 2*коммутатор {--} СХД

    ~

    ~

     P.S.

    Кстати, а почему не рассматриваете blade?





    15 октября 2013 г. 13:51
  • -----Если так, то в чем смысл 10 Gb СХД {--} коммутатор ?

    Сейчас план - 6 хостов и СХД. В будущем кол-во хостов может увеличиться (перспектива развития). Канал в 10ГБит/с от коммутатора к СХД нужен для устранения узкого места. Это горлышко возникнет если и хосты и СХД подключить каналом с одинаковой шириной. 

    По поводу 10Gb, что скажите о NetGear XS712T, или XSM7224?

    -----Кстати, а почему не рассматриваете blade?

    Так то дороже выходит...

    15 октября 2013 г. 14:29
  • ~

    ~

    ==

    -----Если так, то в чем смысл 10 Gb СХД {--} коммутатор ?

    Сейчас план - 6 хостов и СХД. В будущем кол-во хостов может увеличиться (перспектива развития). Канал в 10ГБит/с от коммутатора к СХД нужен для устранения узкого места. Это горлышко возникнет если и хосты и СХД подключить каналом с одинаковой шириной. 

    ==

    ~

    Точно: есть смысл

    ~

    . . . о NetGear XS712T, или XSM7224?

    ==

    ~

    ~

     пока ничего ( впрочем, см. далее про blade)

    ~

    ~

    ==

    -----Кстати, а почему не рассматриваете blade?

    Так то дороже выходит...

    ==

    ~

    в составе blade обычно есть и 10Gb switch

    С учетом этого -- все равно дороже?

    ~

    P.S.

     в CISCO не 6000 серий точно есть NSO + SSF ?

    А то где-то видел "страшилки" про стекирование свитчей, при сбое одного switch-а из стека :

    -- iSCSI все-таки успевает "отвалиться" по timeout

    -- VM уходят в BSOD

    -- и т.д





    15 октября 2013 г. 15:57
  • А то где-то видел "страшилки" про стекирование свитчей, при сбое одного switch-а из стека :

    -- iSCSI все-таки успевает "отвалиться" по timeout

    -- VM уходят в BSOD

    -- и т.д

    Когда коммутаторы работают в стеке они представляются одним устройством. Далее настраиваем агрегирование каналов в пары (3-4) на разных устройствах. Таким образом при отваливании одного из коммутаторов соединение не теряется в принципе. Просто становится медленнее.

     в CISCO не 6000 серий точно есть NSO + SSF ?

    SG500X-24 (ну, или я там всё неправильно понял)...

    15 октября 2013 г. 17:15
  • ~

    ~

    ==

    В.М.>> 
    В.М.>> А то где-то видел "страшилки" про стекирование свитчей, при сбое одного switch-а из стека :
    В.М.>> 
    В.М.>> -- iSCSI все-таки успевает "отвалиться" по timeout
    В.М.>> -- VM уходят в BSOD
    В.М.>> -- и т.д
    В.М.>> 

    Когда коммутаторы работают в стеке они представляются одним устройством. Далее настраиваем агрегирование каналов в пары (3-4) на разных устройствах. Таким образом при отваливании одного из коммутаторов соединение не теряется в принципе. Просто становится медленнее.

    В.М.>> в CISCO не 6000 серий точно есть NSO + SSF ?

    SG500X-24 (ну, или я там всё неправильно понял)...

    ==

    ~

    ~

    >

    >соединение не теряется в принципе.

    >

     Еще к волшебным Ж-) словам NSO/SSF :

    "время конвергенции"

    16 октября 2013 г. 6:20