none
создание кластера Hyper-V RRS feed

  • Вопрос

  • Имеется Windows Server 2012 R2 Datacenter подключённым iSCSI диском (10.10.10.9) через две сетевые карты.

    Get-IscsiConnection
    
    ConnectionIdentifier : ffffe001c5f22020-0
    InitiatorAddress     : 10.10.10.12
    InitiatorPortNumber  : 2240
    TargetAddress        : 10.10.10.9
    TargetPortNumber     : 3260
    PSComputerName       :
    
    ConnectionIdentifier : ffffe001c5f22020-1
    InitiatorAddress     : 10.10.10.10
    InitiatorPortNumber  : 2496
    TargetAddress        : 10.10.10.9
    TargetPortNumber     : 3260
    PSComputerName       :
    
    Get-MPIOAvailableHW
    
    VendorId ProductId        IsMultipathed   IsSPC3Supported BusType
    -------- ---------        -------------   --------------- -------
    IET      VIRTUAL-DISK     True            False           iSCSI

    виртуальные машины со следующими ролями:

    VM1 - domain controller, WS 2012 R2
    VM2 - RAS, WS 2012 R2
    VM3 - RAS, WS 2016
    VM4 - NPS, AD Azure Connect, WS 2012 R2
    VM5 - Team Foundation Server 2017, SQL 2016, WS 2012 R2
    VM6 - SCCM 2016, WS 2016
    VM7 - RSAT server, WS 2012 R2
    VM8, VM9, VM10 - Linux Debian

    Всё это добро работает два года, и сегодня Hyper-V хост внезапно сломался - перестал отвечать на запросы, VM недоступны, IMPI показывает чёрный экран и на команды не отвечает. Помог ресет сервера...

    Во избежание подобного случая в будущем было принято реализовать кластер Hyper-V (вторая нода на WS 2016 будет, потом и первую на неё переведём). Несколько вопросов:
    1 - можно ли свидетеля кластера расположить на сервере, который предоставляет iSCSI диск? или облачный свидетель тоже подойдёт?
    2 - сейчас всё работает через две гигабитные сети с Multipath. Для кластера нужно будет выделить отдельную сеть, тогда всё будет работать на одной гигабитной, что резко снизит производительность. Можно ли создать кластер использую только одну сеть?
    3 - можно использовать CVS кластер при наличии iSCSI диска?
    4 - можно будет некоторые VM расположить на второй ноде?

    Спасибо!

    31 июля 2017 г. 15:09
    Модератор

Ответы

  • 1. Cloud witness - это новая фича, появившаяся в Win2016. Так что - сами понимаете: не для Win2012R2 это.

    Но если у вас есть хранилище iSCSI и хотя бы 512 МБ под новый LUN на этом хранилище, то почему бы вам не сделать диск-свидетель и не использовать его для формирования кворума?

    2.  В принципе кластер может использовать и одну сеть, и общую с iSCSI сеть (хотя мастер такого по умолчанию не предлагает) - только в первом случае вопрос будет в устойчивости (возникает точка единственного отказа - эта самая сеть), а во втором - в производительности. Так что выбирайте - что вам важнее. А с учётом использования CVS производительность наверняка будет узким местом - раз уже сейчас оно узкое: в CVS часть операций идёт редиректом по сети через владельца тома. В частности - любые модификации файловой системы.

    Неужели нельзя добавить ещё по сетевому адаптеру и соединить их кросс-кабелем?

    3. Можно - если вообще это хранилище можно для кластера использовать (т.е. есть поддержка SCSI-3 persistent reservation). CVS никаких особых дополнительных требований не накладывает.

    4. Конечно! И перемещать их можно с хоста на хост в онлайне, включенными (только не в период пиковых нагрузок желательно) - это называется Live Migration.


    Слава России!

    • Предложено в качестве ответа Vector BCOModerator 1 августа 2017 г. 5:20
    • Помечено в качестве ответа AnahaymModerator 10 августа 2017 г. 15:03
    31 июля 2017 г. 15:51
  • вообщем, пока ждал одобрения от начальства на новые сервера, поставщик прислал предложение со старым процессором. В итоге берём один сервер... Памяти ещё увеличим до 64 GB.
    2 августа 2017 г. 10:07
    Модератор

Все ответы

  • 1. Cloud witness - это новая фича, появившаяся в Win2016. Так что - сами понимаете: не для Win2012R2 это.

    Но если у вас есть хранилище iSCSI и хотя бы 512 МБ под новый LUN на этом хранилище, то почему бы вам не сделать диск-свидетель и не использовать его для формирования кворума?

    2.  В принципе кластер может использовать и одну сеть, и общую с iSCSI сеть (хотя мастер такого по умолчанию не предлагает) - только в первом случае вопрос будет в устойчивости (возникает точка единственного отказа - эта самая сеть), а во втором - в производительности. Так что выбирайте - что вам важнее. А с учётом использования CVS производительность наверняка будет узким местом - раз уже сейчас оно узкое: в CVS часть операций идёт редиректом по сети через владельца тома. В частности - любые модификации файловой системы.

    Неужели нельзя добавить ещё по сетевому адаптеру и соединить их кросс-кабелем?

    3. Можно - если вообще это хранилище можно для кластера использовать (т.е. есть поддержка SCSI-3 persistent reservation). CVS никаких особых дополнительных требований не накладывает.

    4. Конечно! И перемещать их можно с хоста на хост в онлайне, включенными (только не в период пиковых нагрузок желательно) - это называется Live Migration.


    Слава России!

    • Предложено в качестве ответа Vector BCOModerator 1 августа 2017 г. 5:20
    • Помечено в качестве ответа AnahaymModerator 10 августа 2017 г. 15:03
    31 июля 2017 г. 15:51
  • 1 - это я и спрашивал. сделаем LUN в хранилище
    2 - я узнаю о возможности ещё одной сетевой карты, но думаю это будет невозможно... старались экономить на всём подряд. Сервер 1U.
    31 июля 2017 г. 19:21
    Модератор
  • Посмотрел я на выдачу команд powershell - и они мне не понравились.

    А именно - ISCSI3Supporetd=False в выдаче Get-MPIOAvailableHW

    Очень рекомендую, прежде чем что-то закупать, либо взять с вендора подписку, что это хранилище могёт SCSI-3 Persistent reservation, либо завести там LUN и с помощью мастера валидации кластера (после установки компонента Failover Cluster) проверить, что этот LUN проходит тесты (в принципе, если исключить из проверки рабочий LUN, то можно проверять и на рабочем сервере, особенно если далать только тесты группы Storage - собственно, только они вам и нужны пока).

    Ну и ещё. Лично я не знаю, сможет ли Win2016 войти в кластер Win2012R2. То, что последовательное обновление узлов работающего кластера с Win2012R2 на Win2016 поддерживается - это я знаю, а вот за сценарий с вводом нового узла  кластер сразу под Win2016 ничего сказать не могу. Может, более знающие люди, вроде R.Levchenko, которые тут иногда бывает, подскажут.


    Слава России!

    31 июля 2017 г. 19:55

  • Ну и ещё. Лично я не знаю, сможет ли Win2016 войти в кластер Win2012R2. То, что последовательное обновление узлов работающего кластера с Win2012R2 на Win2016 поддерживается - это я знаю, а вот за сценарий с вводом нового узла  кластер сразу под Win2016 ничего сказать не могу. Может, более знающие люди, вроде R.Levchenko, которые тут иногда бывает, подскажут.


    Слава России!

    Всё будет ОК. In-Place upgrade узлов кластера как раз таки не рекомендуется.

    В этой статье есть такой пункт:

    In "Stage 2", two nodes have been paused, drained, evicted, reformatted, and installed with Windows Server 2016.

    Т.е. изначально подразумевается, что мы удаляем ноду из кластера и ставим туда чистый 2016 сервер и потом вводим этот узел в кластер. По сути это наш случай.

    1 августа 2017 г. 2:09
  • мы удаляем ноду из кластера и ставим туда чистый 2016 сервер и потом вводим этот узел в кластер. По сути это наш случай.

    кластера пока вообще нет. Как в этом случае лучше поступить?
    - создать кластер на 2016
    - перенести туда (импорт?) все VM
    - отформатировать 2012 R2 и ввести как вторую ноду?

    M.V.V. _ есть вероятность, что хранилище, это простой сервер с Linux Debain, а не специальная хранилка... Да, это простой сервер:

    Supermicro Mainboard X10SLH-F
    Intel 2-Core i3-4330 3,50GHz 4MB
    8 GB (2x 4GB) ECC DDR3 1600 1 Rank (Premium)
    х4 900 GB SAS II HGST 2,5" 10k
    Avago MegaRAID 9260-4i SAS2 4x intern
    и конфигурация Hyper-V сервера:
    Supermicro Mainboard X9SRL-F
    Intel Xeon 6-Core E5-2630v2 2,60GHz 15MB 7.20GT/s
    32 GB (4x 8GB) ECC Reg DDR3 1600 2 Rank (Premium)
    х4 1 TB SAS II Seagate Constellation ES.3 3,5" 7.2k (512n)
    Avago MegaRAID 9260-4i SAS2 4x intern
    1 августа 2017 г. 7:35
    Модератор
  • следущий вопрос.
    сейчас установлен процессор Intel Xeon 6-Core E5-2630v2 2,60GHz 15MB 7.20GT/s. Про выборе нового сервера можно купить процессоры E5-ХХХХv4, например Intel Xeon E5-2630v4 10-Core 2,2GHz 25MB 8GT/s. А так же устанавливается память DDR4. Обязательно ли, чтобы обе ноды имели абсолютно идентичную конфигурацию?
    1 августа 2017 г. 8:21
    Модератор
  • Насчет hardware-конфигурации хостов - желательно чтоб они имели одинаковые процессоры. Потому что виртуалка просто так не сможет переехать на другую ноду если на ней отличается поколение процессоров (имеется в виду Live-migration. Если виртуалку выключить - в этом случае она конечно же мигрирует). У разных процессоров могут отличаться наборы функций. Есть конечно такая штука в Hyper-V как режим совместимости процессора. Но тут надо понимать, что это может повлиять на производительность. По сути Hyper-V в этом режиме отключает у более свежего процессора ряд функций. Можно тут почитать:

    https://technet.microsoft.com/en-us/library/dn859550(v=ws.11).aspx

    Но в вашем случае может это и не критично - надо читать что нового в v4-процессорах.

    По поводу кластера - да, Вы описали вполне работоспособный вариант. Так а сейчас диски виртуальных машин расположены где? На Supermicro сервере? Или пока ещё локально на Hyper-V ноде?


    1 августа 2017 г. 9:18
  • Так а сейчас диски виртуальных машин расположены где? На Supermicro сервере? Или пока ещё локально на Hyper-V ноде?

    на сервере через iSCSI. Там и останутся. Т.е. пока мы будет настраивать отказоустойчивость Hyper-V без дисков. На дисках ноды хранятся ISO операционных систем и некоторые бекапы.

    надо тогда думать о замене действующего сервера...

    1 августа 2017 г. 9:27
    Модератор

  • на сервере через iSCSI. Там и останутся. Т.е. пока мы будет настраивать отказоустойчивость Hyper-V без дисков. На дисках ноды хранятся ISO операционных систем и некоторые бекапы.

    надо тогда думать о замене действующего сервера...

    Ну значит ещё проще - физически файлы переносить никуда не надо будет. И если приемлем вариант с незначительным простоем виртуальных машин - то ваш вариант по миграции на новый кластер подойдет.

    не понял фразу про отказоустойчивость Hyper-V без дисков

    1 августа 2017 г. 10:17
  • И если приемлем вариант с незначительным простоем виртуальных машин

    в выходной день всё приемлимо )

    не понял фразу про отказоустойчивость Hyper-V без дисков

    это значит, что это будет не High Available Cluster если сервер (iSCSI) отключится (такое был один раз, год назад)

    Сейчас решаю вопрос с процессором. Если у поставщика можно будет купить серевер со старым процессором - ок, если нет - надо будет обосновать как мы сможем использовать имеющийся сервер и купить два новых для кластера...

    1 августа 2017 г. 10:33
    Модератор
  • кластера пока вообще нет. Как в этом случае лучше поступить?
    - создать кластер на 2016
    - перенести туда (импорт?) все VM
    - отформатировать 2012 R2 и ввести как вторую ноду?

    M.V.V. _ есть вероятность, что хранилище, это простой сервер с Linux Debain, а не специальная хранилка...

    Можно начать с того, что на Win2012R2 поднять кластер из одного узла и добавить в него в качестве ролей существующие VM.

    Target на Linux (LIO), в принципе, судя по наличию гайдов по настройке в поисковике, поддерживает Persistent Reservation. Но, возможно, вам потребуется дополнительная настройка.


    Слава России!

    1 августа 2017 г. 10:57
  • Target на Linux (LIO), в принципе, судя по наличию гайдов по настройке в поисковике, поддерживает Persistent Reservation.
    да, админ сего сервера сказал, что что-то нужно будет подкрутить в Debian
    1 августа 2017 г. 11:01
    Модератор
  • какой лучше процессор взять:  E5-2630 v4 или E5-2630L v4 ? SCCM используется редко, в основом вся нагрузка на VPN и TFS. Второй процессор "экологичнее"

    1 августа 2017 г. 12:09
    Модератор

  • Сейчас решаю вопрос с процессором. Если у поставщика можно будет купить серевер со старым процессором - ок, если нет - надо будет обосновать как мы сможем использовать имеющийся сервер и купить два новых для кластера...


    Я бы на самом деле немного не так сделал. Если есть возможность купить более новый процессор - надо брать именно его. Да - сейчас для работы в кластере необходимо будет включить режим совместимости процессоров. Но этот режим просто отключает некоторые инструкции которые имеются в более новом процессоре. Зато вы получаете большее число ядер. При этом вы можете запланировать на следующий год (который уже меньше чем через пол года) докупить ещё аналогичный процессор/систему - чтобы в кластере были идентичные системы. А старую систему использовать под какие-нибудь нужны.

    Что про выбор между  E5-2630 v4 или E5-2630L v4. L-версия конечно же урезанная. "Более экологичная") - у вас дорогая энергия? Да и вы ж покупаете не пачку из 50 серверов. В энергопотреблении и тепловыделении разница будет несущественная от одного сервера. А вот частота у L-версии существенно ниже. Цена конечно тоже ниже, но если есть средства - то никаких "экологичных" версий я бы не советовал))

    2 августа 2017 г. 2:42
  • вообщем, пока ждал одобрения от начальства на новые сервера, поставщик прислал предложение со старым процессором. В итоге берём один сервер... Памяти ещё увеличим до 64 GB.
    2 августа 2017 г. 10:07
    Модератор