none
Как создать Failover Cluster c ролью Hyper-V и File Server с подключенным хранилищем по FC на 100Tb RRS feed

  • Общие обсуждения

  • Коллеги, приветствую!

    Перерыл кучу информации в интернете, знаю что эта тема уже не раз поднималась, но почему-то все равно не выходит каменный цветок... Надеюсь на вашу помощь.

    Итак есть 2 идентичных сервера Xeon E5-2620v4 (2 процессора), 64Gb ОЗУ  с двухпортовыми платами 10Gb Ethernet и Fibre Channel в каждом с предустановленной системой Windows Server 2016 Standart, СХД Hitachi настроенное одноименным специалистом и стек 10Gb'ых коммутаторов.

    Каждый сервера подключен одним линком к каждому коммутатору из стека, на коммутаторе порты собраны в LACP, на серверах подключения тоже собраны в тиминг в режиме LACP. СХД подключен к серверам напрямую, из каждого контроллера СХД один линк подключен в каждый сервер. На каждом сервере видны 25 LUN по 4Tb, которые отдает СХД.  Машины в домене.

    Задачка следующая: нужно собрать из этих серверов Failover Cluster и развернуть на нем роли File Server и Hyper-V на который в последующем планируется создать 2 виртуальные машины и перетащить на них контроллеры домена.

    Что делал: Добавил роль MPIO, в ее оснастке добавил наш дисковый массив на каждом сервере. Собрал на 1ой ноде дисковый пул из 25 LUN по 4 Tb общим объемом 100 Tb, создал 3 виртуальных диска под кворум - 8Gb, под виртуальные машины - 300Gb, под дисковое хранилище - весь оставшийся объем чуть меньше 100 Tb. Все создалось без проблем. Далее добавил роли  Failover Cluster, Hyper-V, File Server на каждом сервере. После добавления Hyper-V автоматически создалось виртуальное сетевое подключение, назначил на него IP-адрес, который до этого был на тиминге (на тиминге отключились почти все галочки в частности IPv4). А дальше пошли проблемы, с которыми я пока не могу разобраться.

    Вопросы:

    1) Нужны ли эти виртуальные адаптеры для создания кластера? Сколько их нужно и для каких целей? В первый раз у меня не получилось создать кластер с тиминговым сетевым адаптером, с вирутальным вроде нормально. Сейчас при валидации кластера выдает варнинг:

      Node DC-NAS02.GS.MEDIA is reachable from Node DC-NAS01.GS.MEDIA by only one pair of network interfaces. It is possible that this network path is a single point of failure for communication within the cluster. Please verify that this single path is highly available, or consider adding additional networks to the cluster.

    2) Основная проблема в том, что при валидации кластера диски СХД не проходят тесты. После прохождения тестов Windows выдает сообщение что необходимо перезагрузить сервер для восстановления их работоспособности, также в Server Manager'e в разделе дисковых пулов в свойствах пула отображается что свободно 64Gb из 100Tb, в свойствах LUN'ов тоже почти все дисковое пространство занято. Так же в первый раз пытался создать дисковый пул после добавления роли Hyper-V и в свойствах LUN отображалось, что половина пространства занято и пул созадвлся только на 50 Tb вместо 100. Помогите разобраться что делаю не так? Ниже репорт Validation тестов:

      No disks were found on which to perform cluster validation tests. To correct this, review the following possible causes:
      * The disks are already clustered and currently Online in the cluster. When testing a working cluster, ensure that the disks that you want to test are Offline in the cluster.
      * The disks are unsuitable for clustering. Boot volumes, system volumes, disks used for paging or dump files, etc., are examples of disks unsuitable for clustering.
      * Review the "List Disks" test. Ensure that the disks you want to test are unmasked, that is, your masking or zoning does not prevent access to the disks. If the disks seem to be unmasked or zoned correctly but could not be tested, try restarting the servers before running the validation tests again.
      * The cluster does not use shared storage. A cluster must use a hardware solution based either on shared storage or on replication between nodes. If your solution is based on replication between nodes, you do not need to rerun Storage tests. Instead, work with the provider of your replication solution to ensure that replicated copies of the cluster configuration database can be maintained across the nodes.
      * The disks are Online in the cluster and are in maintenance mode.
      No disks were found on which to perform cluster validation tests.

    23 октября 2018 г. 14:27

Все ответы

  • Коллеги, ну вы бы хоть на фиг послали. Тогда упрощу вопрос.

    Тогда ответьте хотя бы на вопрос: насколько правильно собирать в "Server Manager\File and Storage Services\Volumes\Storage Pools" (я так понимаю это тот самый Storage Spaces) дисковый пул из LUN'ов отдаваемых хранилищем Hitachi по Fibre Channel. И далее делать виртуальные тома из этого пула и использовать эти тома в кластере?

    25 октября 2018 г. 13:51
  • 1. Не нужны, если ты можешь отдельный линк отдать на HB и управление самим сервером. Если ты создаешь NIC TEAM для всех физ. адаптеров тогда без виртуальных тебе не обойтись, т.к. группа будет отдана виртуальному коммутатору.

    2. В твоем отчете черным по белому написано:

    * The disks are already clustered and currently Online in the cluster. When testing a working cluster, ensure that the disks that you want to test are Offline in the cluster. 

    Убери диски из кластера и запусти проверку - должна проверка пройти.

    3. Зачем тебе Storage Spaces если у тебя есть внешний сторадж там у тебя должно быть пусто.

    25 октября 2018 г. 15:29
  • Огромное спасибо за ответ! Если не трудно прокомментируйте еще следующие мои ответы:

    1. Получается у меня есть на каждом сервере два 1Gb и два 10Gb интерфейса. 10Gb интерфейсы собраны в Team LACP, я так понимаю, что могу собрать еще по одному Team на каждом сервере из 1Gb интерфейсов для HB и managment и этого кластеру будет достаточно? И как лучше собрать эти 1Gb интерфейсы тоже в LACP или Switch Independent и стоит ли их вообще собирать?

    2. На серверах на момент валидации кластера были только добавлены, но не настроены роли File Server, Hyper-V, Failover Clusterи и добавлен и настроен MPIO. Через оснастку "Server Manager\File and Storage Services\Volumes\Storage Pools" сконфигурен пул из 25 LUN и созданы виртуальные диски под Quorum, Hyper-V VMs и большой том для File Share. Больше нигде ничего не настроено, других серверов к хранилищу не подключено.  Поэтому я не могу понять откуда это сообщение вылезает. Диски были Offline на обоих серверах.

    3. Если я правильно понимаю оснастка "Server Manager\File and Storage Services\Volumes\Storage Pools" это и есть Storage Spaces. Тут собственно и главный вопрос как правильно собрать том для файловой шары. Через эту оснастку путем добавления всех дисков в пул и создание виртуального тома, либо просто в "Computer managment-Disk Managment" собрать все диски отдаваемые хранилищем в страйп. Скрины как диски выглядят в системе ниже: 

    https://social.technet.microsoft.com/Forums/getfile/1352419

    https://social.technet.microsoft.com/Forums/getfile/1352420

    https://social.technet.microsoft.com/Forums/getfile/1352421

    26 октября 2018 г. 11:03
  • 1. Почитай этот цикл статей и выбери то что тебе больше подходит, там описаны разные архитектуры.

    2. Я не совсем понял для чего ты используешь пулы, почему тебе не использовать CSV?

    3. Зачем тебе вообще Storage Spaces, он используется когда, когда у тебя  локальное хранилище или DAS (коллеги поправьте если я ошибаюсь), а у тебя есть SUN полка, зачем он тебе используй CSV.

    Какой ты профит хочешь получить от Storage Spaces, как по мне в твоем случае это нагромождение одной технологии на другую.


    • Изменено EFIMOVDI 26 октября 2018 г. 13:22
    26 октября 2018 г. 13:20
  • С сетями в принципе понятно.

    До Storage Spaces, я докопался исключительно из-за незнания матчасти и только сейчас до меня дошло, что это действительно не то, что мне нужно. 

    А задача передо мной стоит на самом очень простая и тривиальная. Собрать из двух серверов и старого хранилища Hitachi, подключенным напрямую в эти сервера по FC, файловый сервер для хранения медиаматериала (видео) с обеспечением отказоустойчивости. Ну т.е. по сути файловый сервер на базе файловер кластера.

    И основная задача над которой я ломаю голову, как правильно собрать том на 100 Tb для файловой шары на которой будут храниться медиаматериалы, если на сервера с хранилища данных отдаются 25 LUN'ов по 4 Tb. Ведь, если я правильно понимаю том должен быть собран на одном из серверов до создания кластера и собирать его нужно в стандартной оснастке Windows "Disk managment" через "New Stripped Volume".

    26 октября 2018 г. 14:55
  • Это у вас полка больше не выдает или ОС больше не видит?
    30 октября 2018 г. 14:36
  • Не то, не то. Дело в том, что хранилище достаточно старое, там не полка, а полноценное СХД со своими контроллерами и 16ю полками дисков. И из-за того, что хранилище старое, для обеспечения приемлемой отказоустойчивости инженером его настраивающим было принято решение часть диск убрать в холодный резерв, а из оставшихся собрать текущую конфигурацию, которая представляет из себя 25 LUN'ов.

    В общем специалисты говорят, что стандартными средствами Windows невозможно собрать один том и нужно стороннее ПО.

    30 октября 2018 г. 15:16
  • Может не совсем в тему, у меня получилось подружить Windows Server и большой объем диска только при загрузки Windows Server в режиме UEFI.
    28 ноября 2018 г. 7:48