none
failover cluster hyper-v iscsi csv ужасно тормозит RRS feed

  • Вопрос

  • Нужна срочно помощь ни как не пойму в чем дело

    Имеется СХД Netgear 2120 а ней настроен два LUN один на 1Tb для виртуалки ,второй на 10 Гб под кворум

    2 блейд сервера HP BL360  в корзине , на корзине свитч напрямую соединен с СХД

    Развернул Failover Cluster, Hyper-v по инициализатору iSCSI подцепил диски, добавил MPIO все нормально работает

    Live Migration работает виртуалка тоже, Но жуткие тормоза и не пойму из-за чего.

    Причем мне кажется что тормозит именно Hyper-v служба

    Пример приведу такой захожу в управление Hyper-v нажимаю создать жесткий диск размером 1 Гб если я прописываю путь локальный на сервере то диск создается в 5 секунд если указываю CSV C:\ClusterStorege\Voleum1 то эта операция будет идти около 20-30 минут. Хотя если создать диск локально а потом скопировать его на C:\ClusterStorege\Voleum1 то операция так же занимает около 5 секунд значит СХД и сеть получается ни причем.

    Соответственно когда работает виртуалка я на ней поставил SQL то операция которая должна занимать 20 минут занимает около 3 часов.

    Подскажите где копать !!!

    22 января 2014 г. 6:36

Все ответы

  • Нужна срочно помощь ни как не пойму в чем дело

    Имеется СХД Netgear 2120 а ней настроен два LUN один на 1Tb для виртуалки ,второй на 10 Гб под кворум

    2 блейд сервера HP BL360  в корзине , на корзине свитч напрямую соединен с СХД

    Развернул Failover Cluster, Hyper-v по инициализатору iSCSI подцепил диски, добавил MPIO все нормально работает

    Live Migration работает виртуалка тоже, Но жуткие тормоза и не пойму из-за чего.

    Причем мне кажется что тормозит именно Hyper-v служба

    Пример приведу такой захожу в управление Hyper-v нажимаю создать жесткий диск размером 1 Гб если я прописываю путь локальный на сервере то диск создается в 5 секунд если указываю CSV C:\ClusterStorege\Voleum1 то эта операция будет идти около 20-30 минут. Хотя если создать диск локально а потом скопировать его на C:\ClusterStorege\Voleum1 то операция так же занимает около 5 секунд значит СХД и сеть получается ни причем.

    Соответственно когда работает виртуалка я на ней поставил SQL то операция которая должна занимать 20 минут занимает около 3 часов.

    Подскажите где копать !!!


    Так же посмотрел журнал ошибок пишет error 28  с MAC адресами что то из-за этого может или нет
    22 января 2014 г. 10:05
  • Ау тут кто не будь мне ответит
    23 января 2014 г. 5:53
  • jumbo buffer включен ? какие физ.адаптеры на серверах?

    конфигурация вирт.сети какая? 


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    23 января 2014 г. 9:28
  • На каждом сервере 2 сетевых адаптера

    HP FlexFabric 10Gb 2-port 554FLB Adapter

    HP FlexFabric 10Gb 2-port 554FLB Adapter#2

    Тип виртуальной сети Внешнея

    сетевая карта

    HP FlexFabric 10Gb 2-port 554FLB Adapter#2

    Разрешить совместное использование этого сетевого адаптера управляющей операционной системой

    Галка стоит

    Насчет jumbo buffer сейчас выясняю пока не знаю где посмотреть

    в расширенных настройка сетевой про это только Packet Size=1514

     Позвонил в HP скоро должны ответить

    23 января 2014 г. 11:28
  • jumbo buffer включен ? какие физ.адаптеры на серверах?

    конфигурация вирт.сети какая? 


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


    На каждом сервере 2 сетевых адаптера

    HP FlexFabric 10Gb 2-port 554FLB Adapter

    HP FlexFabric 10Gb 2-port 554FLB Adapter#2

    Тип виртуальной сети Внешнея

    сетевая карта

    HP FlexFabric 10Gb 2-port 554FLB Adapter#2

    Разрешить совместное использование этого сетевого адаптера управляющей операционной системой

    Галка стоит

    Насчет jumbo buffer сейчас выясняю пока не знаю где посмотреть

    в расширенных настройка сетевой про это только Packet Size=1514

     Позвонил в HP скоро должны ответить

    23 января 2014 г. 11:29
  • jumbo buffer отключен
    23 января 2014 г. 13:04
  • Ок. Надеюсь, что все компоненты+ОС up to date? 

    Jumbo buffer включите и протестируйте работу. Более подробно по ссылке ниже.

    Jumbo frames should be turned on and set for 9000 or 9014 (depending on your hardware) for CSV, iSCSI and Live Migration networks. This can significantly increase (6x increased throughput) throughput while also reducing CPU cycles.

    • End-to-End configuration must take place – NIC, SAN, Switch must all support Jumbo Frames.

    • .....

    http://blogs.technet.com/b/askpfeplat/archive/2013/03/10/windows-server-2012-hyper-v-best-practices-in-easy-checklist-form.aspx : раздел  Physical Nic's

    ----

    Дополнительно:

    Попробуйте отключить VMQ (код просто как пример):

    Get-NetAdapter *|Disable-NetAdapterVmq

    + Offload Settings на адаптерах (код просто как пример)

    Set-NetAdapterAdvancedProperty * -DisplayName "IPSec Offload","IPv4 Checksum Offload","TCP Checksum Offload (IPv4)","UDP Checksum Offload (IPv4)","Large Send Offload Version 2 (IPv4)" -DisplayValue "disabled"

    Всё поэтапно делаете и проверяете, если не помогает - возвращаете в исх.состояние и делаете след. пункт. Всё сразу не надо применять)


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


    23 января 2014 г. 14:41
  • Роман понять бы теперь это на всех сетевых картах это делать.

    Или только на физических

    Или только на виртуальной

    24 января 2014 г. 8:10
  • Роман понять бы теперь это на всех сетевых картах это делать.

    Или только на физических

    Или только на виртуальной

    Всё относится только к физике

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    24 января 2014 г. 8:38
  • А Offload Settings тоже поэтапно отключать  сначала одно свойство потом второе

    Я отключил все Offload Settings скорость заметно выросла с 6 до 30 Мб/с но и падает тоже быстро

    Я копирую файл с виртуального диска на виртуальный диск размер порядка 17 Гб когда остается ему скопировать 6,74 гб скорость упала до 15 Мб/с.

    Jumbo buffer включил на скорость копирования ни как не повлияла ping 192.168.2.11 -f -l 6000

    проходят.

    Но судя по тому что скорость увеличилась после отключения Offload Settings то копаем правельно

    24 января 2014 г. 9:06
  • Виртуальный жесткий диск тоже создается быстрее но не намного

    24 января 2014 г. 9:41
  • Роман есть какие не будь еще предложения.

    Меня единственное что еще напрягает что у меня на этом сервере и Hyper-v и AD вместе работают я прочитал на форума что при AD выключается кэширование диска я включил кэширование но не помогло.

    27 января 2014 г. 6:44
  • Роман есть какие не будь еще предложения.

    Меня единственное что еще напрягает что у меня на этом сервере и Hyper-v и AD вместе работают я прочитал на форума что при AD выключается кэширование диска я включил кэширование но не помогло.

    Добрый день! Времени на ответ даже нет :) 

    Попробуйте: 

    http://kb.netgear.com/app/answers/detail/a_id/22804

    + обновите сервера 

    + не указали ОС. а я не спросил)

    AD лучше виртуализировать


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    27 января 2014 г. 9:57
  • http://kb.netgear.com/app/answers/detail/a_id/22804

    Последняя стоит

    ОС Windows Server 2008 R2

    Все обновления стоят

    27 января 2014 г. 10:00
  • http://kb.netgear.com/app/answers/detail/a_id/22804

    Последняя стоит

    ОС Windows Server 2008 R2

    Все обновления стоят

    fw + драйвера последние. правильно я понимаю?

    тест конфигурации кластера проводили?


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


    27 января 2014 г. 10:08
  • fw сегодня уточню и про драйвера тоже.

    Что касаемо теста кластера есть предупреждения попробую убрать их если не смогу напишу.

    27 января 2014 г. 10:33
  • И так Роман что удалось выяснить все обновил поставил на сервера ssp.

    Не помогло но сделал небольшой тест.

    Создал на СХД новый LUN подцепил его к серверам

    Начал создавать vhd на него все классно потом добавил диск в кластер

    Тоже классно как только я сделал из него CSV то тут он начал тормозить.

    То есть дело точно в CSV как на него повлиять я не знаю.

    Тесты кластера все пройдены успешно.

    30 января 2014 г. 9:59
  • Причем фай жесткого диска если его просто копировать в CSV отлично копируется но создается или работают в нем файлы медленно.
    30 января 2014 г. 10:43
  • И так Роман пишу протестировал все понял в чем ошибка но как решить ее пока не знаю надеюсь на вас.

    По перемещал vhd в разные места и могу сказать с точностью что проблема в iscsi

    То есть я копирую VHD на наш СХД просто в паку все программа летает как только я подключаю iscsi LUN

    не подключая его к кластеру просто инициализировал и отформатировал его выкладываю туда VHD все sql и виртуалка начинает тормозить.

    30 января 2014 г. 18:46
  • Ауууу есть кто не будь

    3 февраля 2014 г. 6:01
  • У Вас, как я понимаю, iSCSI-траффик ходит вместе (через одни и те же адаптеры, свитчи и т.д.) с обычным сетевым. Это не правильно, ведь у Вас не loseless ethernet).


    Сергей Панченко

    4 февраля 2014 г. 18:48
  • Что то инженеров из HP и Netgear это не очень интересовало

    Вообще связка такая свитч в корзине напрямую в хронику + отдельная подсеть на этой ситевухе

    По мне дело в  Netgear они постоянно мне какие-то обновления просили ставит дошли до последнего оно вообще еще RC но чуда так и не случилось.

    Пока сделал на этой хранимке обычную SMB шару запихнул туда виртуальный диск VHD а файл виртуалки оставил на CSV, и все работает и Live Migration  том числе скорость супер

    6 февраля 2014 г. 6:34
  • Любой инженер HP/Netgear будет настаивать на обновлении всего оборудования и после разбираться с конкретной проблемой,если она останется. Скиньте,пожалуйста, модель ethernet-адаптера, который на iSCSI смотрит. MPIO настраивали ведь? 

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    6 февраля 2014 г. 11:18
  • HP FlexFabric 10Gb 2-port 554FLB Adapter

    MPIO настроено

    6 февраля 2014 г. 12:36
  • Вообще связка такая свитч в корзине напрямую в хронику + отдельная подсеть на этой ситевухе
    Подсеть - это VLAN? А обычный сетевой траффик через эти свитчи корзинные ходит?! Или у вас отдельные свитчи для сетевого траффика и отдельные - для траффика iSCSI?

    Сергей Панченко

    6 февраля 2014 г. 16:39
  • HP FlexFabric 10Gb 2-port 554FLB Adapter

    HP ProLiant Server Support

    HP ProLiant BL460c Gen8
    HP ProLiant BL420c Gen8
    HP ProLiant BL465c Gen8
    HP ProLiant BL660c Gen8
    HP ProLiant WS460c Gen8

    Supported Interconnect Modules

    HP Virtual Connect Flex-10 Ethernet Module
    HP Virtual Connect FlexFabric 10Gb/24-port Module
    HP 1/10Gb Virtual Connect Ethernet Module
    HP 1/10Gb-F Virtual Connect Ethernet Module HP
    HP 6120XG Blade Switch
    HP 6120G/XG Blade Switch
    HP 6125G/XG Ethernet Blade Switch
    HP 1:10Gb Ethernet BL-c Switch
    Cisco Catalyst 3120G Blade Switch for HP
    Cisco Catalyst 3120X Blade Switch for HP
    Cisco Catalyst 3020 Blade Switch
    Cisco Fabric Extender B22HP for HP
    HP GbE2c Layer 2/3 Ethernet Blade Switch
    HP 10GbE Pass-Thru Module
    HP 1GbE Pass Thru Module

    Определитесь с железом. Даю 99,9%, что все это хозяйство работает через HP Virtual Connect. Может стоит в нем посмотреть?

    6 февраля 2014 г. 21:01
  • Вот такой вот у меня и чего можно в нем посмотреть

    http://www.ritm-it.ru/serveri/hp/opciu/hpso_blade/571956-B21-75582.htm

    По логам инженеры HP сказали что все ok

    И самое главное что есть знакомые купили такую же конфигурацию проблема один в один.

    7 февраля 2014 г. 6:28
  • По опыту решения некоторых кейсов, связанных с оборудование HP,включая и Virtual Connect. Могу сказать так, что проблема всегда с большей вероятностью именно на хостах. Это либо драйвер/прошивасетевого адаптера или его настройки, либо отсутствие хотфиксов необходимых. + после обновления в авт.режиме (HP SUM) встречался с синими экранами на нодах :)..опять всё из-за драйверов и приходиться их фиксить/донастраивать.

    P.S. проблемы с драйверами у hp - это уже не новость. по крайней мере, для меня.


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    7 февраля 2014 г. 6:46
  • Ok спасибо буду иметь ввиду.

    Если будут какие не будь новости отпишусь

    а пока offtop  

    7 февраля 2014 г. 7:30
  • Вот такой вот у меня и чего можно в нем посмотреть


    http://h20000.www2.hp.com/bc/docs/support/SupportManual/c02533991/c02533991.pdf
    • Предложено в качестве ответа R.LevchenkoMVP 15 мая 2014 г. 11:59
    7 февраля 2014 г. 11:09
  • Решили вопрос с подключением по iSCSI?

    Мне интересно как производители рекомендуют виртуализацию на своем железе, если они не поддерживают SAS?

    Hardware Compatibility List Hard Disks

    У нас такое же состояние работы VM по iSCSI только без кластера и на моделе Netgear 3220 с дисками WDC4000F9YZ (6 шт в raid 5).

    У нас Response Time высокий (более 50) для двух тестовых ВМ. Это говорит о том, что диски SATA не рассчитаны на такую нагрузку по IOPs.

    По калькулятору получается

    Results:

    RAID Type: RAID 5 (Stripe set with parity)
    Number of disks = 6
    Reads 30%, Writes 70%

    RAID Performance  = 145.161290322581 IO/s

    На NAS IOPs:

    READ - 500

    WRITE - 800

    Выход:

    1) Получить документацию от производителя по рекомендуемой настройке Hyper-V (Windows Server 2012 R2) для работы по iSCSI. В стандарной документации на портале такой информации нет.

    2) Пробовать SMB.

    Буду писать в тех. поддержку netgear!


    Have a nice day !!!

    27 июня 2014 г. 8:37