none
Снижение производительности пула Storage Spaces после добавления пула в кластер RRS feed

  • Общие обсуждения

  • Добрый день, коллеги!
    Столкнулись с проблемой снижения производительности пула Storage Spaces после добавления пула в кластер. Именно после добавления в кластер. Если пул не добавлять в кластер, то проблем с производительностью нет.
    У нас есть два сервера с подключенным JBOD по SAS. На серверах установлена ОС Windows Server 2012 R2 Standard.
    Мы сформировали на одном из серверов пул из 72 SAS-дисков (12 SAS SSD 800 ГБ и 60 SAS HDD 1,2 ТБ). На пуле сформировали четыре Virtual Disks (Space) идентичной конфигурации: 2-way mirror, используется tiering, используется write back кэширование объёмом 1 ГБ, 4 colums, 64 КБ interleave. Также на пуле сформирован Virtual Disk для кворума (диск-свидетель) следующей конфигурации: 3-way mirror, не используется tiering, не используется write back кэширование, 4 colums, 128 КБ interleave.
    Проводили тестирование производительности обоих слоёв всех Virtual Disks (SSDTier и HDDTier) с помощью Iometer - результаты соответствовали нашим ожиданиям - высокие показатели IOPS, низкие задержки. Для тестирования SSDTier и HDDTier мы проводили pinning файлов: Set-FileStorageTier, затем Optimize-Volume -TierOptimize.
    Между двумя серверами мы создали Failover Cluster, проведя предварительную проверку, которая не выявила проблем. Затем мы добавили пул и все Virtual Disks в кластер. Назначили кластеру диск-свидетель.
    Когда мы стали проводить те же самые тесты с помощью Iometer, то заметили значительное снижение производительности всех Virtual Disk. Анализ показал, что снижение производительности происходит из-за сильно возросших задержек HDDTier (задержки увеличились примерно в 2-5 раз, начиная даже с queue depth = 1). Высокие задержки как на операциях чтения, так и на операциях записи, но чаще на операциях чтения, т.к. для записи работает WB на SSD, с которыми проблем нет, либо они незаметны на фоне высокой производительности SSD.
    Мы решили снова разобрать кластер и очистить всю конфигурацию пула Storage Spaces. Затем мы снова сформировали пул и Virtual Disks той же конфигурации, что и прежде. Провели тестирование производительности с помощью Iometer - всё показатели в норме.
    Далее создаём кластер и добавляем в кластер пул и диски. Проводим тестирование с помощью Iometer - задержки увеличены в 2-5 раз.
    В итоге мы несколько раз воспроизводили эту ситуацию - производительность HDDTier сильно снижается сразу после добавления пула в кластер.
    Мы также провели полное тестирование оборудования с помощью скрипта ValidateStorageHardware.ps1

    По результатам скрипта - проблем не обнаружено.

    Формирование пулов и VirtualDisk мы проводим всегда в соответствии с рекомендациями:

    • Количество дисков в пуле у нас не более 80-ти. Используется 72 диска.
    • Объём каждого VirtualDisk не более 10 ТБ.
    • VirtualDisk формировались с расчётом на FastRebuild - зарезервирован объём одного SSD и двух HDD.
    • Объём write back кэша 1 ГБ.
    • Кэширование на дисках отключено.

    Помогите, пожалуйста, разобраться в данной ситуации с кластером.

    Что мы уже пробовали делать:
    1. Проводили анализ, влияет ли наличие и объём write back кэширования на эту ситуацию. В итоге не влияет.
    2. Проводили анализ, влияет ли на эту ситуацию политика MPIO к SAS HDD - по умолчанию политика RR, пробовали менять на LB и на FOO. В итоге это также не влияет.
    3. Проводили анализ, влияет ли на эту ситуацию опция кэширования записи непосредственно на самих дисках - по умолчанию кэширование включено, мы сейчас отключили. Во втором своём проекте, где также Storage Spaces, с опцией кэширования на дисках у нас были проблемы с периодическими "прострелами" latency на операциях записи, которые решились после отключения кэширования на дисках. Но в нынешнем случае опция кэширования не влияет на ситуацию.
    4. Очистку кластера и пула делаем с помощью скрипта Clear-SdsConfig.ps1 (https://gallery.technet.microsoft.com/scriptcenter/Completely-Clearing-an-ab745947).
    13 февраля 2016 г. 13:51