none
Тестирование скорости RAID-массива RRS feed

  • Вопрос

  • Добрый день.

    Подскажите, пожалуйста, как я могу протестировать на серверах HP с утсановленной ОС Windows 2003 R2 скорость RAID-массива?

    Возникл ситуация, при которой требуется произвести различные тесты - ОЗУ, HDD, прцессора....

    Подскажите, какими программами вы пользуетесь? (данные с сервера уничтожать нельзя).

     

    Спасибо.

    11 октября 2010 г. 14:40

Ответы

  • В общем проблема на данный момент вроде бы решилась.

    Дело все было в КЕШэ на контроллере RAID-массива. У меня контроллер HP P400. Так вот, его кэш работал только на чтение - 100%. После его включения и установки четние/запись 50/50 %, операция пересчета 1С итогов стала запимать 3-4 минуты (ранее как я писал эта операция длилась 30-40 имнут).

    Удалось выяснить, что во время пересчета итогов, очень много операция ввода-вывода и поэтому из-за тормозов записи были такие проблемы.

    С решением проблемы мне помог сотрудник техподдержки HP.

     

    • Помечено в качестве ответа Goblany 27 октября 2010 г. 5:21
    27 октября 2010 г. 5:21

Все ответы

  • Обычно я FARом копирую данные в NUL, он показывает скорость копирования. Первое после рестарта копирование уж точно идёт некэшированное. Прогоняю как большие файлы (bkf), так и папку с множеством мелких. Можно также открыть группу FARов и начать конкурентное копирование.


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    11 октября 2010 г. 16:41
  • смотря для чего тестировать?

    если для рандомного IO- то тут "IO-METTER"

    можно использовать WINRAR- там встроенный тест есть для памяти.

     

    есть десктоп- FutureMARK(или...не помню как он называется, от разработчиков 3dmark'a)

    Можно EVEREST corp. Lic. - там для многого )

    12 октября 2010 г. 18:47
  • FAR

    Копирование файлов на серверах гдето в 5 раз медленнее, чем на моем ПК, причем копирование пробовал на разных дисках и RAID-массивах.

    Если у меня скорость в среднем 10-5 Мб/сек, то на сервере 2-3Мб/сек максимум.

     

    WINRAR

    на моем ПК выдал 650 примерно

    на серверах по 1200

     

    FutureMARK PCMark - новые версии нашел только под Vista, а мне надо XP + 2002 Server. Для 2003 я так понял вообще нет верии этой программы.

     

     

    EVEREST - не все RAID-массивы нашел...
    Те, что нашел примерно на 15 процентов показали себя хуже....

    13 октября 2010 г. 17:13
  • Если не секрет, начиная с какой версии WinRAR тестирует производительность RAID-массивов?

    Покажите фото распределения дискового пространства.


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    13 октября 2010 г. 20:10
  • У меня WINRAR 3.80.

    Не знаю как он мереет, но мне надо узнать скорость работы дисков... скорость RAID-массива.

    Вот ссылка на картинку, если Вы это имели ввиду?

     

    http://MoiDisk.ru/yqqvgrv85lys

    http://www.fayloobmennik.net/158475

     

    15 октября 2010 г. 7:15
  • Вижу несколько моментов.

    1. Программа WinRAR не занимается тестированием дисковых массивов. Максимум, она оценивает производительность процессора.

    2. Вообще, бросаться инсталлировать различные "нужные и важные" программы на сервер - наиболее быстрый и надёжный способ его убить.

    3. Исходя из представленного фото, у вас всего два шпинделя (кто из них является райд-массивом, неясно). На системном шпинделе создан единый раздел, покрывающий весь объём диска. Занято порядка 35 Гб из 150. Предположим, система и файл виртуальной памяти занимают 15 гб; что есть ещё 20 Гб - это вопрос.

    4. На втором шпинделе размером 460 Гб создан почему-то Extended Partition во весь диск (на скорость не влияет, но вообще это курьёз), данными занято порядка 400 Гб.

     

    Что осталось за кадром:

    - какого рода данные хранятся на разделах и как осуществляется конкурентный доступ к ним. Может, что-то постоянно дёргает дисковые головки туда-сюда, уже хотя бы поэтому FAR показал не более 3 Мб/с?

    - Что с фрагментацией этих разделов? Вообще, данные представляют собой несколько крупных файлов или множество мелких?

    - Неизвестен дип дисков. Производительность сильно разнится, SAS это, SCSI или SATA. Для серверов используются первые два типа, так как SCSI/SAS контроллер обладает достаточными вычислительными мощностями для обслуживания множества клиентов.

    - Неизвестен тип массива.

     

    Но даже если это был бы простой SATA-диск, чтение крупных файлов должно идти со скоростью порядка 80 Мб/с (один мегабайт размера внешнего цилиндра умножаем на 7200 оборотов в минуту, делим на 60 секунд. Получаем 120 Мебибайт/с для внешнего цилиндра, 60 для внутреннего, 80 типичное среднее значение); для множества мелких файлов на средней нагруженности диске это число может быть около 40-50 Мебибайт/с.

    Опишите точнее конфигурацию дисковой системы, посмотрите в дефрагментатор, опишите типы хранимых данных и характер доступа к ним. Если есть какие-то системные программы, способные влиять на скорость доступа к файлам - укажите и отключите их.


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    15 октября 2010 г. 7:48
  • Оба показанные диска - RAID1. Т.е. в сервере 2 диска по 150Гб и 2 по 500Гб. Соответсвенно, два RIAD-массива на 150 и 500Гб.

    С: - система + SQL 2008 + SCCM+ Print Server(4 принтера)+WSUS-сервер + антивирус-сервер. - соответственно по больше йчасти много маленьких файлов.

    D:\ - дистрибутивы, резервные копии в больших файлах от 5 до 130Гб. WSUS-базы. - соответственно в основном файлы большого размера.

    Дефрагментацию делал перед запуском расчетов.

    Котроллер: LASi Adapter, SAS 3000 Series, 4 port with 1064-E StorPort

    Какие то системный ограничения я не настраивал.

     

     

    =================================

    Я привел роль загруженного сервера. Есть сервер такой же конфигурации, на котором крутятся только AD+DNS+DHCP. На этом сервере показатели копирования такие же нихкие, хотя вроде ничего не крутится особенного.

    Диск D - только резервные копии и дистрибутивы. - в основном файлы большого размера

    Том  (C:)
        Размер тома                                = 148 ГБ
        Размер кластера                            = 4 КБ
        Занято                                     = 9,12 ГБ
        Свободно                                   = 139 ГБ
        Процент свободного места                   = 93 %

    Фрагментация тома
        Всего фрагментировано                      = 5 %
        Фрагментация файлов                        = 10 %
        Фрагментация свободного места              = 0 %

    Фрагментация файлов
        Всего файлов                               = 35 418
        Средний размер файла                       = 486 КБ
        Всего фрагментировано файлов               = 71
        Всего лишних фрагментов                    = 3 135
        В среднем фрагментов на файл               = 1,08

    Фрагментация файла подкачки
        Размер файла подкачки                      = 2,00 ГБ
        Всего фрагментов                           = 1

    Фрагментация папок
        Всего папок                                = 4 221
        Фрагментировано папок                      = 37
        Лишних фрагментов папок                    = 302

    Фрагментация MFT (Master File Table)
        Общий размер MFT                           = 53 МБ
        Счетчик записей MFT                        = 39 778
        Процент использования MFT                  = 73 %
        Всего фрагментов MFT                       = 2

    --------------------------------------------------------------------------------
    Фрагментов      Размер файла    Наиболее фрагментированные файлы
    1 507           226 МБ          \WINDOWS\system32\config\SecEvent.Evt
    413             8 МБ            \1SBDB_etalon\1SSBSEL.DBF
    223             16 МБ           \WINDOWS\system32\config\AppEvent.Evt
    138             12 МБ           \WINDOWS\system32\config\MOMLog.evt
    134             9 МБ            \WINDOWS\system32\config\SysEvent.Evt
    113             10 МБ           \1SBDB_etalon\1SCRDOC.CDX
    81              38 МБ           \1SBDB_etalon\1SACCSEL.DBF
    62              7 МБ            \Program Files\DrWeb Enterprise Suite\logs\drwupgrade.log
    58              17 МБ           \Documents and Settings\All Users\Application Data\Microsoft\Windows NT\NTBackup\catalogs51\3D48B0A3.V01
    44              11 МБ           \1SBDB_etalon\1SBKTTL.CDX
    39              60 МБ           \WINDOWS\Temp\OpsMgrTrace\TracingGuidsNative.etl
    29              128 КБ          \2\Program Files\Powerware\LanSafe\Help
    29              1 КБ            \Documents and Settings\admin_tsniis\ntuser.dat.LOG
    27              108 КБ          \1SBDB_etalon
    25              1 МБ            \WINDOWS\Debug\NtFrs_0005.log
    22              88 КБ           \1SBDB_etalon\ExtForms\RP09q4.grp
    20              80 КБ           \1SBDB_etalon\ExtForms\RP09q3.grp
    20              1 МБ            \WINDOWS\SchCache\server-ad1.Tsniis.com_389.sch
    19              76 КБ           \1SBDB_etalon\ExtForms\Rp07q4.grp
    19              76 КБ           \1SBDB_etalon\ExtForms\RP09q2.grp
    19              76 КБ           \1SBDB_etalon\ExtForms\Rp08q4.grp
    19              76 КБ           \1SBDB_etalon\ExtForms\RP09q1.grp
    19              76 КБ           \1SBDB_etalon\ExtForms\RP10q1.grp
    18              72 КБ           \1SBDB_etalon\ExtForms\Rp08q2.grp
    18              72 КБ           \1SBDB_etalon\ExtForms\Rp08q1.grp
    17              64 КБ           \WINDOWS\system32\wbem\Logs\wbemcore.lo_
    14              56 КБ           \2\Program Files\DrWeb Enterprise Suite
    14              833 КБ          \WINDOWS\Debug\NtFrs_0004.log
    12              48 КБ           \1SBDB_etalon\ExtForms\RP10q3.grp

    http://MoiDisk.ru/k24f8gmzgajs

    http://MoiDisk.ru/w3lli5epcv8y

     

    15 октября 2010 г. 8:30
  • А что с фрагментацией второго раздела? А диски какого типа? Отключите доктора и посмотрите производительность ещё раз.
    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    15 октября 2010 г. 9:05
  • Что значит какого типа? поясните?

    http://computers.dostavka.ru/Komplektuyushchie/Zhestkie-diski/SATA/HP-dlya-serverov-ProLiant-DL160G5-DL165G5-DL185G5-id_5855569

     

    ом  Новый том (D:)
        Размер тома                                = 465 ГБ
        Размер кластера                            = 4 КБ
        Занято                                     = 325 ГБ
        Свободно                                   = 140 ГБ
        Процент свободного места                   = 30 %

    Фрагментация тома
        Всего фрагментировано                      = 40 %
        Фрагментация файлов                        = 81 %
        Фрагментация свободного места              = 0 %

    Фрагментация файлов
        Всего файлов                               = 27 014
        Средний размер файла                       = 14 МБ
        Всего фрагментировано файлов               = 12
        Всего лишних фрагментов                    = 231 138
        В среднем фрагментов на файл               = 9,55

    Фрагментация файла подкачки
        Размер файла подкачки                      = 0 байт
        Всего фрагментов                           = 0

    Фрагментация папок
        Всего папок                                = 1 413
        Фрагментировано папок                      = 27
        Лишних фрагментов папок                    = 160

    Фрагментация MFT (Master File Table)
        Общий размер MFT                           = 46 МБ
        Счетчик записей MFT                        = 29 402
        Процент использования MFT                  = 62 %
        Всего фрагментов MFT                       = 2

    --------------------------------------------------------------------------------
    Фрагментов      Размер файла    Наиболее фрагментированные файлы
    61 108          9,08 ГБ         \Server_backup\Server-DS.bkf
    60 959          33,95 ГБ        \Server_backup\Server-EX.bkf
    60 210          10,16 ГБ        \Server_backup\Server-EXEC.bkf
    22 540          43,37 ГБ        \SystemBackup_2.bkf
    13 937          31,36 ГБ        \Server_backup\Server-AD2.bkf
    10 703          34,09 ГБ        \SystemBackup_1.bkf
    1 200           12,79 ГБ        \Server_backup\Disk_S_1C_Server-DS.bkf
    343             2,54 ГБ         \RECYCLER\S-1-5-21-2471441150-3065569132-3770019524-1312\Dd1\Server-ISA_1.bkf
    101             29,85 ГБ        \Резервные копии\B2D000029.bkf
    43              180 КБ          \7\Distrib\SCCM\SMSSETUP\AdminUI\XmlStorage\Forms
    41              34,64 ГБ        \NewBackUpDay_20090323.bkf
    18              72 КБ           \7\Distrib\Drivers\compaq\hpdiags
    17              72 КБ           \2
    15              64 КБ           \7\Distrib\SCCM\SMSSETUP\AdminUI\bin
    14              60 КБ           \7\Distrib\SCCM\SMSSETUP\AdminUI\bin\ru
    12              52 КБ           \7\Distrib\SCCM\SMSSETUP\BIN\I386
    6               28 КБ           \7\Distrib\SCCM\SMSSETUP\scripts\00000419\perf
    6               28 КБ           \7\Distrib\SCCM\SMSSETUP\scripts\00000409\perf
    6               11,53 ГБ        \Server_backup\Server-ISA.bkf
    5               24 КБ           \7\Distrib\Off2003-Disk1
    5               20 КБ           \7\Distrib\Drivers\compaq\hpsmh\data\htdocs\hpdiags\frontend2\js\ui
    5               20 КБ           \7\Distrib\Drivers\compaq\hp\hpsmh\data\htdocs
    4               16 КБ           \7\Distrib\SCCM\SMSSETUP\OSD\bin\I386
    4               16 КБ           \7\Distrib\Drivers\compaq\hpsmh\data\htdocs\hpdiags\frontend2\commands
    4               16 КБ           \7\Distrib\Drivers\compaq\hp\hpsmh\data\help\WEB_INF\cgi\var\en\proxy
    3               12 КБ           \7\Distrib\Drivers\Documents\SafetyInformation
    3               12 КБ           \7\Distrib\Drivers\compaq\hpsmh\data\htdocs\hpdiags\frontend2\images
    3               12 КБ           \7\Distrib\Drivers\compaq\hp\hpsmh\data\help\proxy\en
    2               8 КБ            \7\Distrib\SCCM\SMSSETUP\OSD\bin\x64
    2               8 КБ            \7\Distrib\SCCM\SMSSETUP\DeviceClientDeployment\ClientTransfer\00000419

    http://MoiDisk.ru/os1sjgmeiepu

     

     

     

     

     

     

    15 октября 2010 г. 9:36
  • Диски SATA, если верить вашей же ссылке.

    Нахожу, что 60 тысяч фрагментов для 9-Гб файла как-то многовато. Выполните полную дефрагментацию второго диска (да, это займёт весьма приличное время). И выполните то, что рекомендовал ранее. Будем посмотреть.


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    15 октября 2010 г. 9:58
  • Померил на нескольких серерах. Скорость указываю в Mb/s. Дефрагментация проведена, но я думаю даже без нее показатели очень слабые.

    Server- 1 - без антивируса
    D: 0,6 - большие  файлы - RAID1
    D: 0,37 - маленькие файлы - RAID1
    С: 1,2 - маленькие файлы - RAID1

    Server- 2 - с антивирусом
    D: 1 - большие  файлы - RAID1
    D: 0,75 - маленькие файлы - RAID1
    С: 0,55 - маленькие файлы - RAID1

    Server-3 - с антивирусом
    D: 3,6 - маленькие файлы - RAID1

    Server-4 - без антивируса
    F: 38 - большие файлы - RAID1
    e: 20 - большие файлы - RAID10
    C: 1.6 - маленикие  файлы - RAID1

    17 октября 2010 г. 17:10
  • И это всё при локальном копировании в NUL ?
    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    18 октября 2010 г. 10:29
  • И все при локальном копирование.

    Что такое в NUL?

    18 октября 2010 г. 16:51
  • Эээ.. как это "что такое"? А как вы проверяли скорость, в таком случае? Что конкретно нажимали в какой программе?
    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    18 октября 2010 г. 19:21
  • Утснавливал FAR Manager - 2.

    Открывал его и копировал файлы с диска на тот же диск, но в другую папку. Копировал как большие файлы (архивы) так и маленькие (Windows, Programm Files, Doc and Sett).

    19 октября 2010 г. 6:40
  • 11 октября 2010 года: "Обычно я FARом копирую данные в NUL, он показывает скорость копирования."

    Копирование на тот же диск - способ неверный. Он оценивает суммарную скорость сразу множества операций одновременно.


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    19 октября 2010 г. 10:37
  • Объясните, пожалуйста, что значит в NUL.

    19 октября 2010 г. 13:30
  • Системное зарезервированное слово, означающее "ничто". Нажмите в FARе F5 для копирования и в поле Copy To введите сразу три буквы NUL. Он будет копировать файлы с жёсткого диска в Никуда - тем самым, можно замерить скорость чистого считывания.
    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    19 октября 2010 г. 13:48
  • Сначала копируется медленно, а потом разгоняется

    Сервер 1 - антивирус
    C: 14-18 Mb/s - маленькие - RAID1
    D: 37-41 Mb/s - маленькие - RAID1
    D: 67-70 Mb/s - большие - RAID1

    Сервер 2 - антивирус
    C: 4-12 Mb/s - маленькие - RAID1
    D: 53 Mb/s - маленькие - RAID1
    D: 60-75 Mb/s - большие - RAID1


    Сервер 4 - НЕТ антивируса
    C: 25 Mb/s - маленькие - RAID1
    D: 14-33 Mb/s - маленькие - RAID10
    D: 85-90 Mb/s - большие - RAID10
    E: 20 Mb/s - маленькие - RAID10
    E: 64 Mb/s - большие - RAID10
    F: 18 Mb/s - маленькие - RAID1
    F: 80 Mb/s - большие - RAID1


    Сервер 7 - антивирус
    C:  Mb/s - маленькие - RAID1


    Мой комп - антивирус
    C: 22 Mb/s - маленькие
    D: 50 Mb/s - маленькие
    D: 87 Mb/s - большие

    21 октября 2010 г. 4:13
  • А цель всего этого какая?
    21 октября 2010 г. 5:52
    Модератор
  • Цель выснить, есть ли проблемами с RAID-массивами или нет.

    Почему появился такой вопрос. Было замесено, что расчет итогов в 1С идет на компьютере 7-10 минут. Тот же самый расчет на той же самой базе идет 30 минут. Я обратился к 1с-никам.. они советовали проверить различные настройки, замерить скорость работы 1С и пришли к выводу, что скорее всего проблема с RAID какя то.

    21 октября 2010 г. 9:31
  • Цифры более-менее допустимые, это не 1 Мб/с и даже не 5.

    Непонятно, что такое "расчет итогов в 1С идет на компьютере 7-10 минут. Тот же самый расчет на той же самой базе идет 30 минут" - переформулируйте ещё раз, что и где идёт как.

    Какие настройки они рекомендовали проверить? Как замеряли скорость? Исходя из какого технического параметра (цифра?)решили, что проблема с RAID?


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    21 октября 2010 г. 16:05
  • Непонятно, что такое "расчет итогов в 1С идет на компьютере 7-10 минут. Тот же самый расчет на той же самой базе идет 30 минут" - переформулируйте ещё раз, что и где идёт как.

    Тут я имел ввиду, что есть некая база 1С. Я копирую ее к себе на мвой компьютер (или на любой офисный компьютер в сети) и локально (не по сети) запускаю операцию пересчета итогов. Вот такой расчет на обыкновенном офисном компьютере занимает 7-10 минут.

    Тот же самый расчет на сервере - когда я копирую туже самую базу на сервер и запускаю тот же самый расчет локально на сервере - занимает 30 и более минут.

     

    Какие настройки они рекомендовали проверить? Как замеряли скорость? Исходя из какого технического параметра (цифра?)решили, что проблема с RAID?

    Я обращался к 1С-никам на форуме

    http://www.1c-pro.ru/index.php?showtopic=26791&st=0

     

    Он рекомендовали сделать некий замер стандартными средствами 1С. Я выложил его рещультаты и было выяснено (они же посоветовали) проверить скорость работы массива, т.к. скорее всего проблема именно внем, т.е. в скорости чтения/записи на диск.

     

     

    22 октября 2010 г. 12:00
  • А можете попробовать вставить в сервер ещё один обыкновенный диск, скопировать базу на него и так тоже проверить?

    Кстати, а не был ли случайно на сервере путь до базы настроен типа \\cам_на_себя\Шаринг\Папка ?


    MCPIT: Enterprise Administrator; MCT; Microsoft Security Trusted Advisor
    22 октября 2010 г. 13:05
  • Нет, сетевых путей \\чтотоТам я не указываю - это 100%

    Установить в сервер еще один обыкновенный диск и проверить на нем я попробую, но не хнаю когда будет вохможность жто сделать. Отпишусь, как будут результаты.

    23 октября 2010 г. 16:07
  • В общем проблема на данный момент вроде бы решилась.

    Дело все было в КЕШэ на контроллере RAID-массива. У меня контроллер HP P400. Так вот, его кэш работал только на чтение - 100%. После его включения и установки четние/запись 50/50 %, операция пересчета 1С итогов стала запимать 3-4 минуты (ранее как я писал эта операция длилась 30-40 имнут).

    Удалось выяснить, что во время пересчета итогов, очень много операция ввода-вывода и поэтому из-за тормозов записи были такие проблемы.

    С решением проблемы мне помог сотрудник техподдержки HP.

     

    • Помечено в качестве ответа Goblany 27 октября 2010 г. 5:21
    27 октября 2010 г. 5:21
  • В общем проблема на данный момент вроде бы решилась.

    Дело все было в КЕШэ на контроллере RAID-массива. У меня контроллер HP P400. Так вот, его кэш работал только на чтение - 100%. После его включения и установки четние/запись 50/50 %, операция пересчета 1С итогов стала запимать 3-4 минуты (ранее как я писал эта операция длилась 30-40 имнут).

    Удалось выяснить, что во время пересчета итогов, очень много операция ввода-вывода и поэтому из-за тормозов записи были такие проблемы.

    С решением проблемы мне помог сотрудник техподдержки HP.

     

    Вот это стало очень интересно - можно на этом месте поподробнее?
    24 декабря 2010 г. 20:20
  • Если у Вас raid-контроллер фирмы HP, то с их сайта можно скачать утилиту конфигурирования контроллера.

    В это йтилите можно поставить сколько процентов кеша отдать на запись/чтение.

    Array Configuration Utility

    11 января 2011 г. 12:56
  • Если на контроллере нет BBU то отключение кеша на запись вполне обоснована - при потере питания меньше вероятность получить проблемы
    25 января 2011 г. 14:07