none
Storage Pool RRS feed

  • Вопрос

  • Изучаю возможности 2012 сервера, потихоньку пытаемся виртуализовать сервисы. Пока все на 2008 Hyper-v, хочется высокой доступности. В связи с этим вопрос:

    Есть ли смысл пытаться использовать 2012 сервер как дисковую полку используя Storage Pool и диски SAS или сразу на iSCSI полку целится?

    Я понимаю, что сейчас скажут, что нужно придумывать как реплицировать эти вм куда-то еще для отказоустойчивости, а иначе все яйца в одну корзину. Но ведь и бэкапов никто не отменял...

    Вообщем хочется услышать за и против Storage Pool для Failover и за и против iSCSI... Если кто разбирается примерный порядок цен на полки iSCSI...

Ответы

  • Возможен ли вариант когда просто 3 SAS диска внутри обычного сервера и делается Cluster Storage Pool именно так как описано в инструкции http://habrahabr.ru/company/microsoft/blog/156777/ ?

    Я понимаю, что это бессмысленно и тоже вижу смысл лишь в тех ссылках, что вы дали в последнем посте, это уже скорее просто интересно =)

    1) http://technet.microsoft.com/en-us/library/hh831739.aspx

    • For shared-storage deployments on failover clusters: 

      • Two or more servers running Windows Server 2012. 
      • Requirements as specified for failover clustering and Cluster Shared Volumes (CSV). 
      • SAS connected JBODs that comply with Windows Certification requirements. 

    2) http://technet.microsoft.com/en-us/library/jj612868.aspx#BKMK_storage


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    8 июля 2013 г. 19:25

Все ответы

  • Изучаю возможности 2012 сервера, потихоньку пытаемся виртуализовать сервисы. Пока все на 2008 Hyper-v, хочется высокой доступности. В связи с этим вопрос:

    Есть ли смысл пытаться использовать 2012 сервер как дисковую полку используя Storage Pool и диски SAS или сразу на iSCSI полку целится?

    Я понимаю, что сейчас скажут, что нужно придумывать как реплицировать эти вм куда-то еще для отказоустойчивости, а иначе все яйца в одну корзину. Но ведь и бэкапов никто не отменял...

    Вообщем хочется услышать за и против Storage Pool для Failover и за и против iSCSI... Если кто разбирается примерный порядок цен на полки iSCSI...

    iSCSI Target можно развернуть на базе Server 2012 в Core режиме - отличное решение (uptime ~99.99%). Если необходимо, то могу поделиться ссылкой по конфигурации. 

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

  • Буду только признателен :)

    Так как с SAN ни разу не работал хочется за и против еще услышать :)

  • Не сочтите за рекламу Configuring iSCSI Target on Server 2012 Core

    Подобное решение (iSCSI Target) до сих пор отлично отрабатывает в роли дисковой полки для бекапов. Ни одной проблемы за более чем полгода не было. Такие решения,конечно, лучше "выносить" отдельно и делать на Core, чтобы повысить надежность.

    Storage Pool (особенно в грядущем Server 2012 R2) тоже является довольно отличным решением. Всё перечислять довольно долго. Могу отметить:

    Storage Tiering +Write-Back Cache - можно делать spaces из разных дисков (SSD+HDD, к примеру) и, Server 2012 будет помешать Ваши часто используемые данные ..дадад..на SSD. Таким образом SSD будет выступать в роли кеша. Проводим аналогию, к примеру с аппаратными хранилищамиEMC VNX , там как раз таки подобный кеш организован.  + улучшенная дедупликация в Server 2012 R2 (не все хранилища корп.уровня имеют данную функцию!), а она очень полезна. +Поддержка ReFS для создания CSV 

    Microsoft уже заверяет, что производительность всего этого не уступает аппаратным хранилищам, поэтому можно использовать и для CSV и т.д. без потери производительности.

    Что касается личных пристрастий. Я , в любом случае, за аппаратные решения (emc,ibm и т.д.). Но тут необходимо смотреть Ваши требования и реалии. Вопрос достаточно важный, чтобы его сначала планировать


     

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com





    • Изменено R.LevchenkoMVP 2 июля 2013 г. 6:45 аывав
    • Предложено в качестве ответа R.LevchenkoMVP 2 июля 2013 г. 7:24
    • Отменено предложение в качестве ответа Дмитрий Трясов 2 июля 2013 г. 7:26
  • Какое смелое утверждение насчет аптайма в 99.99 -)

    iSCSI имеет ряд проблем, связанных с работой поверх TCP/IP, поэтому не стоит забывать про накладные расходы - инкапсуляция,  сегментация, повторная передача, контрольные суммы — все это может до четвертой части пропускной способности занять.

    Отвечающий
  • Какое смелое утверждение насчет аптайма в 99.99 -)

    iSCSI имеет ряд проблем, связанных с работой поверх TCP/IP, поэтому не стоит забывать про накладные расходы - инкапсуляция,  сегментация, повторная передача, контрольные суммы — все это может до четвертой части пропускной способности занять.

    Завидный pre-sale -) . На самом деле, ,конечно, очень примерная оценка из личной практики. Перед выбором метода реализации необходимо знать условия и конечные цели. Поэтому без дополнительной информации (читаем ТЗ) что-то предложить конкретно и сказать, что "да, вот это будет лучше" нельзя, на мой взгляд. Поэтому, всё - персонально и я не осмелюсь высказаться ЗА какую-либо технологию в данной теме. Если коллеги смогут , то будет очень познавательно как для меня, так для автора темы.

    P.S. ещё можно FC рассмотреть,если готовность есть


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


  • FC стоит чрезмерно дорого, и моей конторе его точно не потянуть. Поэтому и интересуюсь двумя вариантами с iSCSI, скажем сервер на SAS дисках при желании можно в 150 тысяч уложить, не знаю можно ли SAN за такие деньги присмотреть. Насколько хуже будет вариант с программным iSCSI в сравнении с SAN?
  • В планах организовать CSV для виртуальных машин из этого хранилища (на винде или iscsi SAN) для виртуалок на Hyper-V с использованием Failover. Соответсвенно будут два сервера подключенные к SAN.

    ВМ планируются 

    1) Print Service, RDG, RD Licensing, Connection Broker

    2) DC

    3) Zabbix на Unix

    4) APPsrv на 2003 

    Может быть еще что-то но не очень сильно нагруженное...

  • А примерное количество конечных пользователей?

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

  • Порядка 100-120, но сервисы перечисленые мною они не нагружены. Еще один DC останется на физ. машине...
  • В перспективе планируется переход с Мдаемон на Exchange и его в идеале тоже хочется на виртуалку, но там все несколько сложнее поэтому пока без него...
    2 июля 2013 г. 10:00
  • Для ReFS (пока) не поддерживается дедупликация.

    2 июля 2013 г. 10:05
  • В перспективе планируется переход с Мдаемон на Exchange и его в идеале тоже хочется на виртуалку, но там все несколько сложнее поэтому пока без него...
    Если у Вас такие перспективы, то необходимо и бюджет закладывать соответствующий. Конечно, это не в Ваш огород камень. Но не вылезть за рамки бюджета, указанного Вами, и получить решение , отвечающее всеми требованиями и внушающее прежде всего Вам уверенность, на мой взгляд, невозможно. Можно рассмотреть SAN от QNAP и т.д. ( с виду такие же 1U-3U устройства) , но качество того, что под крышкой - не подлежит описанию.  Купить толковый сервер с Sas дисками за 150 тыс.рублей.. ну.. задача нереальная. (априори не рассматриваю "мелкие" бренды)

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    2 июля 2013 г. 10:51
  • 150 это не предел бюджета, просто скажем FC с платами на два сервера без коммутатора это порядка 600-700. Это уже выходит за рамки доступности для этих сервисов.

     Брендовые согласен взять не получится, тот же супермикро однопроцессорный с 6 SAS 15000 rpm влезет в 200 без проблем.

    Нагрузки здесь особой сетевой как мне кажется не будет, 2 gb порта агрегированных с помощью 802,3 ad в коммутатор. Получим доступ к ВМ с хостов в 2 гб/сек. Считаете этого недостаточно?

    Просто есть пачка железных довольно-таки мощных серверов, они выполняют свои задачи. Но есть так же сервисы которые хотелось бы сделать высокодоступными, но вкладывать в это 500 тыщ мне кажется нецелесообразным. Поэтому и обращаюсь за советом.

    2 июля 2013 г. 11:08
  • 150 это не предел бюджета, просто скажем FC с платами на два сервера без коммутатора это порядка 600-700. Это уже выходит за рамки доступности для этих сервисов.

    Я просто прикинул стоимость сервера + стоимость десятка SAS 

    При выборе сервера учитывайте,как минимум, количество NICs + количество БП. Нужно посчитать ещё какое примерное кол-во SAS хотите использовать с возможностью расширения , как минимум, + 2 свободных слота. 2 Гб.с в целом должно хватить + необходимо настраивать MPIO  для хоть какой-то отказоустойчивости со стороны хранилища + резервирование этого SAN по питанию не забудьте (ИБП)


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    2 июля 2013 г. 11:22
  • Я понял, что мне надо серьезно почитать сначала. Давайте не будем закрывать пока...
    2 июля 2013 г. 11:37
  • Я понял, что мне надо серьезно почитать сначала. Давайте не будем закрывать пока...

    Storage Spaces: http://technet.microsoft.com/en-us/library/hh831739.aspx

    iSCSI Target : http://technet.microsoft.com/en-us/library/hh848272.aspx

    Nic Teaming: http://technet.microsoft.com/ru-ru/windowsserver/jj873791.aspx

    SMB: http://technet.microsoft.com/en-gb/library/hh831795.aspx

    Доступен и русский вариант данных статей, но оригинал предпочтительнее,конечно.


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    2 июля 2013 г. 11:48
  • Со всем кроме первых двух знаком, может быть есть, что почитать про СХД?
    2 июля 2013 г. 11:49
  • Со всем кроме первых двух знаком, может быть есть, что почитать про СХД?

    Что-то общее и для всех я не встречал.

    Просмотрите сайты вендоров - отличные материалы выкладываются. 

    http://www8.hp.com/ru/ru//products/disk-storage/product-detail.html?oid=4118659#!tab=specs

    http://www.emc.com/collateral/software/white-papers/h10938-vnx-best-practices-wp.pdf


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    2 июля 2013 г. 11:56
  • Отлично, спасибо - почитаю и вернусь =)
    2 июля 2013 г. 13:24
  • FC стоит чрезмерно дорого, и моей конторе его точно не потянуть. Поэтому и интересуюсь двумя вариантами с iSCSI, скажем сервер на SAS дисках при желании можно в 150 тысяч уложить

    А у Вас уже есть надёжная система резервного копирования и архивирования данных? С такими бюджетами рано думать о высокой доступности в смысле "непрерывности обслуживания". Достаточно думать о "быстром восстановлении".

    Дело в том, что кластерное решение защищает только от некоторой части аппаратных сбоев. Ну, вот, если блок питания сдохнет в одном из узлов, тогда сервер переместится на другой узел и... как-то будет работать. Но от случайного/умышленного удаления и/или искажения данных кластер не спасёт никак. А бывают ещё всевозможные "глюки" ПО (как системного, так и прикладного) - от них тоже кластер не спасает.

    Так что, 150 тыс.рублей я бы порекомендовал использовать на нормальную систему резервного копирования, которая позволит полностью восстановить после краха сервер с терабайтом информации за 2..4 часа. Нормального высокодоступного решения за 150 тыс (и даже за 500 тыс) не бывает, даже на продуктах Microsoft.


    Сергей Панченко

    Отвечающий
  • 4 виртуальные машины можно забэкапить и на внешней диск. Хочется получить как минимум Live Migration на кластере Microsoft, я считаю, что 150-200 тысяч за это нормальная цена.

    Я понимаю, что очень здорово иметь две полки с репликацией на уровне хранилища соединенных 20 гигабитным FC да еще и на разных площадках. Но мне кажется, что можно и на недорогих iSCSI сделать что-то довольно неплохое, хотя я не знаю как и мое кажется оно чисто субъективное.

    Поэтому я здесь этот вопрос и задал, и спасибо большое всем кто высказывается :)

  • Нашел на работе вот такую штуку http://www.infortrend.com/ru/products/models/ES%20A12U-G2421

    Я ведь могу ее scsi проводами зацепить сразу к двум сервакам и Csv сделать на ней?

  • Нет, не сможете. Там один RAID-контроллер, судя по описанию. Да и если было бы два, то CSV на ней сделать было бы проблематично.

    Сергей Панченко

    Отвечающий
  • Нашел на работе вот такую штуку http://www.infortrend.com/ru/products/models/ES%20A12U-G2421

    Я ведь могу ее scsi проводами зацепить сразу к двум сервакам и Csv сделать на ней?

    Это дисковый массив, которую напрямую подключать к серверу нужному надо. Как вариант, делать iSCSI target , а storage весь будет на этом массиве , подключенный напрямую к серверу. необходимы доп.кабели +адаптер (к-ый уже не найдешь наверное). 




    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com





  • Из описания:

    Host Interface
     Two (2) SCSI-320 through four (4) VHDCI 68-pin SCSI ports

    С какой целью их два тогда?

  • Чтобы можно было к двум адаптерам В ОДНОМ сервере подключить.

    Сергей Панченко

    Отвечающий
  • Из описания:

    Host Interface
     Two (2) SCSI-320 through four (4) VHDCI 68-pin SCSI ports

    С какой целью их два тогда?

    http://staffwww.dcs.shef.ac.uk/people/D.Abbott/Library/transtecT6100SxxR1-E-HWM1.0.pdf

    4-3, 4-6, 4-7 страницы


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

  • Чтобы можно было к двум адаптерам В ОДНОМ сервере подключить.

    Сергей Панченко

    Если не прав. то поправьте. По ссылке выше четко показано, что 2 порта = 2 хоста (пункт 4.2.2 Dual hosts) . OUT используется лишь для подключения subsystem для расширения емкости.  (вот наглядная картинка бека http://www.gngcomputers.com/ebay/images/Eonstor-back-small.jpg). Поэтому, в принципе можно подключить 2 хоста к этому массиву и, используя SCSI ID , предоставлять общий дисковый массив серверам. (что-то подобное http://www.manualslib.com/manual/390264/Dell-Powervault-220s.html?page=21#manual)Единственное не будет отказоустойчивости, т.к. канал один на каждый хост. Другой вопрос в том, что Microsoft для SAN рекомендует FC,iSCI,SAS ..


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com



  • Виндовая служба кластера съест такой тип подключения? Всмысле пройдет ли Validation?
  • Виндовая служба кластера съест такой тип подключения? Всмысле пройдет ли Validation?

    http://support.microsoft.com/kb/947710

    Microsoft для SAN рекомендует FC,iSCI,SAS


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com



  • Виндовая служба кластера съест такой тип подключения? Всмысле пройдет ли Validation?

    http://support.microsoft.com/kb/947710

    Microsoft для SAN рекомендует FC,iSCI,SAS

    Т.е. если мы будем делать 2-х нодовый кластер с использованием shared scsi , т.е. НАПРЯМУЮ к каждому серверу подключаем Scsi массив, то - это не поддерживаемая конфигурация. НО, как писал раннее, если напрямую к серверу подключить массив к iSCSI Target , и использовать iSCSI в роли CSV , то = не вижу возможных затычек.  Но повторюсь.. адаптеры ещё продаются scsi? =) http://ask.adaptec.com/app/answers/detail/a_id/17243/~/what-adaptec-products-are-supported-in-windows-8-and-server-2012%3F  полной поддержки (оф.драйвер+менеджмент) нет и не будет для новых ОС

    Как итог, рассмотрите другие более современные решения.

     

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com




  • Да адаптеры-то есть, но мне кажется лучше уже 4 Sas диска в Raid 10 сделать на несложном Adaptec 6405 например, и во внутреннюю корзину положить и сделать из него iSCSI Target с помощью 2012 или 2008 не принципиально. А "это" оставить для архива или реплики файлового хранилища.
  • Microsoft для SAN рекомендует FC, iSCSI, SAS

    Первые два понятно, что имеет в виду по SAS? Явно не диски SAS

  • Microsoft для SAN рекомендует FC, iSCSI, SAS

    Первые два понятно, что имеет в виду по SAS? Явно не диски SAS

    Я думаю, сразу поймете (ключевое слова DAS =Direct Attached Storage):

    http://www.lsi.com/downloads/Public/Direct%20Assets/LSI/HighAvailability_TechBrief_091311.pdf


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


  • Понял честно говоря ни сразу, помогло вот это

    http://h20000.www2.hp.com/bc/docs/support/SupportManual/c01613420/c01613420.pdf

    Я честно говоря не знал, что с помощью экспандеров можно к разным массивам цеплять платы.

    4 июля 2013 г. 10:11
  • Я все так и не могу понять, вот новая фича в 2012 которая называется Storage Space как-то может помочь? http://social.technet.microsoft.com/wiki/contents/articles/15198.storage-spaces-overview.aspx

    Просто я тут вычитываю из этой статьи:

    Storage Spaces Capabilities:

    Failover clustering:
    Windows’ Failover Clustering is a feature that enables multiple servers (known as cluster nodes) to be formed into a cluster which provides high availability for the underlying storage and supported workloads, such as File Server and Hyper-V. Failover Clustering supports storage based on Storage Spaces utilizing commodity shared SAS JBODs, or a more traditional shared storage appliance.

    Причем тут Storage Space?)

    Или это просто собрание кучы дисков в единный логически диск на который можно зацепить Hot Spare и в свою очередь раздать как iSCSI?

  • https://skydrive.live.com/view.aspx?resid=B85FEBBC3C73BC00!1943&app=WordPdf&authkey=!ACcwbBuiCk3qdJY

    Да и весь курс гляньте для полного понимания

    http://www.microsoftvirtualacademy.com/training-courses/windows-server-2012-part1-rus


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com


    • Изменено R.LevchenkoMVP 5 июля 2013 г. 8:22 причина
  • Очень полезные материалы даете, спасибо :)
  • Все посмотрел и почитал, насчет Storage Pool вопросы все же остались. Правильно ли я понимаю, что можно создать  кластеризованный Storage Pool без использования СХД и скажем положить на него VHDX-файлы? И тем самым создать отказоустойчивость?
    8 июля 2013 г. 12:57
  • Все посмотрел и почитал, насчет Storage Pool вопросы все же остались. Правильно ли я понимаю, что можно создать  кластеризованный Storage Pool без использования СХД и скажем положить на него VHDX-файлы? И тем самым создать отказоустойчивость?

    Вместо тысячи слов..

    http://habrahabr.ru/company/microsoft/blog/156777/


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    8 июля 2013 г. 12:59
  • Эта статья с такими же скриншота в 3-4 экземплярах на просторах интернета, я ее прочитал до дыр, но вопросы все равно остались:

    1) Есть 2 сервера, на них я устанавливаю Feature Failover Clustering и к серверу 1 подтыкаю скажем 3 SAS диска.

    2) Создаю Cluster и добавляю туда оба сервера как Node, общего хранилища нет, Quorum тоже. Создаю на одном из них New Storage Pool, и предположим новый диск в режим Mirror.

    Что произойдет когда server 1 выйдет из строя? Где здесь отказоустойчивость? Где я ошибаюсь?

    8 июля 2013 г. 13:09
  • Собственно во всех этих инструкциях не говорится, что кластер уже должен быть для того, чтобы сделать Cluster Storage Pool, а это так... Минимум 3 SAS должны быть соединены экспандерами с остальными нодами иначе во всем этом пропадает смысл...

    Если не прав - поправьте буду признателен...

    8 июля 2013 г. 14:59
  • Собственно во всех этих инструкциях не говорится, что кластер уже должен быть для того, чтобы сделать Cluster Storage Pool, а это так... Минимум 3 SAS должны быть соединены экспандерами с остальными нодами иначе во всем этом пропадает смысл...

    Если не прав - поправьте буду признателен...

    Примерно так. Если абстрагироваться, что storage spaces - это схд от Microsoft в программной реализации. Всё это делается для того, что бы конечные пользователи извлекали для себя выгоду от использования Server 2012 . Купить и скомплектовать полноценную схд - не очень дешевое занятие. (учитываем диски с ценой в 2-3 раза выше, чем не "бренд")

    В любом случае всё, конечно, упирается в то место, где всё это "spaces" храниться будет. Реально рабочим и надежным вариантом будет примерно такой:ссылкассылка2. Забиваем полку и спейсим. Это мой личный взгляд,который не обязательно совпадет с Вашим.


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    8 июля 2013 г. 18:22
  • Возможен ли вариант когда просто 3 SAS диска внутри обычного сервера и делается Cluster Storage Pool именно так как описано в инструкции http://habrahabr.ru/company/microsoft/blog/156777/ ?

    Я понимаю, что это бессмысленно и тоже вижу смысл лишь в тех ссылках, что вы дали в последнем посте, это уже скорее просто интересно =)

    8 июля 2013 г. 18:29
  • Возможен ли вариант когда просто 3 SAS диска внутри обычного сервера и делается Cluster Storage Pool именно так как описано в инструкции http://habrahabr.ru/company/microsoft/blog/156777/ ?

    Я понимаю, что это бессмысленно и тоже вижу смысл лишь в тех ссылках, что вы дали в последнем посте, это уже скорее просто интересно =)

    1) http://technet.microsoft.com/en-us/library/hh831739.aspx

    • For shared-storage deployments on failover clusters: 

      • Two or more servers running Windows Server 2012. 
      • Requirements as specified for failover clustering and Cluster Shared Volumes (CSV). 
      • SAS connected JBODs that comply with Windows Certification requirements. 

    2) http://technet.microsoft.com/en-us/library/jj612868.aspx#BKMK_storage


    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

    8 июля 2013 г. 19:25
  • Ну то есть получается, что одна из Node будет являться и хранилищем? Но как тогда к ней будут цеплятся другие ноды? Обязательным условием является соединение этих нод SAS-кабелями?
    8 июля 2013 г. 19:40
  • Просто я рассматриваю вариант, что внутри сервера стоит рэйд-контроллер с подключенными к нему 3 SAS дисками, без полок и экспандеров.
    8 июля 2013 г. 19:42
  • Просто я рассматриваю вариант, что внутри сервера стоит рэйд-контроллер с подключенными к нему 3 SAS дисками, без полок и экспандеров.

    iSCSI забыли уже? Можно в роли csv и smb шару сделать. Довольно интересное слепить можно

    http://technet.microsoft.com/en-us/library/hh831795.aspx

    "Wow! SMB 3.0 over 1 Gbps network connection achieved 98% of DAS performance using SQL in transactional processing." 

    Посмотрите http://www.aidanfinn.com/?p=12902

     + не помню где читал, что производительность SMB 3.0 близка к iSCSI, но утверждать не буду..сам не пробовал и не видел -)

    Roman Levchenko, MCITP, MCTS http://www.rlevchenko.com

  • Спасибо, я думаю тема себя исчерпала =)
    16 июля 2013 г. 5:09