none
Помогите советом кластер с внешним хранилищем или два одиннаковых сервака в кластере? RRS feed

  • Общие обсуждения

  • Добрый день всем!

    Поставили задачу сделать файловый архив, но как обычно, не простой :-)

    Ёмкость от 12 Тб, причем вся ёмкость должна быть как одна папка. Это ИМХО глупо, ну да ладно, на переговоры террористы (т.е. заказчики) не идут.
    Учитывая безумный бюджет покупки  (около 190 тыс руб) Smile)) и требование "брендовой коробки"  - стойки фирм Dell, IBM, HP, SUN, EMC   - ушли курить бамбук.
    Потом родилась идея собрать на основе компа +
    платы Promise SuperTrak EX16350 (16-Port SATA 3 Gb / s PCI Express) -  само-сборный RAID массив и купить+собрать таких два, потом объединить их в кластер и запустить.

     Как я почитал - такое решение в принципе можно реализовать. Т.е. кластер без внешней дисковой полки есть и даже работает, учитывая что кроме как файловым хранилищем "сервера" больше ничем загружены не будут, то можно не супер мощности брать.

    Не совсем понял про объем доступный кластеру, прочел ветку

    http://forums.microsoft.com/technet-ru/ShowPost.aspx?PostID=1554486&SiteID=40
    увидят ли объем 12 Тб или нет?

    И второй вопрос, более концептуальный: какой вариант лучше всеже? купить+собрать 2 абсолютно одинаковых "сервака" в которых внутри будет просто объем 12 тб у каждого и поставить их в зеркало или купить 2 сервака + полку дисковую с RAID и подцепить их FC к каждому и там уже делать кластер как бы классический. Потому что бюджеты примерно уже стали одинаковы около 400 тыс. руб.

    ЗЫ
    требование к простою - не более 2 часов
    соответственно восстановление после сбоя - тоже 2 часа, ну или ночь если "повезет" вечером слетать ему....
    про такие величины никто из заказчиков не знает, но после прочтения ветки:
    http://forums.microsoft.com/technet-ru/ShowPost.aspx?PostID=1935120&SiteID=40 - узнали и сказали Smile




    23 сентября 2008 г. 12:56

Все ответы

  • Если я правильно понимаю цены, то в 8000 долларов не уложится даже обычный локальный бренд типа Депо,  один, какой там кластер. Посоветуйте вашим клиентам быть более реалистичными.

    25 сентября 2008 г. 16:09
  • Мое мнение - лучше иметь файловое хранилище с дисковой полкой. Предположим, что со временем у Вас возникнет необходимость добавить третий, четвертый сервера в кластер и т.д. Неужели будете брать их все сугубо одинаковые включая дисковые подсистемы? С точки зрения гибкости системы и ее относительной цены это решение оптимально... 

    25 сентября 2008 г. 18:03
  •  Fuzzy_logik написано:
    Добрый день всем!

    Поставили задачу сделать файловый архив, но как обычно, не простой :-)

    Ёмкость от 12 Тб, причем вся ёмкость должна быть как одна папка. Это ИМХО глупо, ну да ладно, на переговоры террористы (т.е. заказчики) не идут.
    Учитывая безумный бюджет покупки  (около 190 тыс руб) )) и требование "брендовой коробки"  - стойки фирм Dell, IBM, HP, SUN, EMC   - ушли курить бамбук.
    Потом родилась идея собрать на основе компа +
    платы Promise SuperTrak EX16350 (16-Port SATA 3 Gb / s PCI Express) -  само-сборный RAID массив и купить+собрать таких два, потом объединить их в кластер и запустить.

     Как я почитал - такое решение в принципе можно реализовать. Т.е. кластер без внешней дисковой полки есть и даже работает, учитывая что кроме как файловым хранилищем "сервера" больше ничем загружены не будут, то можно не супер мощности брать.

    Не совсем понял про объем доступный кластеру, прочел ветку

    http://forums.microsoft.com/technet-ru/ShowPost.aspx?PostID=1554486&SiteID=40
    увидят ли объем 12 Тб или нет?

    И второй вопрос, более концептуальный: какой вариант лучше всеже? купить+собрать 2 абсолютно одинаковых "сервака" в которых внутри будет просто объем 12 тб у каждого и поставить их в зеркало или купить 2 сервака + полку дисковую с RAID и подцепить их FC к каждому и там уже делать кластер как бы классический. Потому что бюджеты примерно уже стали одинаковы около 400 тыс. руб.

    ЗЫ
    требование к простою - не более 2 часов
    соответственно восстановление после сбоя - тоже 2 часа, ну или ночь если "повезет" вечером слетать ему....
    про такие величины никто из заказчиков не знает, но после прочтения ветки:
    http://forums.microsoft.com/technet-ru/ShowPost.aspx?PostID=1935120&SiteID=40 - узнали и сказали






    Не советую использовать SATA диски - это не надёжная система - детский садик какой -то.

    Попробуйте аргументированно расписать заказчику плюсы и минусы.

    Составьте документ с характеристиками отказоустойчивости, быстродействия и стоимости.

    Разработайте несколько вариантов (3 минимум) с схематическими рисунками ваших вариантов.

    Проконсультируйтесь в фирмах, занимающихся поставками оборудования для массивов и архивов.

    Удачи.
    26 сентября 2008 г. 5:53
  • А чем SATA то не пойдут, SAS получается очень дорого если набирать их в заявленный объем,
    конечно производительность у них меньше.....
    26 сентября 2008 г. 10:21
  • Вам нужна отказоустойчивая система ? Какой обьём данных будет писаться за один поток ? скорость критична ?
    26 сентября 2008 г. 10:23
  • ПОдробно:


    необходимо собрать файловое хранилище под работу пользователей.
    Объем - от 12 Тб, пользователей - от 15 человек до 25. Профиль работы пользователей - графика, предполагается что работы они хранят и открывают (!!!!!) с этого файлового хранилища. Объем средней работы - 4 Гб. Ничего на локальном компе не храниться. (отсюда и отказоустойчивость вылезает)
    Получается, что в пиковой нагрузке - т.е. утром рабочего дня, приходит сразу +/- 15 минут - около 10 человек и все полезли за своими работами, т.е. получаем, что около 40 Гб надо системе отдать в 10 потоков. 40 Гб с винта на винт качаются не так быстро, а по сети (предполагается оптоволокно + гигабитный свич использовать) я боюсь что это будет очень долго...
    поэтому на данный момент я настаиваю на 2 сервера + полка хранилище:
    полка к серверам  - FC 
    внутри сервера (Heartbit - 100mbit)
    сервера к локальной сети - по 2 оптические карточки ( не знаю получится или нет чтобы они делали NLB )
    свич 4 оптических порта (под два сервака) и далее  1 гбит на клиента.

    Бюджет уже не обсуждается, теперь надо просто решение под ТЗ.
    27 сентября 2008 г. 9:05
  • Использовать оптику в локалке не практично. Пойдет обычная витая пара и карты на 1 Гбит. И свитч обойдется много дешевле, и сетевые карты тоже.

     

    При вашем бюджете делать два сервера плюс хранилище это перебор (еще дороже)! Вам стоит ограничится одной коробкой.

     

    Самосбор для вас гиблое дело: 
       Вам надо установить как минимум 12 винтов - это специальный серверный корпус с очень мощным блоком питания возможно резервированным - это обойдется в огромные деньги.

       Винты придется объединять в RAID5. Если они не HotSwap, то восстановление массива в случае отказа одного винта превратится в кошмар.

     

    Если все это сложить вместе, то вы получите цену решения сопоставимую с фирменным. Поэтому самое оптимальное решение для вас это железка типа HP StorageWorks 1200r All-in-One Storage System http://h18006.www1.hp.com/storage/aiostorage.html

    Обойдется вам тысяч в 350-400. (Эта цена себя оправдывает: например винты SATA будут серверными, а не ширпоребовскими.)

     

    Еще один вариант. Взять обычные компьютеры штуки две-три. Установить в них по 4 винта SATA 1TB в RAID5 и использовать как раздельные хранилища. Когда место закончится, заменить винты на новые большего объема.

     

    27 сентября 2008 г. 10:56
    Модератор
  •  sie написано:

    Поэтому самое оптимальное решение для вас это железка типа HP StorageWorks 1200r All-in-One Storage System http://h18006.www1.hp.com/storage/aiostorage.html

    Если нужно именно кластерное решение, то я бы рекомендовал HP StorageWorks MSA2000sa: http://h18004.www1.hp.com/products/servers/proliantdl380g5/msa2000sa.html
    28 сентября 2008 г. 7:23
  •  sie написано:

    .....

       Винты придется объединять в RAID5. Если они не HotSwap, то восстановление массива в случае отказа одного винта превратится в кошмар.

     ......


    Если все это сложить вместе, то вы получите цену решения сопоставимую с фирменным. Поэтому самое оптимальное решение для вас это железка типа HP StorageWorks 1200r All-in-One Storage System http://h18006.www1.hp.com/storage/aiostorage.html

    Обойдется вам тысяч в 350-400. (Эта цена себя оправдывает: например винты SATA будут серверными, а не ширпоребовскими.)

     

    Еще один вариант. Взять обычные компьютеры штуки две-три. Установить в них по 4 винта SATA 1TB в RAID5 и использовать как раздельные хранилища. Когда место закончится, заменить винты на новые большего объема.

     



    Самосбор -получился 178 тыс руб. корпус - Thermaltake Armor LCS w/o PSU Black (VE2000B WA / WS) + iCage К нему
    БП -  БП 1010W ATX FSP Epsilon [FX-1010GLN] / CE / TUV / Active PFC / Cable Managment / SATA



    Спасибо за совет! такая железка как раз в самом первом предложении и поступила к заказчику, но была отвергнута с воплями что за 1Тб диск платить 15 тыс руб это много... (No coments Smile  )

    Сейчас настаивают на брендах AXUS и MaxTronic  - они по цене примерно будут 270 тыс... Кто нить с ними пересекался?

    А почему бы не собирать RAID 6 ?  У нас так сейчас стоит как раз самосборный на 4 Тб, винты обычные SATA.

    28 сентября 2008 г. 10:46
  •  Fuzzy_logik написано:
    А почему бы не собирать RAID 6 ?  У нас так сейчас стоит как раз самосборный на 4 Тб, винты обычные SATA.

    Зачем вам нужен RAID 6?? Выбор RAID должен определяться требованиями к решению, в том числе к отказоустойчивости, производительности и цене. RAID 6 хорошо удовлетворяет только первому из этих требований.

    29 сентября 2008 г. 1:34