none
Резервное копирование и раздел с несколькими десятками миллионов файлов RRS feed

  • Вопрос

  • Имеется следующая проблема: необходимо выполнять резервное копирование терминального сервера системный раздел которого содержит около 30 миллионов файлов. Собственно необходимо иметь возможность восстановить сервер "с нуля" в случае выхода из строя по каким либо причинам, сами файлы особой ценности не имеют (сервер содержит снапшоты для компиляции) однако в случае необходимости восстановления нужно чтобы и эти файлы были восстановлены так как повторное их выкачивание из системы контроля версий сделает невозможной работу вообще всех разработчиков на несколько суток. Сейчас каждая синхронизация занимает огромное время и успех её носит вероятностный характер и в лучшем случае завершается успехом раз в неделю, при этом конечно создаётся очень значительная нагрузка на сервер что сильно мешает работе.

    К сожалению изменить схему работы и используемую систему контроля версий пока не в наших силах, терминальный режим нужен для того чтобы сборки шли в одной и той же конфигурации тем более что большинство сотрудников умеет просто нажимать кнопки и запускать скрипты.

    На всякий случай конфигурация дисковой: 12 2.5-дюймовых SAS дисков на 10к RPM в RAID 10 на Adaptec 6405, WB кэш включён.



    • Изменено Dave from Moscow 29 февраля 2012 г. 7:23 добавил конфигурацию дисковой
    29 февраля 2012 г. 7:08

Ответы

  • Необходимо "вынести" файловое хранилище за пределы системного раздела. Принцип резервного копирования Bare Metal (который необходим для восстановления сервера в случае выхода из строя) вынуждает сервер каждый раз передавать по сети полный образ системного раздела со всеми вытекающими. Предлагаю разделить файлы на пару томов и их, для сохранения сложившейся структуры, подключить как папки на системном разделе. Полученные тома защищать в отдельной группе как файловые ресурсы + защита BMR и System State сервера.


    My DPM blog ystartsev.wordpress.com

    • Помечено в качестве ответа Denis DyagilevEditor 29 февраля 2012 г. 13:39
    29 февраля 2012 г. 8:37
    Модератор
  • Можно защищать системный раздел целиком как файловый ресурс. Для этого нужно просто отметить том при создании группы защиты.

    Недостатки этого метода в том, что

    а) С такой резервной копии систему при "потере" сервера не восстановить.

    б) В случае выполнения проверки согласованности (поблочной выверки оригинала с копией на стороне DPM) для такой реплики окончания процесса можно и не дождаться.


    My DPM blog ystartsev.wordpress.com

    • Помечено в качестве ответа Denis DyagilevEditor 29 февраля 2012 г. 13:39
    29 февраля 2012 г. 12:08
    Модератор

Все ответы

  • Необходимо "вынести" файловое хранилище за пределы системного раздела. Принцип резервного копирования Bare Metal (который необходим для восстановления сервера в случае выхода из строя) вынуждает сервер каждый раз передавать по сети полный образ системного раздела со всеми вытекающими. Предлагаю разделить файлы на пару томов и их, для сохранения сложившейся структуры, подключить как папки на системном разделе. Полученные тома защищать в отдельной группе как файловые ресурсы + защита BMR и System State сервера.


    My DPM blog ystartsev.wordpress.com

    • Помечено в качестве ответа Denis DyagilevEditor 29 февраля 2012 г. 13:39
    29 февраля 2012 г. 8:37
    Модератор
  • Да вы предлагаете правильный путь но он подразумевает как минимум переразбитие диска и переустановку ОС с кучей кривого ПО - мы уже пытаемся этот вариант продавить но пока без каких либо успехов.

    Возможно ли средствами DPM делать просто поблочный образ диска - по оценкам (просто запустил disk2vhd) это займёт 3-4 часа, по крайней будет предсказуемое время создания резервной копии и этот прцесс точно не будет загружать сервер в рабочее время.

    29 февраля 2012 г. 9:06
  • Можно защищать системный раздел целиком как файловый ресурс. Для этого нужно просто отметить том при создании группы защиты.

    Недостатки этого метода в том, что

    а) С такой резервной копии систему при "потере" сервера не восстановить.

    б) В случае выполнения проверки согласованности (поблочной выверки оригинала с копией на стороне DPM) для такой реплики окончания процесса можно и не дождаться.


    My DPM blog ystartsev.wordpress.com

    • Помечено в качестве ответа Denis DyagilevEditor 29 февраля 2012 г. 13:39
    29 февраля 2012 г. 12:08
    Модератор
  • Большое спасибо за ответы!

    Видимо альтернатив переделке этого голема нет, будем искать правильные слова для убеждения.

    29 февраля 2012 г. 12:33