locked
Сверхмедленное удаление большого количества файлов RRS feed

  • Вопрос

  • Windows Server 2008 R2. raid1 hdd WD RE

    Понадобилось удалить папку с большим количеством файлов (11.1 млн. файлов в 2.2 млн. папках)

    Сначала использовал привычный Shift-Del, но за полчаса не дождался даже окончания "Preparing to delete".

    Погуглив на эту тему, нашел, что вроде бы запущенная из командной строки команда RD /S /Q удаляет намного быстрее.

    Увы, это оказалось не так. Удаление этой командой заняло 7 часов!!!  Т.е. всего лишь 440 файлов/сек. (попутно удаление съело всю оперативную память на сервере 8ГБ, и началось использование файла подкачки).

    Казалось бы, достаточно просто удалить инфу из Mft, но Монитор ресурсов показывал, что помимо обращения к Mft, шло индивидуальное обращение (read) к каждому удаляемому файлу! Как итог скорость дисков оказалась узким местом.

    Могут ли специалисты дать комментарии по этому поводу? Почему такой странный сверхмедленный алгоритм удаления? Исправлена ли эта багофича в Windows Server 2012R2?

    5 декабря 2014 г. 17:02

Ответы

  • Выключите антивирус на томе

    Выключите индексацию на томе

    Выключите обновление даты доступа на томе disablelastaccess

    fsutil behavior set disablelastaccess 1

    Используйте двойной проход:

    del /f/s/q foldername > nul
    rmdir /s/q foldername
    


    Сазонов Илья http://isazonov.wordpress.com/

    6 декабря 2014 г. 9:54
    Модератор
  • Скорее это оптимизация - оптимизация NTFS и оптимизация процесса удаления.
    6 декабря 2014 г. 21:06
  • костыли это всегда хорошо.

    но может разобраться в корне проблемы?

    Не стоит ожидать, что обычный GUI разработан для работы с миллионами файлов: типовой пользователь работает с десятками, сотнями, может тысячами файлов, но никак не с миллионами.

    Сама NTFS также оптимизирована для определенного сегмента. С учётом роста файловых хранилищ у широкого потребителя Microsoft разработала новую файловую систему ReFS, которая предназначена для работы с большими хранилищами и огромным количеством файлов. Это файловая система должна заменить в будущем NTFS, которая создана 20 лет назад, когда о таких объемах можно было только мечтать.

    Тем не менее, как было сказано, NTFS позволяет некоторую оптимизацию, что позволяет ощутимо расширить ее возможности.

    Кстати вы можете не удалять кучу файлов, а просто отформатировать раздел за несколько секунд: если на этом разделе есть несколько процентов нужной информации, то переносите ее, форматируете раздел и возвращаете обратно нужное.


    Сазонов Илья http://isazonov.wordpress.com/

    7 декабря 2014 г. 6:25
    Модератор

Все ответы

  • Антивирус?

    Слава России!

    5 декабря 2014 г. 19:00
  • нет конечно
    5 декабря 2014 г. 19:11
  • Обращение на чтение шло к файлам или только к папкам?

    Слава России!

    5 декабря 2014 г. 19:20
  • Выключите антивирус на томе

    Выключите индексацию на томе

    Выключите обновление даты доступа на томе disablelastaccess

    fsutil behavior set disablelastaccess 1

    Используйте двойной проход:

    del /f/s/q foldername > nul
    rmdir /s/q foldername
    


    Сазонов Илья http://isazonov.wordpress.com/

    6 декабря 2014 г. 9:54
    Модератор
  • костыли это всегда хорошо.

    но может разобраться в корне проблемы?

    6 декабря 2014 г. 20:13
  • Скорее это оптимизация - оптимизация NTFS и оптимизация процесса удаления.
    6 декабря 2014 г. 21:06
  • костыли это всегда хорошо.

    но может разобраться в корне проблемы?

    Не стоит ожидать, что обычный GUI разработан для работы с миллионами файлов: типовой пользователь работает с десятками, сотнями, может тысячами файлов, но никак не с миллионами.

    Сама NTFS также оптимизирована для определенного сегмента. С учётом роста файловых хранилищ у широкого потребителя Microsoft разработала новую файловую систему ReFS, которая предназначена для работы с большими хранилищами и огромным количеством файлов. Это файловая система должна заменить в будущем NTFS, которая создана 20 лет назад, когда о таких объемах можно было только мечтать.

    Тем не менее, как было сказано, NTFS позволяет некоторую оптимизацию, что позволяет ощутимо расширить ее возможности.

    Кстати вы можете не удалять кучу файлов, а просто отформатировать раздел за несколько секунд: если на этом разделе есть несколько процентов нужной информации, то переносите ее, форматируете раздел и возвращаете обратно нужное.


    Сазонов Илья http://isazonov.wordpress.com/

    7 декабря 2014 г. 6:25
    Модератор