locked
Rename Tres lent RRS feed

  • Discussion générale

  • Bonjour,

    j'ai un serveur avec 2 disques dures, et le probleme apparait sur les deux disques (mais ne semble pas apparaitre sur le 3eme disques dure qui contient juste le systeme)

    architecture des répertoires sur chaque disque :

    wwwroot/servern/pictures/w1000h1000/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w720h720/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w600h600/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w400h400/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w300h300/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w200h200/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w100h100/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w50h50/0..z/0..Z/0..Z/
    wwwroot/servern/pictures/w25h25/0..z/0..Z/0..Z/

    chacun des repertoires comporte 20 000 000 de fichiers (soit prêt de 200 millions fichiers). cependant afin de gagner en espace, quand un photo est deja dans les bonnes dimmension je créer plutot un "hardlink" vers l'original, ce qui au final me donne plutôt 100 000 000 de fichiers

    Les disques sont en production sur un serveur web. la bande passante utilisé par le serveur est de l'ordre de 3 Mega bits / secondes en continue ce qui est aussi le debit ecriture/lecture constant sur les deux disques (resource monitor). les disque sont des SAS 10k 1To

    100% de la memoire windows est utilisé par le cache (8Go). cependant
    meme en la limitant a 4Go max le cache windows cela ne change pas le probleme

    les disques sont formaté avec un cluster de 2048

    depuis total commander ou une commande dos :

    1/ je copie un fichier sur le disque et je fait simplement
    rename test.txt test.jpg
    rename test.jpg test.txt
    rename test.txt test.jpg
    ....
    a la mano depuis la commande prompte

    de temps en temps le commande rename me prend plusieurs longues secondes (voire plusieurs dizaines). quand cela arrive, j'ai le task manager d'ouvert et le debit i/O des disques n'est pas suppérieur à la normal (3MB/s).

    en generale c'est le 1er rename, ou le 1er rename apres quelques secondes/minutes de pause qui est long. genre si je fais en boucle dans un fichier .bat
    rename test.txt test.jpg
    rename test.jpg test.txt
    en genrale la boucle se passe bien (hormis le 1er rename). y a quand meme de temps en temps un rename qui rame au milieu de la boucle mais c'est beaucoup plus rare que le 1er rename


    voila cette fois je pense avoir vraiment expliqué toutes les données
    du probleme, avez vous des avis (hormis windows c'est d'la daube) ?

    je pense
    1/ pas un probleme hardware car les deux disques on le même probleme (mais le disque systeme lui fonctionne bien)
    2/ un truc genre mft ou index de defragmenté ? je sais pas car le probleme est plutot aléatoire ! et je ne fais qu'un rename, meme pas de copy et de plus le repertoire que j'utilise pour les test est vide
    3/ une incidence avec le fait d'utiliser des cluster de 2048 ? l'index ou la mft en est peux être plus dense ?
    4/ trop de fichiers sur les disques et du coup c'est le systeme MFT windows qui ne tient pas la charge ? 

    et aussi Comment avoir des infos sur la MFT ou les index sans faire de defrag -a -v qui me prend des jours pour terminer ?

    merci d'avance pour vos lumieres !
    stephane

    mercredi 10 novembre 2010 09:13

Toutes les réponses

  • Bonjour,

    Est sous 2008 ou 2008 R2? Effectuez-vous les opérations localement (avec un chemin local) ou via le réseau (chemin UNC ou disque connecté à un répertoire partagé).

    D'autres applications tournent-elles également sur le serveur (IIS, DFS, partage de fichiers...), si oui, celles-ci placent-elles un verrou sur certains fichiers et/ou répertoires?

    Utilisez-vous un anti-virus, si oui lequel et avec quelle config d'exclusion?

    Combien de temps dure approximativement le defrag -a -v?

    Avez-vous pu observer les compteurs de type disk Queue Length (http://technet.microsoft.com/en-us/library/cc938625.aspx). Celui-ci reste-t-il au dessus de 2 ou 3 pendant de longues périodes?

    Comment contrôlez-vous le cache système exactement, si c'est bien celui-ci qui prend 8 GB?

    D'avance, merci!


    --- Marc Lognoul [MCSE, MCTS, MVP] Heureux celui qui a pu pénétrer les causes secrètes des choses. Happy is the one who could enter the secret causes of things Blog EN: http://www.marc-antho-etc.net/blog/ Blog FR: http://www.marc-antho-etc.net/blogfr/
    vendredi 12 novembre 2010 18:33
  • bonjour,

    sous 2008 R2. j'effectue les opération localement. uniquement IIS tourne sur le serveur. je ne pense pas que IIS place des verrous sur certains fichiers et/ou répertoires. pas d'enti-virus

    cela fait 1 semaine que j'ai lancer le defrag -a -v il n'a toujours pas terminé :(

    Avergage disk read queue length: 2.5
    Avergage disk write queue length: 2.3

    je controle le cache systeme tout simplement depuis le task manager. de plus lorsque je fais un clean dessus (avec les api windows) j'ai bien la memoire qui descend a de 8Go utilisé à 700Mo utilisé

    merci d'avance

    dimanche 14 novembre 2010 14:08
  • Bonsoir à toutes et tous,

      Bonsoir et  @ _Loki_

      Wouahw .... ! une semaine , vos disques ont intérêt à être bien refroidi , les pauvres ! J'ose croire qu'il y a un disque raid de sécurité sur votre serveur.

    Soyez prudent tout de même car c'est long.

    Est-ce 20 000 000 ou 200 Millions ? C'est énorme , et évidenment cela dépend du nombre de dossiers et sous dossiers .... comme de celui des partitions.

    J'imagine que vous êtes exclusivement en NTFS ( pas de Fat32 par hazard ?)   

    Bonne soirée .

      Bonsoir et @ Marc lognoul : Excusez-moi , mais j'ai une question quelque peu personnelle à vous poser de la part de mon oncle, à qui je dois mes connaissances : aviez-vous une moto répondant au doux nom de "Marguerite" il y a une quinzaine d'années ?

     Désolée , elle peut paraître étrange  mais c'est telle qu'elle m'a été posée. :°)

    Bonne fin de soirée.

    PS : à _ Loki_ : voyez le chapitre "améliorer les performances" , cela peut aider.

    http://fr.wikipedia.org/wiki/NTFS


    A plus..... Cordialement. Hummmm... Seven .. un goût, un parfum, un ..OS venu d'ailleurs ..... Seven !
    • Modifié Loukiana dimanche 14 novembre 2010 19:36 PS
    dimanche 14 novembre 2010 19:23
  • Bonjour et mes excuses pour le retard dans la réponse,

    Je suis d'accord avec toi, je doute que cela soit un problème hardware ou même de perfromance des disques physiques (la file d'attente est normale pour des disques en RAID).

    Donc la MFT est très certainement fragmentée. Cela expliquerait également pourquoi la première opération est lente alors que les suivantes non.

    L'outil "contig" de Sysinternals (http://technet.microsoft.com/en-us/sysinternals/bb897428.aspx) permet de défragmenter des fichiers spécifiques (dont, à ma connaissance, $MFT), mais je ne l'ai jamais testé sur 2008-R2(!)

    Sur le long terme et pour éviter plus de fragmentation, j'augmentairais l'espace préalloué à la MFT mais il faut le faire juste après la création du volume, soit:

    1) Créer un nouveau volume en NTFS

    2) Etendre la réservation de la MFT (http://support.microsoft.com/kb/174619)

    3) Appliquer les paramètres d'optimisation, notamment ceux relayés par Loukiana, guide complet: http://www.microsoft.com/whdc/system/sysperf/perf_tun_srv-r2.mspx

    4) Recopier les fichiers de la partition originale, ce qui aura comme effet de défragementer...

    Je ne pense pas que la taille de clusters jouent dans ce cas. AMHA, elle impacte les performances quand la taille des IO diffère de celle-ci, mais pour un grand nombre d'IO en continu. Ce qui n'est pas le cas des opérations de type rename.

    @Loukiana: Je ne connais pas de "Marguerite"

     


    --- Marc Lognoul [MCSE, MCTS, MVP] Heureux celui qui a pu pénétrer les causes secrètes des choses. Happy is the one who could enter the secret causes of things Blog EN: http://www.marc-antho-etc.net/blog/ Blog FR: http://www.marc-antho-etc.net/blogfr/
    • Modifié Marc Lognoul mardi 16 novembre 2010 11:11 lien manquant
    mardi 16 novembre 2010 11:08