Ce forum Internet est fermé. Merci beaucoup pour vos contributions.

Remove From My Forums

Rename Tres lent

Discussion générale
0

Connectez-vous pour voter
Bonjour,

j'ai un serveur avec 2 disques dures, et le probleme apparait sur les deux disques (mais ne semble pas apparaitre sur le 3eme disques dure qui contient juste le systeme)

architecture des répertoires sur chaque disque :

wwwroot/servern/pictures/w1000h1000/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w720h720/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w600h600/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w400h400/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w300h300/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w200h200/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w100h100/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w50h50/0..z/0..Z/0..Z/
wwwroot/servern/pictures/w25h25/0..z/0..Z/0..Z/

chacun des repertoires comporte 20 000 000 de fichiers (soit prêt de 200 millions fichiers). cependant afin de gagner en espace, quand un photo est deja dans les bonnes dimmension je créer plutot un "hardlink" vers l'original, ce qui au final me donne plutôt 100 000 000 de fichiers

Les disques sont en production sur un serveur web. la bande passante utilisé par le serveur est de l'ordre de 3 Mega bits / secondes en continue ce qui est aussi le debit ecriture/lecture constant sur les deux disques (resource monitor). les disque sont des SAS 10k 1To

100% de la memoire windows est utilisé par le cache (8Go). cependant
meme en la limitant a 4Go max le cache windows cela ne change pas le probleme

les disques sont formaté avec un cluster de 2048

depuis total commander ou une commande dos :

1/ je copie un fichier sur le disque et je fait simplement
rename test.txt test.jpg
rename test.jpg test.txt
rename test.txt test.jpg
....
a la mano depuis la commande prompte

de temps en temps le commande rename me prend plusieurs longues secondes (voire plusieurs dizaines). quand cela arrive, j'ai le task manager d'ouvert et le debit i/O des disques n'est pas suppérieur à la normal (3MB/s).

en generale c'est le 1er rename, ou le 1er rename apres quelques secondes/minutes de pause qui est long. genre si je fais en boucle dans un fichier .bat
rename test.txt test.jpg
rename test.jpg test.txt
en genrale la boucle se passe bien (hormis le 1er rename). y a quand meme de temps en temps un rename qui rame au milieu de la boucle mais c'est beaucoup plus rare que le 1er rename

voila cette fois je pense avoir vraiment expliqué toutes les données
du probleme, avez vous des avis (hormis windows c'est d'la daube) ?

je pense
1/ pas un probleme hardware car les deux disques on le même probleme (mais le disque systeme lui fonctionne bien)
2/ un truc genre mft ou index de defragmenté ? je sais pas car le probleme est plutot aléatoire ! et je ne fais qu'un rename, meme pas de copy et de plus le repertoire que j'utilise pour les test est vide
3/ une incidence avec le fait d'utiliser des cluster de 2048 ? l'index ou la mft en est peux être plus dense ?
4/ trop de fichiers sur les disques et du coup c'est le systeme MFT windows qui ne tient pas la charge ?

et aussi Comment avoir des infos sur la MFT ou les index sans faire de defrag -a -v qui me prend des jours pour terminer ?

merci d'avance pour vos lumieres !
stephane
- Type modifié Roxana PANAITMicrosoft employee vendredi 19 novembre 2010 15:05 attenye de feedback
mercredi 10 novembre 2010 09:13

Toutes les réponses

0

Connectez-vous pour voter

Bonjour,

Est sous 2008 ou 2008 R2? Effectuez-vous les opérations localement (avec un chemin local) ou via le réseau (chemin UNC ou disque connecté à un répertoire partagé).

D'autres applications tournent-elles également sur le serveur (IIS, DFS, partage de fichiers...), si oui, celles-ci placent-elles un verrou sur certains fichiers et/ou répertoires?

Utilisez-vous un anti-virus, si oui lequel et avec quelle config d'exclusion?

Combien de temps dure approximativement le defrag -a -v?

Avez-vous pu observer les compteurs de type disk Queue Length (http://technet.microsoft.com/en-us/library/cc938625.aspx). Celui-ci reste-t-il au dessus de 2 ou 3 pendant de longues périodes?

Comment contrôlez-vous le cache système exactement, si c'est bien celui-ci qui prend 8 GB?

D'avance, merci!
--- Marc Lognoul [MCSE, MCTS, MVP] Heureux celui qui a pu pénétrer les causes secrètes des choses. Happy is the one who could enter the secret causes of things Blog EN: http://www.marc-antho-etc.net/blog/ Blog FR: http://www.marc-antho-etc.net/blogfr/

vendredi 12 novembre 2010 18:33
0

Connectez-vous pour voter

bonjour,

sous 2008 R2. j'effectue les opération localement. uniquement IIS tourne sur le serveur. je ne pense pas que IIS place des verrous sur certains fichiers et/ou répertoires. pas d'enti-virus

cela fait 1 semaine que j'ai lancer le defrag -a -v il n'a toujours pas terminé :(

Avergage disk read queue length: 2.5
Avergage disk write queue length: 2.3

je controle le cache systeme tout simplement depuis le task manager. de plus lorsque je fais un clean dessus (avec les api windows) j'ai bien la memoire qui descend a de 8Go utilisé à 700Mo utilisé

merci d'avance

dimanche 14 novembre 2010 14:08
0

Connectez-vous pour voter
Bonsoir à toutes et tous,

Bonsoir et @ _Loki_

Wouahw .... ! une semaine , vos disques ont intérêt à être bien refroidi , les pauvres ! J'ose croire qu'il y a un disque raid de sécurité sur votre serveur.

Soyez prudent tout de même car c'est long.

Est-ce 20 000 000 ou 200 Millions ? C'est énorme , et évidenment cela dépend du nombre de dossiers et sous dossiers .... comme de celui des partitions.

J'imagine que vous êtes exclusivement en NTFS ( pas de Fat32 par hazard ?)

Bonne soirée .

Bonsoir et @ Marc lognoul : Excusez-moi , mais j'ai une question quelque peu personnelle à vous poser de la part de mon oncle, à qui je dois mes connaissances : aviez-vous une moto répondant au doux nom de "Marguerite" il y a une quinzaine d'années ?

Désolée , elle peut paraître étrange mais c'est telle qu'elle m'a été posée. :°)

Bonne fin de soirée.

PS : à _ Loki_ : voyez le chapitre "améliorer les performances" , cela peut aider.

http://fr.wikipedia.org/wiki/NTFS

A plus..... Cordialement. Hummmm... Seven .. un goût, un parfum, un ..OS venu d'ailleurs ..... Seven !
- Modifié Loukiana dimanche 14 novembre 2010 19:36 PS
dimanche 14 novembre 2010 19:23
1

Connectez-vous pour voter
Bonjour et mes excuses pour le retard dans la réponse,

Je suis d'accord avec toi, je doute que cela soit un problème hardware ou même de perfromance des disques physiques (la file d'attente est normale pour des disques en RAID).

Donc la MFT est très certainement fragmentée. Cela expliquerait également pourquoi la première opération est lente alors que les suivantes non.

L'outil "contig" de Sysinternals (http://technet.microsoft.com/en-us/sysinternals/bb897428.aspx) permet de défragmenter des fichiers spécifiques (dont, à ma connaissance, $MFT), mais je ne l'ai jamais testé sur 2008-R2(!)

Sur le long terme et pour éviter plus de fragmentation, j'augmentairais l'espace préalloué à la MFT mais il faut le faire juste après la création du volume, soit:

1) Créer un nouveau volume en NTFS

2) Etendre la réservation de la MFT (http://support.microsoft.com/kb/174619)

3) Appliquer les paramètres d'optimisation, notamment ceux relayés par Loukiana, guide complet: http://www.microsoft.com/whdc/system/sysperf/perf_tun_srv-r2.mspx

4) Recopier les fichiers de la partition originale, ce qui aura comme effet de défragementer...

Je ne pense pas que la taille de clusters jouent dans ce cas. AMHA, elle impacte les performances quand la taille des IO diffère de celle-ci, mais pour un grand nombre d'IO en continu. Ce qui n'est pas le cas des opérations de type rename.

@Loukiana: Je ne connais pas de "Marguerite"

--- Marc Lognoul [MCSE, MCTS, MVP] Heureux celui qui a pu pénétrer les causes secrètes des choses. Happy is the one who could enter the secret causes of things Blog EN: http://www.marc-antho-etc.net/blog/ Blog FR: http://www.marc-antho-etc.net/blogfr/
- Modifié Marc Lognoul mardi 16 novembre 2010 11:11 lien manquant
mardi 16 novembre 2010 11:08