none
Cherche Avis des experts : Incrimental Load SSIS 2008

    Soru

  • On travaille depuis deux années sur le datwarehouse dans le métier du Retail , comme vous le saviez , dans ce domaine la performance et la gestion de la volumétrie de données est le plus grand challenge à gagner

    Pour atteindre cet objectif nous avons configuré deux gros serveurs en cluster pour contenir la base de données (32 GO de Ram , 1 TO d’espace disque pour le data et 100 GO pour le LOG) et nous avons opter pour la version 2008 de SQLSERVER en 64 B.

    Nous souffrons actuellement des problèmes liés à la performance : nos packages dures des longes heures et saturent le système ( par exemple un seule module (appro) durent plus de 4 heures)

    J’ai fait un tour sur les forums et les blogs spé____és dans MS BI et j’ai essayé de faire des tests et ci-après les résultats :

    Source : TABLE COMMANDES Seulement l’année 2010 : 36 000 000 de lignes
    Destination : TABLES FACT_CMD Depuis 2007 : 120 000 000 de lignes

    1ère Tentative :
    Détecter les mises à jours en utilisant le Composant LOOKUP  Résultat : Erreur des saturation de mémoire ( enivrent 4 GO de Ram pour 5 Millions de lignes)
    2ème Tentative :
    Détecter les mises à jours en utilisant le Composant MERGEJION  Résultat : Erreur des saturation de mémoire
    3ème Tentative
    Instruction MERGE : Saturation du système ( CPU à 100 %) et un fichier log volumineux malgré que la base est en mode BULKINSERT
    4ème Tentative :
    Jointure de données en utilisant l’instruction Select avec LEFT OUTER JOIN DWH à jour , temps de traitement acceptable
    - Mise à jour en insert OK
    - Mise à jour en update  très lente en utilisant le composant OLDB COMMAND  Solution utilisée l’instruction UPDATE SET … WHERE SOURCE INNER JOIN DESTINATION WHERE Condition de jointure
    - Mise à jour en delete : actuellement j’utilise MERGE (mais j’essaye de voir d’autre solution)


    Merci de me communiquer vos commentaires :

    - Quel est la méthode la plus optimale pour charger un DHW (volumineux) en mode incrémental ??!
    - Comment détecter « que » les mises à jour de J-1 à partir de la PROD sachant que dans les tables sources aucun mouchard n’est configuré ?
    - Est-ce que c’est déconseillé d’utiliser les composants SSIS dans une base de données trop volumineuse et les remplacer par des instructions SQL
    A man's dreams are an index to his greatness
    19 Eylül 2010 Pazar 18:54