Hallo Holger,
von woher werden den die Daten geladen, aus einer SQL Server Datenbank? Ich verwende häufig Delta Loads, da wir viel mit Massendaten zu tun haben.
Die Umsetzung ist recht einfach:
- Alle Quelltabellen haben ein Spalte vom Typ RowVersion, dadurch ist sichergestellt, das jeder geänderte Datensatz erkannt werden kann. Man kann auch DateTime verwenden, nur muss dann z.B. per Trigger sichergestellt werden, dass der Wert bei jedem Update auch
aktualisiert wird.
- Es gibt eine Tabelle, in der der RowVersion Wert des letzten Importes gespeichert wird.
- Am Start des SSIS Paketes zum Transfer wird a) der letzte und b) der aktuelle RowVersion Wert ermittelt; b) am Anfang, damit später auch Daten ermittelt werden können, die während des Transfer geändert wurden.
- Darüber wird dann aus allen Tabellen ermittelt, welche Datensätze seit dem letzten Lauf geändert wurden und nur die werden übertragen. Auf der RowVersion Spalte ist ein Index drauf, damit es zügig geht; RowVersion zu indizieren wird zwar nicht empfohlen und
ist in einem OLTP suboptimal, aber für diesen Fall hilft es.
Bei einem kleinem Projekt mit nur 2 Tabellen lasse ich solch einen Job alle 5 Minuten laufen, um die Daten zeitnah im Zielsystem zu haben; läuft reibungsfrei.
Olaf Helper
[
Blog] [
Xing] [
MVP]
