Hallo Forum,
ich habe bisher nur Erfahrungen mit unserer eigenen Datenbank gesammelt und mir fehlt der Vergleich zu anderen Projekten. Manchmal habe ich aber den Eindruck, dass bei uns hier nicht alles ganz optimal läuft. Ich selbst bin das Bindeglied zwischen Fachabteilung
und IT (was dieses konkrete Projekt angeht), bin aber organisatorisch der Fachabteilung zugeordnet.
Meine fünf Kollegen und ich machen mit der Datenbank im Kundenauftrag Analysen. Die Daten sind nicht personenbezogen - weder direkt noch abgeleitet. Trotzdem sollte niemand außer uns auf die Daten zugreifen können. Leider lässt sich
das wohl nicht vermeiden, dass auch die IT vollen Zugriff hat.
Bei der IT habe ich zwei Ansprechpartner: Einen Datenbank-Experten (der sich aber hauptsächlich mit Oracle beschäftigt) und einen System-Experten, der die Server verwaltet. Wenn ich nach mehr Ressourcen verlange, wird das aber leider meist abgewimmelt
oder einfach nicht reagiert.
Wir haben auf einem virtuellen Win2008R2 (64Bit) einen SQL-Server 2005 (32Bit) laufen. Auf beidem bin ich Administrator. Unsere Platten befinden sich in einem SAN. Auf der C:\-Partition (32GB) ist das Betriebssystem und die Programmdateien und auf der D:\-Partition
(800GB) die Datenbankdateien (mdf/ldf). Alle Platten sind mit NTFS und 4KB Clustern formatiert. Eine Standardtabelle (40GB) enthält 150 Mio. Datensätze. Uns wurden 6 GB RAM und 2 Prozessorkerne je 2,2 GHz zugewiesen. Unser Team besteht aus 6 Personen
wovon 2 immer gleichzeitig die DB nutzen, manchmal aber auch alle. Die tatsächlichen Server sind 4 Hewlett-Packard-Maschinen mit 4x 12-Kern-Prozessoren und je 30GB RAM.
Ein Beispiel für die Performance: Die folgende Abfrage dauerte 29:29 Minuten - also fast eine halbe Stunde...
SELECT Fact_Buland.buland, COUNT_BIG([BigTab].ID) AS Records
FROM [BigTab] INNER JOIN Buland ON LTRIM(RTRIM([BigTab].PLZ)) = LTRIM(RTRIM(Buland.plz))
GROUP BY Buland.buland
[BigTab] hat 150 Mio. Datensätze, [Buland] hat 111111 Datensätze, die Summe über „Records“ betrug 90 Mio.
Sind eine halbe Stunde Laufzeit normal? Die Prozessorauslastung liegt bei dieser Abfrage bei vielleicht höchstens 50%.
Neben der Arbeit mit dem SQL-Server versuchen wir uns an Datamining mit Rapid-i (weil hat mehr und offene Algorithmen im Gegensatz zum Analysis Service). Dort verlangt man aber, dass die gesamte Lerner-Tabelle in den Arbeitsspeicher passt - also vielleicht
20GB? Wären 20GB Arbeitsspeicher angemessen oder völlig abgehoben?
Unsere IT meint, sie habe unseren Server beobachtet und nur selten eine Prozessorauslastung von 100% gesehen. Sie werde den Server weiter beobachten. Unsere Arbeitsabläufe hat sich hier noch keiner angesehen.
Wie ist eure Meinung dazu? Seht Ihr Handlungsbedarf bei unserer IT oder gibt es Optimierungsmöglichkeiten, die ich mir selber überlegen sollte (z. B. LW D:\ komprimieren) oder würdet ihr euch externe Berater ins Haus holen? Für jede Anregung
und jeden Kommentar bin ich dankbar.
Gruß
Alexander
