|
Meteomedia ist einer der führenden Wetterdienstleister in Europa. Über 14’000 Wetterstationen liefern permanent meteorologische Messwerte, welche unser Kunde sowohl für Wetterprognosen als auch für Kunden z.B. aus der Energiewirschaft, dem Versicherungsbereich oder den Medien benötigt. Während die Anzahl der Wetterstationen zunimmt, nimmt das Meldeintervall ab. Die zu realisierende Lösung muss sowohl das permanent steigende Datenvolumen verarbeiten können als auch die gestellten Anforderungen bzgl. der Lade- und Abfrageperformance erfüllen. Neben den Wetterdaten werden Prognose- und Klimadaten geladen.
Aufgabenstellung
Messwerte werden von einem vorgeschalteten Decoder als Dateien an die Datenbank geliefert, wobei jede Datei sämtliche Messwerte enthält, die zu einer Stunde gehören. Da es Stationen gibt, die minütlich melden, wird die Datei der aktuellen Stunde ebenfalls etwa im Minutentakt geliefert. Gleichzeitig liefert der Decoder Dateien zu weiterzurückliegenden Zeiträumen, die einige Stunden bis einige Jahre zurückliegen können. Je aktueller die Daten sind, desto schneller müssen sie in die Datenbank importiert werden, aktuelle Stundendateien müssen in nahezu Echtzeit zur Verfügung stehen.
Vorgehensweise
Um den Anforderungen bzgl. Datenmenge und Ladeperformance genügen zu können, wurden verschiedene Ladeprozesse mit unterschiedlichen Ladestrategien realisiert. Abhängig von der Anzahl Dateien für einen Zeitraum und ihrer Priorität werden die jeweiligen Dateien dann einem der Ladeprozessen zugeordnet.
Zur Optimierung der Lade- und Abfrageperformance wurde die Messwerte-Tabelle nach der Zeit Intervall-partitioniert. Hierbei handelt es sich um ein neues Warehousing Feature, welches Oracle seit 11g zur Verfügung stellt. Der besondere Vorteil besteht darin, dass die Partitionen von der Datenbank bei Bedarf automatisch angelegt werden.
Das Datenmodell und die Ladeprozesse wurden mit Hilfe des Oracle Warehouse Builders implementiert. Da die Produktivstufe ein Oracle Real Application Cluster bestehend aus menreren Knoten ist, können die Ladeprozesse für Messwerte und Prognosedaten entsprechend auf die Knoten verteilt werden.
Tools und Technologie
- Oracle Real Application Cluster 11g
- Oracle Warehouse Builder 11g
- Oracle Enterprise Manager 11g
|
Ihr Ansprechpartner:
|
Michael Wilcke
Diese E-Mail-Adresse ist gegen Spambots geschützt! Sie müssen JavaScript aktivieren, damit Sie sie sehen können.
|
|
|
|
|
