Verifikation von Simulationen

Meteorologische Variablen
Atmospherische Modelle
Datenverfügbarkeit
Räumliche und zeitliche Verifikation 

Wir führen eine umfassende und regelmäßige Überprüfung unserer und anderer Simulationsmodelle durch und vergleichen sie mit den tatsächlichen Mess- und Beobachtungsdaten. Dadurch stellen wir sicher, dass unsere Dienstleistungen Wetterdaten von höchster Qualität liefern (und kontinuierlich verbessern), sowohl historisch als auch vorhergesagt Daten. meteoblue ist der erste kommerzielle Wetterdienst, der seit 2010 regelmäßig Verifikationsdaten auf der Unternehmenswebsite sowie tägliche Aktualisierungen vor Ort veröffentlicht.

Wieso veröffentlichen wir unsere Verifikationen?

  1. Wir sind transparent: Wetter ist kein "Chaos" und unsere Kunden sollten wissen, was sie erhalten.
  2. Wir liefern Qualität: Unsere Genauigkeit ist so hoch, dass es sich lohnt diese zu zeigen.
  3. Wir sind realistisch: Sie sollten wissen, was von einer Prognose zu erwarten ist - und was nicht zu erwarten ist.
  4. Wir sind wettbewerbsfähig: Wenn Sie glauben, dass wir nicht gut genug sind, können Sie uns zeigen, wie wir es besser machen können.

Was bedeutet die Qualität der meteoblue-Simulation? Diese Seite und deren Unterseiten zeigen einige der wichtigsten Studien.

Die Verifikation hat sich in den letzten Jahrzehnten verbessert

Die numerische Wettervorhersagemodelle wurden in den letzten Jahrzehnten kontinuierlich verbessert. 1980 wurde die Vorhersage der Temperatur der nächsten 24 Stunden mit einer Genauigkeit von etwa 70% berechnet. Im Jahr 2018 stieg die Genauigkeit der 24-Stunden-Prognose auf rund 90%. Die 72-Stunden-Prognose ist heute so gut wie die 24-Stunden-Prognose von vor 40 Jahren. In numerischen Wettervorhersagemodellen ist die Genauigkeit der 500-hPa-Geopotentialhöhe sogar noch höher als die Genauigkeit der 2 m Temperatursimulation. Die Entwicklung der Modellgenauigkeiten über die Zeit ist in der folgenden Abbildung dargestellt (Quelle: EZMW).

Evolution of the forecast skill [%] of the 500hPa geopotential height from 1980-2013. (Source: ECMWF, 2013) 

Diese drei Hauptfaktoren sind für die Erhöhung der Modellgenauigkeit in den letzten 40 Jahren verantwortlich:

  1. Die Anfangsbedingungen des numerischen Wettervorhersagemodells werden deutlich besser als vor 40 Jahren geschätzt. Neue meteorologische Messtechniken (z. B. Satellitenbeobachtungen) und genauere Messungen sind für diese Verbesserung verantwortlich.
  2. Feinere horizontale (und vertikale) Auflösung der numerischen Wettervorhersagemodelle aufgrund höherer Rechenleistung.
  3. Bessere Unternetz-Parametrisierung in numerischen Modellen als noch vor 40 Jahren.

Die Genauigkeit eines Wettersimulationsmodells hängt wesentlich von der gewählten meteorologischen Variable ab. Meteorologische Variablen wie 2 m Lufttemperatur, Oberflächendruck oder die geopotentiale Höhe von 500hPA werden normalerweise mit hoher Genauigkeit berechnet, während andere Variablen (z.B. Niederschlag, Windböen usw.) eine geringere Genauigkeit aufweisen, die typischerweise durch räumliche Schwankungen im kleinen Maßstab verursacht wird, welche in Wettermodellen nicht aufgelöst werden.

meteoblue Verifikation für historische und Vorhersagedaten 

Im Folgenden zeigen wir die meteoblue Modellgenauigkeit für verschiedene meteorologische Variablen und die Modellfähigkeit von meteoblue Multimodellen, MOS, Reanalyse-Modellen and eigenständigen ("rohen") numerischen Wettervorhersagemodellen.

Die Überprüfung numerischer Wettervorhersagemodelle ist für alle Beteiligten von großer Bedeutung, um zu zeigen, dass Wettervorhersagemodelle eine größere Modellfähigkeit besitzen als einfache klimatologische Vorhersagen oder Persistenzvorhersagen ("Das Wetter morgen ist dasselbe wie heute").

Reichweite

Die vier verschiedenen meteorologischen Variablen (Temperature, Windgeschwindigkeit, Niederschlag und Taupunkttemperatur) wurden im Jahr 2017 an mehr als 10.000 verschiedenen Wetterstationen auf der ganzen Welt verifiziert, indem die Modellgenauigkeit verschiedener Rohwettervorhersagemodelle ("eigenständige Modelle"), Satellitenbeobachtungen und Reanalyse-Modelle analysiert wurde. Darüber hinaus wurde die Modellgenauigkeit verschiedener Multimodell-Ansätze getestet und mit Rohwettervorhersagemodellen ("eigenständige Modelle") und einer Vorhersage von 24 Stunden anhand der Modellausgabestatistik (MOS) verglichen.
Wir unterscheiden zwischen historischen Datensätzen und Vorhersagedaten, basierend auf der Verfügbarkeit der Modelldaten.

Zusammenfassung

Die folgende Tabelle zeigt den MAE (mittlerer absoluter Fehler in K) auf Stundenbasis (auf Jahresbasis für den jährlichen Niederschlag), welcher für jede Methode und Variable in weltweit 10.000 Wetterstationen für 2017 ermittelt wurde.

Comparison of the mean absolute error (MAE) for four different meteorological parameters for more than 10'000 weather stations worldwide. The analysis was conducted based on measurements recorded in 2017.
  Modellansatz Lufttemperature Windgeschwindigkeit Jährlicher Niederschlag Taupunkttemperatur
Forecast meteoblue Learning Multi-Model 1.2 K - 170 mm -
MOS 1.5 K 1.2 m s-1 - 1.7 K
Wettervorhersage-Modelle 1.7 - 2.2 K 1.5 - 1.7 m s-1 220 - 230 mm 1.9 - 2.4 K
History Echtzeit Updates (NEMS30) 2.1 K 1.7 m s-1 220 mm 2.2 K
  Reanalyse-Modell 1.5 K 1.5 m s-1 120 - 180 mm 1.6 K

Empfehlungen

Betreffend der Genauigkeit empfehlen wir folgende Quellen für räumliche (weltweite) Wetterdaten:

  Reanalyse History Forecast
Temperatur ERA5 NEMS local, NEMS30 meteoblue Learning Multimodel (mLM)
Windgeschwindigkeit ERA5 NEMS local, NEMS30 meteoblue MOS and meteoblue model mix
Niederschlag (täglich)

ERA5 (alle Niederschläge)

CMORPH (starke Niederschläge)

NEMS local, NEMS30 meteoblue Learning Multimodel (mLM)
Niederschlag (Jahressumme) historischer meteoblue Modell-Mix historischer meteoblue Modell-Mix meteoblue Learning Multimodel (mLM)
Taupunkttemperatur ERA5 NEMS local, NEMS30 meteoblue MOS and meteoblue Modell-Mix

Für die historische Analyse bieten Reanalyse-Modelle die höchste Genauigkeit. Sie sind jedoch nur mit einer Zeitverzögerung von 2-5 Tagen (CMORPH) und bis 2-3 Monaten (ERA5) verfügbar und decken noch nicht 20 Jahre ab. Für Anwendungen mit Echtzeit-Updates, Konsistenz- und Zeitverlängerungen über 30 Jahre und mehreren Variablen ist NEMS30 derzeitig die einzige verfügbare Lösung.

Weitere Informationen zur Verifikation der historischen und Prognosedaten finden Sie hier:

Meteorologische Variablen

Temperatur

Die 2 m Temperatur wird mit dem  meteoblue Learning Multimodel (MLM) mit einem Wert von MAE = 1.2 K am besten berechnet. Das MOS liefert dieselbe Genauigkeit wie das für historische Daten empfohlene Modell ERA5 (MAE = 1.5 K). Die "eigenständigen" (RAW) globalen Wettervorhersage Modelle bewegen sich in einem Bereich zwischen 1.7 und 2.2 K. Daher ist die 6-Tage Vorhersage des meteoblue-Multimodells genauso gut wie die 1-Tages-Vorhersage eines "eigenständigen" (RAW) numerischen Wettervorhersagemodells. 

Windgeschwindigkeit

Die Modell-Unsicherheit der prognostizierten 10m Windgeschwindigkeit liegt bei Verwendung des "eigenständigen" Wettervorhersagemodell zwischen 1.5 – 1.7 m s-1 und für historische Daten unter Verwendung des Reanalyse-Modells ERA5 1.5 m s-1. Der Modellfehler könnte für Modellsimulationen mit MOS auf 1.2 m s-1 reduziert werden.

 

Strahlung

meteoblue berechnet  Strahlung für Landes- und Meeresoberflächen sowie für atmosphärische Schichten, sowohl direktes und indirektes Sonnenlicht als auch reflektierte Strahlung von Wolken oder Oberflächen. Die meteoblue-Simulationen für die globale Oberflächenstrahlung sind über die Kontinente hinweg konsistent und erreichen bei 95% aller Orte einen monatlichen absoluten Fehler von 1-15%.

Niederschlag

Die Modellfähigkeit der täglichen  Niederschlagsereignisse nimmt mit zunehmender Niederschlagsintensität ab. Numerische Wettervorhersagemodelle sind die beste Quelle für die Erkennung kleiner Niederschlagsereignisse. Bei starken Niederschlägen ist die Modellfähigkeit von Satellitenbeobachtungen größer als bei numerischen Wettervorhersagemodellen. Die Modellfertigkeit könnte nicht durch das Kombinieren von zwei (oder mehreren) Modellen für tägliche Niederschlagsereignisse erhöht werden.
Für historische Daten werden die jährlichen Niederschlagssummen mit Satellitenbeobachtungen von CHIRPS2 am besten berechnet, die mit dem gleichen Messdatensatz, der für die Überprüfung in dieser Studie verwendet wurde, korrigiert sind. Es wird daher angenommen, dass die Modellgenauigkeit von CHIRPS2 in Regionen ohne Messstationen deutlich niedriger und in gewissem Maße unbekannt ist.

Taupunkttemperatur

Die Modellgenauigkeit für die Taupunkttemperatur ist etwas niedriger als die Modellgenauigkeit für die Temperatur. Die MAE-Werte liegen für numerische Wettervorhersagemodelle zwischen 1,9 und 2,4 K und für ein Reanalyse-Modell bei 1,6 K.

Verifikationsstudien

Eine umfassende Verifikationsstudie über Temperatur, Windgeschwindigkeit, Niederschlag und Taupunkttemperatur, die weltweit für mehr als 10.000 Wetterstationen für das Jahr 2017 durchgeführt wurde, kann hier heruntergeladen werden:

meteoblue verification global Summary 2017 EN 20181113z10.pdf (4,23 MB)

Für Europa wurde 2011 eine Verifikationsstudie durchgeführt, in der die Modellgenauigkeit von Wettermodellen mit einer räumlichen Auflösung, von 40, 12 und 3 km sowie Temperatur und Windgeschwindigkeit unter Verwendung von MOS- und Rohmodellen verglichen wurde. Die Studie kann hier heruntergeladen werden:

meteoblue_NMM_validation_mueller_2011.pdf (1,60 MB)