Verifikation der Simulationen

meteoblue führt regelmäßige und umfassende Überprüfung eigener und anderer Simulationsmodelle durch, um sie mit den tatsächlichen Mess- und Beobachtungsdaten zu vergleichen. Dadurch stellen wir sicher, dass wir Wetterdaten von höchster Qualität liefern (und kontinuierlich verbessern), sowohl für historische wie auch für Vorhersage-Daten.
meteoblue ist der erste kommerzielle Wetterdienst, der seit 2010 regelmäßig Verifikationsdaten sowie laufend lokale Vergleiche auf der Unternehmenswebsite veröffentlicht.

Warum tun wir das?

  1. Wir sind transparent: unsere Kunden sollen wissen, was sie erhalten;
  2. Wir liefern Qualität: unsere Genauigkeit ist so hoch, das es sich lohnt sie zu zeigen.
  3. Wir sind realistisch: Sie sollten wissen was man von einer Vorhersage erwarten kann - und was nicht.
  4. Wir sind kompetitiv: wenn jemand glaubt, dass wir nicht gut genug sind - zeigen Sie uns, wie man es besser macht.

Was bedeutet meteoblue Qualität? Wir zeigen auf dieser und den Unterseiten einige Beispiele.

Verifikation für Vorhersage und historische Wetterdaten

Numerische Wettervorhersagemodelle wurden in den letzten Jahrzehnten kontinuierlich verbessert. Um 1990 wurde die Vorhersage der Lufttemperatur für 24 Stunden im Voraus (24 Stunden) mit einer Genauigkeit von etwa 70% berechnet. Im Jahr 2018 stieg die Genauigkeit der 24-Stunden-Prognose auf rund 90%. Die 72-Stunden-Prognose ist heute so gut wie die 24-Stunden-Prognose vor 30 Jahren.
In numerischen Wettervorhersagemodellen ist die Genauigkeit der 500-hPa-Geopotentialhöhe sogar noch höher als die Genauigkeit der Simulation für die Lufttemperatur (in 2 Meter Höhe). Die Entwicklung der Modell-Genauigkeit über die letzten Jahrzehnte ist in der folgenden Abbildung dargestellt (Quelle: EZMW).

Drei Hauptfaktoren sind für die Erhöhung der Modellgenauigkeit in den letzten 40 Jahren verantwortlich:

  1. Anfangsbedingungen: Die Daten für die Initialisierung der numerischen Wettervorhersagemodelle werden heute deutlich besser als vor 40 Jahren berechnet. Neue meteorologische Messtechniken (z. B. Satellitenbeobachtungen) und genauere Messungen sind für diese Verbesserung verantwortlich.
  2. Feinere horizontale (und vertikale) Auflösung der numerischen Wettervorhersagemodelle aufgrund einer höheren Rechenleistung.
  3. Bessere Sub-Grid-Parametrisierungen in numerischen Modellen als vor 40 Jahren.

Die Genauigkeit eines Wettersimulationsmodells hängt wesentlich von der gewählten meteorologischen Variable ab. Meteorologische Variablen wie die 2 m Lufttemperatur, der Oberflächendruck oder die 500 hPa-Geopotentialhöhe werden typischerweise mit hoher Genauigkeit berechnet, während andere Variablen (z. B. Niederschlag, Windböen usw.) eine geringere Genauigkeit aufweisen, die typischerweise durch räumliche Schwankungen im kleinen Maßstab verursacht wird, welche von Wettermodellen nicht mehr aufgelöst werden können.

meteoblue Modellgenauigkeit

Im Folgenden zeigen wir die Genauigkeit von Modellen von meteoblue für verschiedene meteorologische Variablen und den Skill von Multi-Modellen, MOS, Reanalysemodellen und unbearbeiteten ("rohen", RAW) numerischen Wettervorhersagemodellen.

Die Überprüfung numerischer Wettervorhersagemodelle ist für alle Beteilgten von großer Relevanz, um zu zeigen, dass Wettervorhersagemodelle eine größere Genauigkeit besitzen als einfache klimatologische Vorhersagen (basierend auf mehrjährigen Durchschnitten) oder Persistenzvorhersagen ("Wetter morgen ist das gleiche wie heute").

Globale Studie im Jahr 2017

Umfang

Vier verschiedene meteorologische Variablen (Lufttemperatur, Windgeschwindigkeit, Niederschlag und Taupunkttemperatur) wurden im Jahr 2017 an mehr als 10'000 verschiedenen Wetterstationen auf der ganzen Welt überprüft, indem die Genauigkeit der Modelldaten verglichen wurde von verschiedenen Wettervorhersagemodellen (RAW, "Stand-alone"), Satellitenbeobachtungen und Reanalyse-Modellen. Darüber hinaus wurde die Modellgenauigkeit verschiedener Post-Processing Methoden mit mehreren Modellen getestet und mit Modellen (RAW, "Stand-Alone") und einer Prognose für 24 Stunden im Voraus (24h) und der Modell-Output-Statistik (MOS) verglichen.

Wir unterscheiden zwischen historischen and Vorhersage- Datensätzen, basierend auf der Verfügbarkeit der Modelldaten.

Zusammenfassung

Die folgende Tabelle zeig den MAE (Mittlerer Absoluter Fehler) auf Stundenbasis für jede Variable (auf Jahresbasis für Jahresniederschlag), über alle Stationen weltweit, im Jahr 2017.

  Modellansatz Lufttemperatur Windgeschw. Jahresniederschlag Taupunkt-Temperatur
Vorhersage meteoblue multi-model 1.2 K - 170 mm -
MOS 1.5 K 1.2 m s-1 - 1.7 K
Vorhersage-Modell 1.7 - 2.2 K 1.5 - 1.7 m s-1 220 - 230 mm 1.9 - 2.4 K
Historisch Reanalyse-Modell 1.5 K 1.5 m s-1 120 - 180 mm 1.6 K

Lufttemperatur

Die 2 m Lufttemperatur wird am besten berechnet vom meteoblue-Multimodell mit MAE-Werten (Mean absolute error, Mittlerer Absoluter Fehler auf Stundenbasis) = 1,2 K. Eine Vorhersage der MOS-Lufttemperatur ist so gut wie die Ergebnisse des Reanalysemodells ERA5 (MAE = 1,5 K), das unter den historische Datensätze eine empfohlene Quelle ist. Die "Stand-Alone" -Modelle für globale Wettervorhersagen bewegen sich im Bereich zwischen 1,7 und 2,2 K.
Damit ist die 6-Tage-Vorhersage des meteoblue-Multi-Modells genauso gut wie die 1-Tage-Prognose eines "Stand-Alone" -Numerischen Wettervorhersagemodells.

Windgeschwindigkeit

Die Modellunsicherheit der simulierten Windgeschwindigkeit (auf 10 m Höhe) beträgt bei Verwendung von "Stand-Alone"-Vorhersagemodellen zwischen 1,5 und 1,7 m/s, und für historische Daten 1,5 m/s bei Verwendung des Reanalysemodells ERA5. Mit MOS kann der Modellfehler der Modellsimulationen auf 1,2 m/s reduziert werden.

Einstrahlung

meteoblue berechnet die Einstrahlung  für die Land- und Meeresoberfläche sowie für alle atmosphärische Schichten und am Boden, sowohl als direktes als auch als indirektes Sonnenlicht, und als reflektierte Strahlung von Wolken oder Oberflächen.
Die meteoblue Simulationen für Globale Einstrahlung an der Erdoberfläche ist über die Kontinente hinweg konsistent und erreicht an 95% aller Orte einen mittleren absoluten Fehler von 1-15% pro Monat.

Niederschlag

Der Modell-"Skill" (Genauigkeit) für tägliche Niederschlags-Ereignisse nimmt mit zunehmender Niederschlagsintensität ab. Numerische Wettervorhersagemodelle liefern für schwache Niederschlagsereignisse die besten Ergebnisse. Bei Starkniederschlägen ist die Genauigkeit von Satellitenbeobachtungen größer als die von numerischen Wettervorhersagemodellen. Die Genauigkeit für tägliche Niederschlagsereignisse konnte nicht erhöht werden durch Mischen von zwei (oder mehr) Modellen.

Für historische Daten werden jährliche Niederschlag-Ssummen am besten mit Satellitenbeobachtungen von CHIRPS2 ermittelt, die bereits vorab mit dem gleichen Datensatz, der in dieser Studie verwendet wird, korrigiert sind. Die Modellperformance von CHIRPS2 in Regionen ohne Stationen wird voraussichtlich deutlich schlechter und wesentlich unbekannter sein.

Taupunkttemperatur

Die Genauigkeit für Taupunkttemperatur ist etwas geringer als die für Lufttemperatur. Die MAE-Werte liegen mit numerischen Wettervorhersagemodelle zwischen 1,9 und 2,4 K und mit einem Reanalyse-Modell bei 1,6 K. Die Genauigkeit von Modellsimulationen mit MOS liegt in einem ähnlichen Bereich wie das Reanalysemodell.

Empfehlungen

Für die Verwendung von flächendeckenden Wetterdaten empfehlen wir folgende Quellen:

  Historisch Vorhersage
Lufttemperatur ERA5 meteoblue learning multi-model (MLM)
Windgeschwindigkeit ERA5 meteoblue MOS und meteoblue model mix
Niederschlag (tägliche Ereignisse)

ERA5 (alle Niederschlags-Ereignisse)

CMORPH (Stark-Niederschläge)

meteoblue learning multi-model (MLM)
Niederschlag (Jahres-Summen) meteoblue historischer Model--Mix meteoblue learning multi-model (MLM)
Dewpoint temperature ERA5 meteoblue MOS und meteoblue model mix

Eine umfassende Verifikationsstudie über Lufttemperatur, Windgeschwindigkeit, Niederschlag und Taupunkttemperatur, die an mehr als 10'000 meteorologische Stationen weltweit für das Jahr 2017 durchgeführt wurde, kann hier heruntergeladen werden (auf Englisch) :

meteoblue verification global Summary 2017 EN 20181113z10.pdf (4,23 MB)

Verifikationsstudie für Europa (2011)

Für Europa wurde 2011 eine Verifikationsstudie durchgeführt, in der die Modellgenauigkeit von Wettermodellen mit einer räumlichen Auflösung von 40, 12 und 3 km für Lufttemperatur und Windgeschwindigkeit unter Verwendung von MOS- und Rohmodellen verglichen wurde an ca. 3000 Stationen. Die Studie (auf Englisch) kann durch Llicken heruntergeladen werden :

meteoblue_NMM_validation_mueller_2011.pdf (1,60 MB)