Im Folgenden finden Sie eine Zusammenfassung verschiedener Studien, die auf täglichen Niederschlagsereignissen basieren. Dazu zählen die Verifikationsstudien von 2017 und 2019 sowie die Anbietervergleichsanalyse.

Statistische Kennzahlen

Zur Klassifizierung von Niederschlagsereignissen werden Tagesniederschlagssummen verwendet. Es sind vier verschiedene Schwellenwerte für Tagesniederschlagsereignisse definiert: Je nach Studie werden Niederschlagssummen über 0,1 mm, 1 mm, 10 mm und 50 mm geschätzt. Für alle Optionen wird bewertet, ob der Niederschlag vorhergesagt oder gemessen wurde, was zu verschiedenen Fällen führt, wie in der folgenden Kontingenztabelle dargestellt.

Kontingenztabelle, die Ergebnisse der Beziehung zwischen Messung und Vorhersage anzeigt.

		Messungen
		JA	NEIN
Vorhersage	JA	a "Treffer"	b "Falscher Alarm"
	NEIN	c "Verpasser"	d "Korrekte Ablehnung"

Um die Genauigkeit einer Vorhersage zu evaluieren, wurden drei verschiedene Fehlermetriken verwendet.

POD (Probability of Detection)

POD berechnet die Wahrscheinlichkeit, mit der ein gemessenes Niederschlagsereignis vorhergesagt wurde. Die Werte liegen zwischen 0 und 1, wobei 1 eine perfekte Vorhersage bedeutet.

FAR (False Alarm Ratio)

FAR berechnet das Verhältnis eines Nicht-Niederschlagsereignisses zu allen vorhergesagten Niederschlagsereignissen. Die Werte liegen zwischen 0 und 1, wobei 0 eine perfekte Vorhersage bedeutet.

Die zuvor beschriebenen Fehlermetriken vermitteln eine Vorstellung von der Genauigkeit der Vorhersage und zeigen, wie genau die Vorhersage im Vergleich zu den Messungen war. Der Skill hingegen ist ein Maß, mit dem die Fähigkeits- und Leistungsmerkmale der Prognose gegenüber der Standardprognose bewertet werden. POD und FAR sind Fehlermetriken, die nicht den Skill eines Modells bewerten. Beispielsweise wäre die Falschalarmrate in Wüsten auch 0 oder sehr nahe bei 0, da es selten oder nie regnet. In diesem Fall läge die Vorhersagegenauigkeit ebenfalls bei oder über 99 %. Ein Skill-Score quantifiziert jedoch die Güte des Modells in Bezug auf zufällige korrekte Schätzungen. Daher verwendet meteoblue zusätzlich den Heidke-Skill-Scrore als Skill-Score.

HSS (Heidke-Skill-Score)

Der HSS berechnet sich aus dem Anteil der richtig vorhergesagten Werte (PC) an allen Werten und dem Zufallstrefferwert (E), der auch aus den Werten der Kontingenztabelle (a-d) berechnet werden kann. Die Werte reichen von - ∞ bis 1, wobei 1 eine gute Vorhersage bedeutet.

Globale Verifikationsstudie 2017

In dieser Studie wurden 6505 METAR-Niederschlagsmessungen (weltweit verteilt) aus dem Jahr 2017 verwendet, um unser meteoblue MultiModel zu verifizieren und mit anderen Vorhersagemodellen wie ERA5, GFS, CHIRPS2 und NEMS zu vergleichen.

Ergebnisse

Für historische Daten ist die Modellgenauigkeit von ERA5 und dem meteoblue MultiModel deutlich besser als die der Satellitenbeobachtung CHIRPS2. Satellitenbeobachtungen schneiden in der Regel bei Starkniederschlägen und in äquatornahen Gebieten besser ab als numerische Wettervorhersagemodelle. Die folgende Tabelle zeigt auch, dass das metoblue MultiModel eine höhere (oder gleiche) HSS hat als ERA5.

Probability of Detection (POD), False Alarm Rates (FAR) und Heidke Skill Score (HSS) für drei verschiedene tägliche Niederschlagsereignisse (1 mm; 10 mm; 50 mm) für das historische Reanalysemodell ERA5, das numerische Wettervorhersagemodell GFS, die Satellitenbeobachtung CHIRPS2 und das meteoblue MultiModel.

	Täglicher Niederschlag > 1mm			Täglicher Niederschlag > 10mm			Täglicher Niederschlag > 50mm
	POD	FAR	HSS	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.43	0.64	0.35	0.11	0.76	0.14
GFS	0.69	0.54	0.42	0.40	0.69	0.30	0.09	0.83	0.12
CHIRPS2	0.41	0.55	0.30	0.42	0.69	0.31	0.18	0.79	0.19
NEMS	0.60	0.50	0.42	0.39	0.65	0.30	0.09	0.80	0.13
meteoblue MultiModel	0.70	0.49	0.47	0.48	0.64	0.36	0.09	0.73	0.14

Die folgenden Karten zeigen die HSS für Niederschlag >1mm/Tag für das Reanalysemodell ERA5 und das meteoblue MultiModel. Beim Vergleich der beiden Modelle sind keine signifikanten Unterschiede im HSS-Score zu erkennen. Außerdem variiert der HSS-Score stark über die ganze Welt, so dass keine räumlichen Muster zu erkennen sind.

Globale Verifikationsstudie 2019

Das Jahr 2019 wurde in einer separaten Bachelorarbeit detailliert analysiert (Huonder, 2020). Niederschlagsmessdaten von 8112 WMO-Stationen (weltweit verteilt) wurden mit der 24h-Niederschlagsvorhersage verschiedener Modelle (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) für das Jahr 2019 verglichen (Bachelorarbeit Huonder, 2020).

Ergebnisse

Ein Vergleich des HSS für verschiedene Monate zeigt, dass ERA5 sehr gut abschneidet und den höchsten HSS für die Mehrzahl der Monate erreicht, mit Ausnahme von November und Dezember, wo GFS einen höheren HSS aufweist. Die höchsten HSS-Werte aller Modelle wurden im Dezember erreicht, die niedrigsten HSS-Werte treten in den Sommermonaten der Nordhemisphäre auf.

HSS der monatlichen Niederschlagssumme für 2019 (Huonder, 2020)

	Jan	Feb	Mär	Apr	Mai	Jun	Jul	Aug	Sep	Okt	Nov	Dez
ERA5	0.36	0.39	0.39	0.40	0.37	0.35	0.34	0.33	0.38	0.39	0.39	0.41
GFS	0.35	0.38	0.37	0.36	0.33	0.32	0.31	0.31	0.37	0.39	0.41	0.43
MF	0.36	0.39	0.37	0.37	0.34	0.30	0.28	0.29	0.35	0.38	0.38	0.41
NEMS	0.33	0.36	0.35	0.34	0.33	0.31	0.30	0.30	0.35	0.38	0.36	0.38

Es wurden eingehende Verifikationen für zwei separate Jahre 2017 und 2019 durchgeführt. Die Unterschiede in den ereignisbasierten Skill-Scores, z. B. HSS, POD und FAR, zeigen keine signifikanten Veränderungen zwischen den verschiedenen Jahren. Für tägliche Niederschlagsmengen von mehr als 1 mm schneidet das Reanalysemodell ERA5 unter Berücksichtigung des HSS in beiden Jahren besser ab als die Wettervorhersagemodelle (NEMSGLOBAL und GFS). Die nachstehende Tabelle zeigt einen Vergleich der verschiedenen Maßzahlen für Tagesniederschlagssummen über 1 mm für die Modelle, die in beiden Studien untersucht wurden.

Ereignisbasierte Skill-Scores für tägliche Niederschlagssummen über 1 mm der Modelle, die während der Verifikationsstudien von 2017 und 2019 analysiert wurden.

	Täglicher Niederschlag > 1 mm (2017)			Täglicher Niederschlag > 1 mm (2019)
	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.56	0.33	0.45
GFS	0.69	0.54	0.42	0.52	0.30	0.43
NEMS	0.60	0.50	0.42	0.56	0.41	0.41

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Wettbewerbsanalyse

Die Wettbewerbsanalyse zwischen unserer Vorhersage und verschiedenen Konkurrenten erlaubt es, die Genauigkeit der meteoblue Vorhersage auf dem Markt zu evaluieren. Die folgenden Ergebnisse beziehen sich auf tägliche Niederschlagsereignisse. Die Analyse basiert auf einer 24-Stunden-Niederschlagsvorhersage. Die Analyse wurde für Januar bis Juni 2021 für 100 Orte in Nordamerika basierend auf Niederschlagsmessungen von METAR und für 500 Orte weltweit basierend auf GSOD Messungen durchgeführt.

Ergebnisse

In Nordamerika liegt der HSS der meteoblue Vorhersage für tägliche Niederschlagsereignisse von mehr als 1 mm leicht über 0,6 und im Bereich der besten vier anderen meteorologischen Wettervorhersagen.

Probability of Detection (POD), False Alarm Rates (FAR) und Heidke Skill Score (HSS) für drei verschiedene tägliche Niederschlagsereignisse (0,1 mm; 1 mm; 10 mm) für mehrere ausgewählte Anbieter und die meteoblue Niederschlagsvorhersage in Nordamerika.

	Ereignisse > 0.1mm			Ereignisse > 1mm			Ereignisse > 10mm
Anbieter	HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
Anbieter A	0.6355	0.8584	0.3015	0.6190	0.8538	0.4113	0.4567	0.5745	0.5781
meteoblue AG	0.6304	0.6988	0.2000	0.6116	0.8596	0.4213	0.4732	0.6596	0.5921
Anbieter B	0.5007	0.6050	0.4706	0.3663	0.6154	0.7037	0.1961	0.1667	0.7500
Anbieter C	0.6403	0.8125	0.2798	0.6431	0.8704	0.3974	0.4841	0.6190	0.5667
Anbieter D	0.6377	0.8163	0.2773	0.6050	0.8012	0.4043	0.4809	0.5957	0.5556
Anbieter E	0.6071	0.7328	0.3144	0.6163	0.8257	0.4410	0.3997	0.3438	0.4762
Anbieter F	0.5125	0.8404	0.3961	0.4421	0.8596	0.5727	0.2832	0.7021	0.7800

Beachten Sie, dass der HSS für Nordamerika in der Regel höher ist als für die gesamte Welt, wo die meteoblue Vorhersage HSS-Werte von 0,44 erreicht (basierend auf der Analyse zwischen Januar und Juni).

Jüngste Aktualisierungen dieser Studie, bei denen auch die zweite Jahreshälfte einbezogen wurde, zeigen einen noch höheren weltweiten HSS-Wert von 0,49 für die meteoblue Vorhersage (für Niederschlagsereignisse von mehr als 1 mm), wie in der folgenden Tabelle dargestellt:

Probability of Detection (POD), False Alarm Rates (FAR) und Heidke Skill Score (HSS) für drei verschiedene tägliche Niederschlagsereignisse (0,1 mm; 1 mm; 10 mm) für mehrere ausgewählte Anbieter und die meteoblue Niederschlagsvorhersage weltweit für das gesamte Jahr 2021.

	Rohmodell	Ereignisse > 0.1mm			Ereignisse > 1mm			Ereignisse > 10mm
		HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
1	meteoblue	0.51	0.78	0.40	0.49	0.79	0.47	0.37	0.47	0.62
	Anbieter_C	0.40	0.77	0.48	0.44	0.69	0.48	0.33	0.40	0.63
3	Anbieter_D	0.42	0.89	0.50	0.47	0.80	0.49	0.36	0.46	0.62
2	Anbieter_F	0.44	0.83	0.47	0.47	0.76	0.48	0.35	0.42	0.62
	Anbieter_H	0.36	0.81	0.52	0.37	0.78	0.57	0.23	0.62	0.79

Für alle Niederschlagsereignisse weist die meteoblue Vorhersage einen höheren HSS auf als die anderen ausgewählten Anbieter.