Im Folgenden finden Sie eine Zusammenfassung verschiedener Studien, die sich auf Niederschlagssummen beziehen. Dazu gehören die Verifikationsstudien von 2017 und 2019, die Anbietervergleichsanalysen und zudem der Vergleich verschiedener Modelle der NEMS-Modellfamilie.

Globale Verifikationsstudie 2017

m Rahmen dieser Studie wurde das meteoblue MultiModel mit anderen Vorhersagemodellen wie ERA5, GFS, CHIRPS2 und NEMS verglichen. 6505 METAR-Niederschlagsmessungen des Jahres 2017 (weltweit verteilt) wurden verwendet, um die Vorhersagen dieser Modelle zu überprüfen und zu vergleichen.

Ergebnisse

Die Modellgenauigkeit für den Gesamtjahresniederschlag 2017 kann durch die Kombination von zwei (oder mehr) Modellen aus dem Vorhersagedatensatz erheblich gesteigert werden (siehe Abbildungen unten). MFGLOBAL, GEM und GFS überschätzten den Gesamtjahresniederschlag, während NEMSAUTO und ICON den Gesamtjahresniederschlag unterschätzten. Ein positiver und negativer Bias von Rohmodellen könnte zu einer erheblichen Steigerung der Modellgenauigkeit durch die Kombination verschiedener Modelle führen. Mehr als 200 verschiedene Modellkombinationen ergeben einen besseren globalen MBE als das beste Rohmodell (GFS). Sie ergeben auch einen besseren MAE-Wert als das beste Rohmodell (ICON). Somit konnte die systematische Abweichung auf 0 und der MAE auf Werte unter 170 mm reduziert werden. Der Korrelationskoeffizient für die besten Modellkombinationen liegt für den gesamten Jahresniederschlag bei über 0,71, während der Korrelationskoeffizient der einzelnen Rohmodelle weitgehend zwischen 0,53 (GFS) und 0,67 (ICON) schwankt. Die beste Modellgenauigkeit wird in der Regel durch die Kombination von mehr als zwei Modellen erreicht. Bei der Kombination von mehr als zwei Modellen nimmt jedoch die Performance bei einzelnen Ereignissen (z. B. Tagesniederschlag > 1 mm) in der Regel ab. Daher haben wir die besten Modellkombinationen mit nur zwei verschiedenen Modellen separat berechnet.

Globale Verifikationsstudie 2019

Niederschlagsmessdaten von 8112 WMO-Stationen wurden mit den 24h-Niederschlagsvorhersagen verschiedener Modelle (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) für das Jahr 2019 verglichen (Bachelorarbeit Huonder, 2020). Die folgenden Ergebnisse beziehen sich auf die Niederschlagssummen.

Ergebnisse

Die Ergebnisse aus dem Jahr 2019 stimmen sehr gut mit den Ergebnissen aus dem Jahr 2017 überein und zeigen, dass GFS und MFGLOBAL dazu tendieren, die Jahresniederschlagssummen zu überschätzen, während NEMSGLOBAL dazu tendiert, die Jahresniederschlagssummen zu unterschätzen (Tabelle unten). Der niedrigste MAE (und damit das genaueste Modell) ist das Reanalysemodell ERA5.

Mittlerer absoluter Fehler (MAE) [mm], Mean Bias Error (MBE) [mm], mittlerer prozentualer Fehler (MPE) [%], mittlerer quadratischer Fehler (RMSE) [mm] und Standardabweichung (SD) [mm] für die Jahresniederschlagssummen für 8'112 WMO-Stationen im Jahr 2019.

	MAE [mm]	MBE [mm]	MPE [%]	RMSE [mm]	SD [mm]
ERA5	234	-6	-0.8	516	516
GFS05	270	84	10.1	479	472
MFGLOBAL	281	131	15.8	469	450
NEMSGLOBAL	296	-144	-17.5	513	492

Für das Jahr 2019 wurde eine detaillierte Verifikation des Niederschlags für verschiedene Monate durchgeführt, die auf saisonale Abhängigkeiten der Modellgenauigkeit verschiedener Modelle hinweist (Tabelle unten). Für alle Monate schneidet ERA5 sehr gut ab, mit MPE konstant unter 10 %. Die größten Fehler über das ganze Jahr hinweg wurden für GFS und MFGLOBAL im späten Frühling der Nordhemisphäre festgestellt. Die höchsten Fehler bei NEMSGLOBAL wurden im Juli und August festgestellt, während die Fehler im nordhemisphärischen Winter tendenziell geringer sind.

MPE (mittlerer prozentualer Fehler) [%] der monatlichen Niederschlagssumme für 2019.

	Jan	Feb	Mär	Apr	Mai	Jun	Jul	Aug	Sep	Okt	Nov	Dez
ERA5	-6.5	-2.5	0.2	2.6	2.5	-0.4	-2.5	-3.7	-0.6	3.1	-0.7	-0.9
GFS	5.0	6.0	10.1	12.5	15.0	13.6	13.3	8.7	9.1	8.6	10.0	7.3
MF	5.7	12.8	18.6	23.1	21.8	16.3	18.6	11.7	13.6	12.9	18.7	16.4
NEMS	-11.6	-12.6	-12.4	-11.9	-13.9	-23.0	-15.3	-28.6	-20.4	-17.0	-13.6	-11.2

Schließlich wurde für jedes Land die höchste Modellgenauigkeit für die jährlichen Niederschlagssummen analysiert. Die Analyse zeigt, dass keine eindeutigen Muster zu erkennen sind (Karte unten).

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Wettbewerbsanalyse

Die Wettbewerbsanalyse zwischen der meteoblue Vorhersage und verschiedenen Konkurrenten ermöglicht es uns, die Genauigkeit unserer Vorhersage auf dem Markt zu evaluieren. 500 weltweit verteilte Niederschlagsmessungen von GSOD ermöglichten einen Vergleich der Vorhersage von Niederschlagssummen für das gesamte Jahr 2021. Außerdem wurde der Fehler der Niederschlagsprognose für 100 Orte in Nordamerika anhand von METAR-Messungen von Januar 2021 bis Juli 2021 berechnet.

Ergebnisse

Im Durchschnitt wurden 362 mm über die 500 Orte weltweit von GSOD (Global Summary of the Day) für die erste Hälfte des Jahres 2021 aufgezeichnet.. Die meteoblue Vorhersage schätzte 369 mm für die 1-Tages-Vorhersage, was einem Mean Bias Error (MBE) = + 7 mm entspricht. Der MAE für denselben Zeitraum und dieselben Orte beträgt 135 mm.

Darüber hinaus zeigt die untenstehende Tabelle die Fehler in den Niederschlagssummen für Nordamerika in der ersten Hälfte des Jahres 2021 für die meteoblue 24-Stunden-Niederschlagsvorhersage im Vergleich zu 7 Konkurrenten.

Basierend auf den Aktualisierungen dieser Studie wurden im Durchschnitt 712,04 mm über die 500 Orte weltweit von GSOD (global summary of the day) für das gesamte Jahr 2021 aufgezeichnet und die meteoblue Vorhersage schätzte 720,46 mm für die 1-Tages-Vorhersage, was einem Mean Bias Error (MBE) = + 8,42 mm entspricht.

MAE [mm] und MBE [mm] für die meteoblue Vorhersage und 7 Konkurrenten für Januar 2021 bis Juni 2021 in Nordamerika.

Anbieter	MAE [mm]	MBE [mm]
Anbieter A	38.67	29.42
meteoblue AG	42.01	33.37
Anbieter B	39.78	-39.16
Anbieter C	36.00	25.95
Anbieter D	39.33	28.66
Anbieter E	45.99	-45.99
Anbieter F	23.02	-7.24
Anbieter G	201.08	200.91

NEMS verification

Zusätzlich zu den globalen Wettervorhersagemodellen wurden auch regionale Wettervorhersagemodelle getestet, um mögliche Verbesserungen der Modellgenauigkeit durch eine geringere horizontale Auflösung des Modells zu ermitteln. Modelle der NEMS-Familie (NEMS12, NEMS4 und NEMSGLOBAL) wurden mit Daten von 1605 Messstationen in Europa, die von GSOD zur Verfügung gestellt wurden, für die erste Hälfte des Jahres 2021 verifiziert.

Ergebnisse

TDie Modellgenauigkeit nimmt bei den täglichen Niederschlagssummen leicht zu, wenn ein regionales Modell (NEMS12, NEMS4) anstelle eines globalen Modells (NEMSGLOBAL) verwendet wird. Der Unterschied zwischen NEMS4 und NEMS12 ist jedoch nicht signifikant, statt dessen schneidet NEMS12 besser ab als NEMS4 (Abbildung unten).

Für 1644 Stationen in Europa wurden von den Wetterstationen in der ersten Hälfte des Jahres 2021 durchschnittlich 314 mm Niederschlag aufgezeichnet. NEMS4 unterschätzte die Niederschlagsmenge um etwa 20 %. (Die durchschnittliche NEMS4-Niederschlagsmenge beträgt 249 mm). Die Unterschätzung für das Modell NEMS12 beträgt 14 %, für das globale Modell NEMS30 25 %. Dies bedeutet, dass mit abnehmender horizontaler Auflösung die Modellgenauigkeit nicht unbedingt zunimmt.