Di seguito è riportato un riepilogo di vari studi basati sulle somme delle precipitazioni. Tra questi, gli studi di verifica del 2017 e del 2019, le analisi di confronto tra i fornitori e, inoltre, il confronto tra i vari modelli della famiglia di modelli NEMS.

Studio di verifica globale 2017

In questo studio, il meteoblue MultiModel è stato confrontato con altri modelli di previsione come ERA5, GFS, CHIRPS2 e NEMS. 6505 misure di precipitazione METAR dell'anno 2017 (a livello mondiale) sono state utilizzate per verificare e confrontare le previsioni di questi modelli.

Risultati

Le prestazioni del modello per le precipitazioni totali annuali del 2017 possono essere aumentate in modo significativo combinando due (o più) modelli del set di dati di previsione (vedi figure sotto). MFGLOBAL, GEM e GFS sovrastimano le precipitazioni totali annue, mentre NEMSAUTO e ICON le sottostimano. Un bias positivo e negativo dei modelli grezzi potrebbe portare a un aumento significativo delle prestazioni del modello combinando diversi modelli. Più di 200 diverse combinazioni di modelli rappresentano un MBE globale migliore del miglior modello grezzo (GFS). Inoltre, rappresentano un MAE migliore rispetto al miglior modello grezzo (ICON). Di conseguenza, il bias sistematico potrebbe essere ridotto a 0 e il MAE ridotto a valori inferiori a 170 mm. Il coefficiente di correlazione per le migliori combinazioni di modelli è superiore a 0,71 per le precipitazioni totali annuali, mentre il coefficiente di correlazione dei singoli modelli grezzi varia notevolmente da 0,53 (GFS) a 0,67 (ICON). Le migliori prestazioni dei modelli si ottengono in genere combinando più di due modelli. Tuttavia, quando si combinano più di due modelli, le prestazioni di singoli eventi (ad esempio, precipitazioni giornaliere > 1 mm) sono tipicamente in calo. Pertanto, abbiamo calcolato separatamente le migliori combinazioni di modelli con solo due modelli diversi.

Studio di verifica globale 2019

I dati di misurazione delle precipitazioni di 8112 stazioni WMO sono stati confrontati con le previsioni di precipitazione sulle 24 ore di diversi modelli (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) per l'anno 2019 (tesi di laurea Huonder, 2020). I risultati seguenti si riferiscono alle somme delle precipitazioni..

Risultati

I risultati del 2019 coincidono molto bene con quelli del 2017, indicando che GFS e MFGLOBAL tendono a sovrastimare le somme delle precipitazioni annuali, mentre NEMSGLOBAL tende a sottostimare le somme delle precipitazioni annuali (tabella seguente). Il MAE più basso (quindi il modello più accurato) è il modello di rianalisi ERA5.

Errore assoluto medio (MAE) [mm], mean bias error (MBE) [mm], errore percentuale medio (MPE) [%], errore quadratico medio (RMSE) [mm] e deviazione standard (SD) [mm] per le somme annuali di precipitazione per 8'112 stazioni WMO durante il 2019.

	MAE [mm]	MBE [mm]	MPE [%]	RMSE [mm]	SD [mm]
ERA5	234	-6	-0.8	516	516
GFS05	270	84	10.1	479	472
MFGLOBAL	281	131	15.8	469	450
NEMSGLOBAL	296	-144	-17.5	513	492

Per l'anno 2019, è stata condotta una verifica dettagliata delle precipitazioni per diversi mesi, indicando le correlazioni stagionali dell'accuratezza dei diversi modelli (tabella seguente). Per tutti i mesi, ERA5 si rivela molto performante, con un MPE costantemente inferiore al 10%. Gli errori maggiori durante l'anno sono stati riscontrati per GFS e MFGLOBAL nella tarda primavera dell'emisfero settentrionale. Gli errori più elevati in NEMSGLOBAL sono stati riscontrati in luglio e agosto, mentre gli errori tendono a essere minori nell'inverno dell'emisfero settentrionale.

MPE (errore medio percentuale) [%] della somma delle precipitazioni mensili per il 2019.

	Gen	Feb	Mar	Apr	Mag	Giu	Lug	Ago	Set	Ott	Nov	Dic
ERA5	-6.5	-2.5	0.2	2.6	2.5	-0.4	-2.5	-3.7	-0.6	3.1	-0.7	-0.9
GFS	5.0	6.0	10.1	12.5	15.0	13.6	13.3	8.7	9.1	8.6	10.0	7.3
MF	5.7	12.8	18.6	23.1	21.8	16.3	18.6	11.7	13.6	12.9	18.7	16.4
NEMS	-11.6	-12.6	-12.4	-11.9	-13.9	-23.0	-15.3	-28.6	-20.4	-17.0	-13.6	-11.2

Infine, per ogni Paese è stata analizzata la migliore prestazione del modello per le somme annuali delle precipitazioni. L'analisi mostra che non si possono notare modelli evidenti (mappa seguente).

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Analisi della concorrenza

TL'analisi della concorrenza tra le previsioni di meteoblue e i diversi concorrenti ci permette di valutare la performance delle nostre previsioni sul mercato. 500 misure di precipitazioni distribuite in tutto il mondo da GSOD hanno permesso di confrontare la previsione delle somme di precipitazione per tutto l'anno 2021. Inoltre, l'errore di previsione delle precipitazioni per 100 luoghi del Nord America è stato calcolato attraverso le misurazioni METAR da gennaio 2021 a luglio 2021.

Risultati

Nella prima metà dell'anno 2021 sono stati registrati in media 362 mm su 500 luoghi in tutto il mondo dal GSOD (Global Summary of the Day). Le previsioni di meteoblue hanno stimato 369 mm per la previsione a 1 giorno, pari a un mean bias error (MBE) = + 7 mm. Il MAE per lo stesso periodo e gli stessi luoghi è di 135 mm.

Inoltre, la tabella seguente mostra gli errori nelle somme delle precipitazioni per il Nord America nella prima metà del 2021 per le previsioni meteoblue delle 24 ore rispetto a 7 concorrenti.

Secondo gli aggiornamenti di questo studio, in media sono stati registrati 712,04 mm su 500 luoghi in tutto il mondo dal GSOD (global summary of the day) per tutto l'anno 2021 e la previsione di meteoblue ha stimato 720,46 mm per la previsione a 1 giorno, il che equivale a un mean bias error (MBE) = + 8,42 mm.

MAE [mm] e MBE [mm] per le previsioni meteoblue e 7 concorrenti per il periodo gennaio 2021-giugno 2021 in Nord America.

Fornitore	MAE [mm]	MBE [mm]
Fornitore A	38.67	29.42
meteoblue AG	42.01	33.37
Fornitore B	39.78	-39.16
Fornitore C	36.00	25.95
Fornitore D	39.33	28.66
Fornitore E	45.99	-45.99
Fornitore F	23.02	-7.24
Fornitore G	201.08	200.91

Verifica NEMS

Oltre ai modelli di previsione meteorologica globale, sono stati testati anche i modelli di previsione meteorologica regionale, per vedere i potenziali miglioramenti delle prestazioni del modello abbassando la risoluzione orizzontale del modello stesso. I modelli della famiglia NEMS (NEMS12, NEMS4 e NEMSGLOBAL) sono stati verificati con i dati di 1605 stazioni di misurazione forniti da GSOD e situati in Europa per la prima metà dell'anno 2021.

Risultati

Le prestazioni del modello aumentano leggermente per le somme delle precipitazioni giornaliere, quando si utilizza un modello regionale (NEMS12, NEMS4) invece di un modello globale (NEMSGLOBAL). Tuttavia, la differenza tra NEMS4 e NEMS12 non è significativa, anzi NEMS12 si dimostra migliore di NEMS4 (Figura seguente).

Per 1644 stazioni in Europa, le stazioni meteorologiche hanno registrato in media 314 mm di precipitazioni nella prima metà del 2021. NEMS4 ha sottostimato la quantità di precipitazioni di circa il 20%. (La media delle precipitazioni NEMS4 è di 249 mm). La sottostima per il modello NEMS12 è del 14%, per il modello globale NEMS30 del 25%. Ciò implica che con la diminuzione della risoluzione orizzontale l'accuratezza del modello non aumenta necessariamente.