Di seguito è riportato un riepilogo di vari studi basati su eventi di precipitazione giornalieri. Questi includono gli studi di verifica del 2017 e del 2019 e l'analisi di confronto con i fornitori.

Misure statistiche

Le somme delle precipitazioni giornaliere sono utilizzate per classificare gli eventi di precipitazione. Sono state definite quattro diverse soglie di eventi di precipitazione giornaliera: A seconda dello studio, vengono stimate le precipitazioni superiori a 0,1 mm, 1 mm, 10 mm e 50 mm. Per tutte le opzioni, si valuterà se le precipitazioni sono state previste e se sono state misurate, portando a diversi casi visualizzati nella seguente tabella di contingenza.

Tabella di contingenza che mostra i risultati della relazione tra misurazione e previsione.

		Misurazioni
		SI	NO
Previsione	SI	a "Hit"	b "Falso Allarme"
	NO	c "Miss"	d "Rifiuto corretto"

Per valutare l'accuratezza di una previsione, sono state applicate tre diverse metriche di errore categoriali.

POD (Probability of Detection)

POD calcola la probabilità che un evento di precipitazione misurato sia stato previsto. I valori variano da 0 a 1, di cui 1 significa una previsione perfetta.

FAR (False Alarm Ratio)

FAR calcola il rapporto tra un evento di non precipitazione e tutti gli eventi di precipitazione previsti. I valori sono compresi tra 0 e 1, di cui 0 significa una previsione perfetta.

Le metriche di errore precedentemente descritte danno un'idea dell'accuratezza della previsione, mostrando quanto precisa sia stata la previsione rispetto alle misurazioni. Lo skill, invece, è una misura utilizzata per valutare le caratteristiche di abilità e competenza della previsione rispetto alla previsione standard. POD e FAR sono metriche di errore che non stimano lo skill di un modello. Ad esempio, la percentuale di falsi allarmi nei deserti sarebbe pari a 0 o molto vicina a 0, poiché piove raramente o mai. In questo caso, l'accuratezza della previsione sarebbe stata pari o superiore al 99%. Tuttavia, lo skill score quantifica la performance del modello per ottenere stime casualmente corrette. Pertanto, meteoblue considera anche l'Heidke-Skill-Scrore come skill score.

HSS (Heidke-Skill-Score)

L'HSS è calcolato dalla proporzione di valori correttamente previsti (PC) su tutti i valori e dal valore di fortuna casuale (E), che può essere calcolato anche dai valori della tabella di contingenza (a-d). I valori variano da - ∞ a 1, di cui 1 indica una buona previsione.

Studio di verifica globale 2017

n questo studio sono state utilizzate 6505 misure di precipitazione METAR (distribuite in tutto il mondo) dell'anno 2017 per verificare e confrontare il nostro MultiModello meteoblue con altri modelli di previsione come ERA5, GFS, CHIRPS2 e NEMS.

Risultati

Per i dati storici, le prestazioni del modello ERA5 e del meteoblue MultiModel sono significativamente migliori rispetto all'osservazione satellitare CHIRPS2. Le osservazioni satellitari hanno in genere prestazioni migliori rispetto ai modelli numerici di previsione meteorologica per le precipitazioni intense e per le aree vicine all'equatore. La tabella seguente mostra inoltre che il metoblue MultiModel ha un HSS superiore (o uguale) a quello di ERA5.

Probability of Detection (POD), False Alarm Rates (FAR) e Heidke Skill Score (HSS) per tre diversi eventi di precipitazione giornaliera (1 mm; 10 mm; 50 mm) per il modello storico di rianalisi ERA5, il modello numerico di previsione meteorologica GFS, l'osservazione satellitare CHIRPS2 e il meteoblue MultiModel.

	Precipitazioni giornaliere > 1mm			Precipitazioni giornaliere > 10mm			Precipitazioni giornaliere > 50mm
	POD	FAR	HSS	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.43	0.64	0.35	0.11	0.76	0.14
GFS	0.69	0.54	0.42	0.40	0.69	0.30	0.09	0.83	0.12
CHIRPS2	0.41	0.55	0.30	0.42	0.69	0.31	0.18	0.79	0.19
NEMS	0.60	0.50	0.42	0.39	0.65	0.30	0.09	0.80	0.13
meteoblue MultiModel	0.70	0.49	0.47	0.48	0.64	0.36	0.09	0.73	0.14

Le mappe seguenti mostrano l'HSS per le precipitazioni >1mm/giorno per il modello di rianalisi ERA5 e il meteoblue MultiModel. Non si osservano differenze significative nell'HSS score tra i due modelli. Inoltre, l'HSS score varia molto in tutto il mondo, quindi non è possibile riconoscere alcun modello spaziale.

Studio di verifica globale 2019

L'anno 2019 è stato analizzato approfonditamente in una tesi di laurea distinta (Huonder, 2020). I dati di misurazione delle precipitazioni di 8112 stazioni WMO (distribuite in tutto il mondo) sono stati confrontati con le previsioni di precipitazione sulle 24 ore di diversi modelli (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) per l'anno 2019 (tesi di laurea Huonder, 2020).

Risultati

Il confronto dell'HSS per i diversi mesi mostra che ERA5 si comporta molto bene e raggiunge l'HSS più alto per la maggior parte dei mesi, ad eccezione di novembre e dicembre, dove GFS registra un HSS più alto. L'HSS più alto di tutti i modelli è stato raggiunto a dicembre, mentre i valori più bassi di HSS si verificano nei mesi estivi nell'emisfero settentrionale.

HSS della somma delle precipitazioni mensili per il 2019 (Huonder, 2020)

	Gen	Feb	Mar	Apr	Mag	Giu	Lug	Ago	Sett	Ott	Nov	Dic
ERA5	0.36	0.39	0.39	0.40	0.37	0.35	0.34	0.33	0.38	0.39	0.39	0.41
GFS	0.35	0.38	0.37	0.36	0.33	0.32	0.31	0.31	0.37	0.39	0.41	0.43
MF	0.36	0.39	0.37	0.37	0.34	0.30	0.28	0.29	0.35	0.38	0.38	0.41
NEMS	0.33	0.36	0.35	0.34	0.33	0.31	0.30	0.30	0.35	0.38	0.36	0.38

Sono state condotte verifiche approfondite per due anni distinti, il 2017 e il 2019. Le differenze di skill score basate sugli eventi, ad esempio HSS, POD e FAR, non mostrano variazioni significative tra i diversi anni. Per quantità di precipitazioni giornaliere superiori a 1 mm, considerando l'HSS, il modello di rianalisi ERA5 si è dimostrato migliore in entrambi gli anni rispetto ai modelli di previsione meteorologica (NEMSGLOBAL e GFS). La tabella seguente mostra un confronto delle diverse misure per le somme di precipitazione giornaliera superiori a 1 mm per i modelli esaminati in entrambi gli studi.

Skill score basati sugli eventi per le somme di precipitazioni giornaliere superiori a 1 mm dei modelli analizzati durante gli studi di verifica del 2017 e del 2019.

	Precipitazioni giornaliere > 1 mm (2017)			Precipitazioni giornaliere > 1mm (2019)
	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.56	0.33	0.45
GFS	0.69	0.54	0.42	0.52	0.30	0.43
NEMS	0.60	0.50	0.42	0.56	0.41	0.41

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Analisi della concorrenza

L'analisi della concorrenza tra le nostre previsioni e quelle dei diversi concorrenti permette di valutare la performance delle previsioni di meteoblue sul mercato. I risultati seguenti si riferiscono agli eventi di precipitazione giornalieri. L'analisi si basa su previsioni di precipitazione di 24 ore. L'analisi è stata condotta per il periodo gennaio-giugno 2021 per 100 luoghi del Nord America sulla base delle misurazioni delle precipitazioni di METAR e per 500 luoghi in tutto il mondo sulla base delle misurazioni di GSOD.

Risultati

Per quanto riguarda il Nord America, l'HSS delle previsioni di meteoblue per eventi di precipitazione giornaliera superiori a 1 mm è leggermente superiore a 0,6 e rientra nel range degli altri quattro migliori fornitori di previsioni meteorologiche.

Probability of Detection (POD), False Alarm Rate (FAR) e Heidke Skill Score (HSS) per tre diversi eventi di precipitazione giornaliera (0,1 mm; 1 mm; 10 mm) per diversi fornitori selezionati e per le previsioni di precipitazione di meteoblue in Nord America.

	Eventi > 0.1mm			Eventi > 1mm			Eventi > 10mm
Fornitore	HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
Fornitore A	0.6355	0.8584	0.3015	0.6190	0.8538	0.4113	0.4567	0.5745	0.5781
meteoblue AG	0.6304	0.6988	0.2000	0.6116	0.8596	0.4213	0.4732	0.6596	0.5921
Fornitore B	0.5007	0.6050	0.4706	0.3663	0.6154	0.7037	0.1961	0.1667	0.7500
Fornitore C	0.6403	0.8125	0.2798	0.6431	0.8704	0.3974	0.4841	0.6190	0.5667
Fornitore D	0.6377	0.8163	0.2773	0.6050	0.8012	0.4043	0.4809	0.5957	0.5556
Fornitore E	0.6071	0.7328	0.3144	0.6163	0.8257	0.4410	0.3997	0.3438	0.4762
Fornitore F	0.5125	0.8404	0.3961	0.4421	0.8596	0.5727	0.2832	0.7021	0.7800

Si noti che l'HSS per il Nord America è tipicamente maggiore rispetto a quello per il mondo intero, dove le previsioni di meteoblue raggiungono valori di HSS pari a 0,44 (sulla base dell'analisi tra gennaio e giugno).

Recenti aggiornamenti di questo studio, in cui è stata inclusa anche la seconda metà dell'anno, mostrano un HSS mondiale ancora più alto, pari a 0,49, per le previsioni di meteoblue (per eventi di precipitazione superiori a 1 mm), come mostrato nella tabella seguente:

Probability of Detection (POD), False Alarm Rate (FAR) e Heidke Skill Score (HSS) per tre diversi eventi di precipitazione giornaliera (0,1 mm; 1 mm; 10 mm) per diversi fornitori selezionati e per le previsioni di precipitazione di meteoblue a livello mondiale, considerando tutto l'anno 2021.

	Modello grezzo	Eventi > 0.1mm			Eventi > 1mm			Eventi > 10mm
		HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
1	meteoblue	0.51	0.78	0.40	0.49	0.79	0.47	0.37	0.47	0.62
	Fornitore_C	0.40	0.77	0.48	0.44	0.69	0.48	0.33	0.40	0.63
3	Fornitore_D	0.42	0.89	0.50	0.47	0.80	0.49	0.36	0.46	0.62
2	Fornitore_F	0.44	0.83	0.47	0.47	0.76	0.48	0.35	0.42	0.62
	Fornitore_H	0.36	0.81	0.52	0.37	0.78	0.57	0.23	0.62	0.79

Per tutti gli eventi di precipitazione, le previsioni di meteoblue hanno un HSS più alto rispetto agli altri fornitori selezionati.