Vous trouverez ci-dessous un résumé des différentes études basées sur les précipitations quotidiennes. Il s'agit notamment des études de vérification de 2017 et 2019 ainsi que de l'analyse comparative des fournisseurs différents.

Mesures statistiques

Les sommes des précipitations quotidiennes sont utilisées pour classer les événements de précipitations. Quatre seuils différents de précipitations quotidiennes sont définis : Selon l'étude, les précipitations supérieures à 0,1 mm, 1 mm, 10 mm et 50 mm sont estimées. Pour toutes les options, on évaluera si les précipitations ont été prévues et si elles ont été mesurées, ce qui conduira à différents cas présentés dans le tableau de contingence suivant.

Tableau de contingence affichant les résultats de la relation entre la mesure et la prévision.

		Mesures
		OUI	NON
Prévision	OUI	a "Succès"	b "Fausse alerte"
	NON	c "Échec"	d "Rejet correct"

Afin d'évaluer la précision d'une prévision, trois mesures d'erreurs catégorielles différentes ont été appliquées.

POD (Probabilité de détection)

POD calcule la probabilité qu'un événement de précipitations mesuré soit prévu. Les valeurs sont comprises entre 0 et 1, 1 étant la meilleure valeur.

FAR (Taux de fausses alarmes)

FAR calcule le rapport entre un événement sans précipitations et tous les événements de précipitations prévus. Les valeurs sont comprises entre 0 et 1, 0 étant la meilleure valeur.

Les mesures d'erreur décrites précédemment donnent une idée de la précision de la prévision, en montrant à quel point la prévision était précise par rapport aux mesures. La compétence, quant à elle, est une mesure utilisée pour évaluer les caractéristiques de capacité et de compétence de la prévision par rapport à la prévision standard. Le POD et le FAR sont des mesures d'erreur qui n'évaluent pas la compétence d'un modèle. Par exemple, le taux de fausses alarmes dans les déserts serait également de 0 ou très proche de 0 car il pleut rarement ou jamais. Dans ce cas, la précision des prévisions aurait également été de l'ordre de 99 % ou plus. Cependant, un score de compétence quantifie la performance du modèle pour les estimations aléatoires correctes. C'est pourquoi meteoblue considère également l'indice Heidke comme un score de compétence.

Indice Heidke (HSS)

L'indice Heidke est calculé à partir de la proportion de valeurs correctement prédites (PC) sur l'ensemble des valeurs et de la valeur de chance aléatoire (E), qui peut également être calculée à partir des valeurs du tableau de contingence (a-d). des valeurs du tableau de contingence (a-d). Les valeurs vont de - ∞ à 1, 1 signifiant une bonne prévision.

Étude de vérification mondiale 2017

Tout au long de cette étude, 6505 mesures de précipitations METAR (distribuées dans le monde entier) de l'année 2017 ont été utilisées pour vérifier et comparer notre MultiModel meteoblue avec d'autres modèles de prévision comme ERA5, GFS, CHIRPS2 et NEMS.

Résultats

Pour les données historiques, les performances du modèle ERA5 et du meteoblue MultiModel sont nettement supérieures à celles de l'observation satellitaire CHIRPS2. Les observations par satellite sont généralement plus performantes que les modèles numériques de prévision météorologique pour les fortes précipitations et les zones proches de l'équateur. Le tableau suivant montre également que le MultiModel metoblue a un indice Heidke plus élevé (ou identique) que ERA5.

Probabilité de détection (POD), taux de fausses alarmes (FAR) et indice Heidke (HSS) pour trois événements de précipitations quotidiens différents (1 mm ; 10 mm ; 50 mm) pour le modèle de réanalyse historique ERA5, le modèle de prévision météorologique numérique GFS, l'observation par satellite CHIRPS2 et le MultiModel de meteoblue.

	Précipitations quotidiennes > 1mm			Précipitations quotidiennes > 10mm			Précipitations quotidiennes > 50mm
	POD	FAR	HSS	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.43	0.64	0.35	0.11	0.76	0.14
GFS	0.69	0.54	0.42	0.40	0.69	0.30	0.09	0.83	0.12
CHIRPS2	0.41	0.55	0.30	0.42	0.69	0.31	0.18	0.79	0.19
NEMS	0.60	0.50	0.42	0.39	0.65	0.30	0.09	0.80	0.13
meteoblue MultiModel	0.70	0.49	0.47	0.48	0.64	0.36	0.09	0.73	0.14

Les cartes suivantes montrent le HSS pour les précipitations >1mm/jour pour le modèle de réanalyse ERA5 et le meteoblue MultiModel. Aucune différence significative ne peut être observée dans le HSS en comparant les deux modèles. En outre, le HSS varie considérablement à travers le monde, de sorte qu'aucune tendance spatiale ne peut être identifiée.

Étude de vérification mondiale 2019

L'année 2019 a été analysée en détail dans une thèse séparé (Huonder, 2020). Les données de mesure des précipitations de 8112 stations de l'OMM (réparties dans le monde entier) ont été comparées aux prévisions de précipitations à 24h de différents modèles (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) pour l'année 2019 (Mémoire de Bachelor Huonder, 2020).

Results

Une comparaison des HSS pour différents mois montre qu'ERA5 est très performant et atteint le HSS le plus élevé pour la majorité des mois, à l'exception des mois de novembre et décembre, où GFS a un HSS plus élevé. Novembre et Décembre, où GFS a un HSS plus élevé. Les valeurs de RSS les plus élevées de tous les modèles ont été obtenues en décembre, les valeurs de RSS les plus basses étant obtenues pendant les mois d'été de l'hémisphère nord.

HSS de la somme des précipitations mensuelles pour 2019 (Huonder, 2020)

	Jan	Fév	Mars	Avr	Mai	Juin	Juil	Août	Sept	Oct	Nov	Déc
ERA5	0.36	0.39	0.39	0.40	0.37	0.35	0.34	0.33	0.38	0.39	0.39	0.41
GFS	0.35	0.38	0.37	0.36	0.33	0.32	0.31	0.31	0.37	0.39	0.41	0.43
MF	0.36	0.39	0.37	0.37	0.34	0.30	0.28	0.29	0.35	0.38	0.38	0.41
NEMS	0.33	0.36	0.35	0.34	0.33	0.31	0.30	0.30	0.35	0.38	0.36	0.38

Des vérifications intensives ont été menées pour deux années distinctes, 2017 et 2019. Les différences dans les scores de compétence basés sur les événements, par exemple HSS, POD et FAR, ne montrent pas de changements significatifs entre les différentes années. Pour les quantités de précipitations quotidiennes supérieures à 1 mm, si l'on considère le HSS, le modèle de réanalyse ERA5 est plus performant pour les deux années que les modèles de prévisions météorologiques (NEMSGLOBAL et GFS). Le tableau ci-dessous montre une comparaison des différentes mesures pour les sommes de précipitations quotidiennes supérieures à 1 mm pour les modèles qui ont été examinés dans les deux études.

Scores de compétence basés sur les événements pour les sommes de précipitations quotidiennes supérieures à 1 mm des modèles analysés lors des études de vérification de 2017 et 2019.

	Précipitations quotidiennes > 1 mm (2017)			Précipitations quotidiennes > 1mm (2019)
	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.56	0.33	0.45
GFS	0.69	0.54	0.42	0.52	0.30	0.43
NEMS	0.60	0.50	0.42	0.56	0.41	0.41

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Analyse de la concurrence

L'analyse de la concurrence entre nos prévisions et celles de différents concurrents permet d'évaluer la performance des prévisions de meteoblue sur le marché. Les résultats suivants concernent les précipitations quotidiennes. L'analyse est basée sur les prévisions de précipitations à 24h. L'analyse a été menée de janvier à juin 2021 pour 100 lieux en Amérique du Nord sur la base des mesures de précipitations METAR et pour 500 sites dans le monde sur la base des mesures GSOD.

Résultats

En Amérique du Nord, le HSS de la prévision meteoblue pour les précipitations quotidiennes supérieures à 1 mm est légèrement supérieur à 0,6 et se situe dans la gamme des quatre meilleurs autres fournisseurs de prévisions météorologiques.

Probabilité de détection (POD), taux de fausses alarmes (FAR) et score de compétence de Heidke (HSS) pour trois différents événements de précipitations quotidiens (0,1 mm ; 1 mm ; 10 mm) pour différents fournisseurs sélectionnés et les prévisions de précipitations de meteoblue en Amérique du Nord.

	Evénements > 0.1mm			Evénements > 1mm			Evénements > 10mm
Fournisseur	HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
Fournisseur A	0.6355	0.8584	0.3015	0.6190	0.8538	0.4113	0.4567	0.5745	0.5781
meteoblue AG	0.6304	0.6988	0.2000	0.6116	0.8596	0.4213	0.4732	0.6596	0.5921
Fournisseur B	0.5007	0.6050	0.4706	0.3663	0.6154	0.7037	0.1961	0.1667	0.7500
Fournisseur C	0.6403	0.8125	0.2798	0.6431	0.8704	0.3974	0.4841	0.6190	0.5667
Fournisseur D	0.6377	0.8163	0.2773	0.6050	0.8012	0.4043	0.4809	0.5957	0.5556
Fournisseur E	0.6071	0.7328	0.3144	0.6163	0.8257	0.4410	0.3997	0.3438	0.4762
Fournisseur F	0.5125	0.8404	0.3961	0.4421	0.8596	0.5727	0.2832	0.7021	0.7800

Il est à noter que le HSS pour l'Amérique du Nord est généralement plus important que pour le monde entier, où les prévisions meteoblue atteignent des valeurs de HSS de 0,44 (sur la base de l'analyse entre janvier et juin).

Des mises à jour récentes de cette étude, où le second semestre a également été pris en compte, montrent un HSS mondial encore plus élevé de 0,49 pour la prévision meteoblue (pour les précipitations supérieures à 1 mm), comme le montre le tableau ci-dessous :

Probabilité de détection (POD), taux de fausses alarmes (FAR) et score de compétence de Heidke (HSS) pour trois différents événements de précipitations quotidiens (0,1 mm ; 1 mm ; 10 mm) pour différents fournisseurs sélectionnés et les prévisions de précipitations meteoblue à l'échelle mondiale pour l'année 2021.

	Modèle brut	Evénements > 0.1mm			Evénements > 1mm			Evénements > 10mm
		HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
1	meteoblue	0.51	0.78	0.40	0.49	0.79	0.47	0.37	0.47	0.62
	Fournisseur_C	0.40	0.77	0.48	0.44	0.69	0.48	0.33	0.40	0.63
3	Fournisseur_D	0.42	0.89	0.50	0.47	0.80	0.49	0.36	0.46	0.62
2	Fournisseur_F	0.44	0.83	0.47	0.47	0.76	0.48	0.35	0.42	0.62
	Fournisseur_H	0.36	0.81	0.52	0.37	0.78	0.57	0.23	0.62	0.79

Pour tous les événements de précipitations, la prévision meteoblue a un HSS plus élevé que les autres fournisseurs choisis.