A continuación se resumen varios estudios basados en eventos de precipitación diaria. Entre ellos se incluyen los estudios de verificación de 2017 y 2019, así como el análisis comparativo de proveedores.

Medidas estadísticas

Las sumas diarias de precipitaciones se utilizan para clasificar los episodios de precipitaciones. Se han definido cuatro umbrales diferentes para los episodios de precipitación diaria: Según el estudio se estiman las cantidades de precipitación superiores a 0,1 mm, 1 mm, 10 mm y 50 mm. Para todas las opciones, se evaluará, si la precipitación fue pronosticada y si fue medida, dando lugar a diferentes casos que se muestran en la siguiente tabla de contingencias.

Tabla de contingencia que muestra los resultados de la relación entre medición y previsión.

		Mediciones
		SÍ	NO
Previsión	SÍ	a "Acierta"	b "Alarma falsa"
	NO	c "Fallo"	d "Rechazo correcto"

Para evaluar la precisión de una previsión, se aplicaron tres métricas de error categorial diferentes.

POD (Probabilidad de detección)

POD calcula la probabilidad de que se haya pronosticado un evento de precipitación medido. Los valores oscilan entre 0 y 1, siendo 1 el mejor valor.

FAR (Proporción de falsas alarmas)

FAR calcula la relación entre un evento sin precipitación y todos los eventos de precipitación previstos. Los valores oscilan entre 0 y 1, siendo 0 el mejor valor.

Las métricas de error descritas anteriormente dan una idea de la exactitud de la previsión, mostrando su precisión en comparación con las mediciones. La habilidad, sin embargo, es una medida utilizada para evaluar los rasgos de capacidad y competencia de la previsión con respecto a la previsión estándar. POD y FAR son métricas de error que no estiman la habilidad de un modelo. Por ejemplo, la tasa de falsas alarmas en los desiertos también sería 0 o muy cercana a 0, ya que rara vez o nunca llueve. En este caso, la precisión de la previsión también se situaría en torno o por encima del 99%. Sin embargo, una puntuación de habilidad cuantifica el rendimiento del modelo para corregir aleatoriamente las estimaciones. Por lo tanto, meteoblue considera además el Heidke-Skill-Scrore como una puntuación de habilidad.

HSS (Heidke-Skill-Score)

El HSS se calcula a partir de la proporción de valores predichos correctamente (PC) de entre todos los valores y el valor de suerte aleatoria (E), que también puede calcularse a partir de los valores de la tabla de contingencia (a-d). Los valores oscilan entre - ∞ y 1, siendo 1 un buen pronóstico.

Estudio mundial de verificación 2017

A lo largo de este estudio, se utilizaron 6505 mediciones de precipitación METAR (distribuidas por todo el mundo) del año 2017 para verificar y comparar nuestro meteoblue MultiModel con otros modelos de previsión como ERA5, GFS, CHIRPS2 y NEMS.

Resultados

Para los datos históricos, el rendimiento del modelo ERA5 y del meteoblue MultiModel es significativamente mejor que el de la observación por satélite CHIRPS2. Las observaciones por satélite suelen funcionan mejor que los modelos numéricos de previsión meteorológica en lo que respecta a las precipitaciones intensas y a las zonas cercanas al ecuador. La tabla siguiente muestra también que el meteoblue MultiModel tiene un HSS mayor (o igual) que el ERA5.

Probabilidad de detección (POD), tasa de falsas alarmas (FAR) y puntuación de habilidad de Heidke (HSS) para tres eventos de precipitación diaria diferentes (1 mm; 10 mm; 50 mm) para el modelo histórico de reanálisis ERA5, el modelo numérico de previsión meteorológica GFS, la observación por satélite CHIRPS2 y el MultiModel meteoblue.

	Precipitaciones diarias > 1mm			Precipitaciones diarias > 10mm			Precipitaciones diarias > 50mm
	POD	FAR	HSS	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.43	0.64	0.35	0.11	0.76	0.14
GFS	0.69	0.54	0.42	0.40	0.69	0.30	0.09	0.83	0.12
CHIRPS2	0.41	0.55	0.30	0.42	0.69	0.31	0.18	0.79	0.19
NEMS	0.60	0.50	0.42	0.39	0.65	0.30	0.09	0.80	0.13
meteoblue MultiModel	0.70	0.49	0.47	0.48	0.64	0.36	0.09	0.73	0.14

Los siguientes mapas muestran el HSS para precipitaciones >1mm/día para el modelo de reanálisis ERA5 y el meteoblue MultiModel. No se observan diferencias significativas en la HSS comparando ambos modelos. Además, la puntuación HSS varía mucho a lo largo del globo, por lo que no pueden reconocerse patrones espaciales.

Estudio de verificación global 2019

El año 2019 se analizó en detalle en otra tesis de licenciatura (Huonder, 2020). Los datos de medición de la precipitación de 8112 estaciones de la OMM (distribuidas por todo el mundo) se compararon con las previsiones de precipitación de 24 horas de diferentes modelos (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) para el año 2019 (Tesis de licenciatura Huonder, 2020).

Resultados

La comparación de los HSS de los distintos meses muestra que el ERA5 obtiene muy buenos resultados y alcanza los HSS más altos en la mayoría de los meses, con excepción de noviembre y diciembre, en los que GFS tiene un HSS más alto. Las HSS más altas de todos los modelos se alcanzaron en diciembre, los valores más bajos de HSS se dan en los meses de verano del hemisferio norte.

HSS de la suma mensual de precipitaciones para 2019 (Huonder, 2020)

	Jan	Feb	Mar	Apr	May	Jun	Jul	Aug	Sep	Oct	Nov	Dec
ERA5	0.36	0.39	0.39	0.40	0.37	0.35	0.34	0.33	0.38	0.39	0.39	0.41
GFS	0.35	0.38	0.37	0.36	0.33	0.32	0.31	0.31	0.37	0.39	0.41	0.43
MF	0.36	0.39	0.37	0.37	0.34	0.30	0.28	0.29	0.35	0.38	0.38	0.41
NEMS	0.33	0.36	0.35	0.34	0.33	0.31	0.30	0.30	0.35	0.38	0.36	0.38

Se han realizado verificaciones intensivas para dos años distintos, 2017 y 2019. Las diferencias en las puntuaciones de habilidades basadas en eventos, por ejemplo, HSS, POD y FAR no muestran cambios significativos entre los distintos años. Para cantidades de precipitación diaria superiores a 1 mm, teniendo en cuenta el HSS, el modelo de reanálisis ERA5 obtiene mejores resultados en ambos años que los modelos de previsión meteorológica (NEMSGLOBAL y GFS). La tabla siguiente muestra una comparación de las diferentes medidas para sumas de precipitación diaria superiores a 1 mm para los modelos que se han examinado en ambos estudios.

Puntuaciones de habilidad basadas en eventos para sumas diarias de precipitación superiores a 1 mm de los modelos analizados durante los estudios de verificación de 2017 y 2019.

	Precipitaciones diarias > 1 mm (2017)			Precipitaciones diarias > 1mm (2019)
	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.56	0.33	0.45
GFS	0.69	0.54	0.42	0.52	0.30	0.43
NEMS	0.60	0.50	0.42	0.56	0.41	0.41

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Análisis de la competencia

El análisis de la competencia entre nuestra previsión y diferentes competidores permite evaluar el rendimiento de la previsión de meteoblue en el mercado. Los siguientes resultados se refieren a eventos de precipitación diaria. El análisis se basa en la previsión de precipitación de 24h. El análisis se llevó a cabo de enero a junio de 2021 para 100 localizaciones en Norteamérica basadas en medidas de la precipitación de METAR y para 500 localizaciones por todo el mundo basadas en medidas de GSOD.

Resultados

En cuanto a Norteamérica, el HSS de la previsión de meteoblue para precipitaciones diarias superiores a 1 mm es ligeramente superior a 0,6 y se sitúa en el rango de de los otros cuatro mejores proveedores de previsiones meteorológicas.

Probabilidad de detección (POD), tasa de falsas alarmas (FAR) y puntuación de destreza de Heidke (HSS) para tres precipitaciones diarias diferentes (0,1 mm; 1 mm; 10 mm) para diferentes proveedores seleccionados y la previsión de precipitaciones meteoblue en Norteamérica.

	Eventos > 0.1mm			Eventos > 1mm			Eventos > 10mm
Proveedor	HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
Proveedor A	0.6355	0.8584	0.3015	0.6190	0.8538	0.4113	0.4567	0.5745	0.5781
meteoblue AG	0.6304	0.6988	0.2000	0.6116	0.8596	0.4213	0.4732	0.6596	0.5921
Provider B	0.5007	0.6050	0.4706	0.3663	0.6154	0.7037	0.1961	0.1667	0.7500
Proveedor C	0.6403	0.8125	0.2798	0.6431	0.8704	0.3974	0.4841	0.6190	0.5667
Proveedor D	0.6377	0.8163	0.2773	0.6050	0.8012	0.4043	0.4809	0.5957	0.5556
Proveedor E	0.6071	0.7328	0.3144	0.6163	0.8257	0.4410	0.3997	0.3438	0.4762
Proveedor F	0.5125	0.8404	0.3961	0.4421	0.8596	0.5727	0.2832	0.7021	0.7800

Obsérvese que el HSS para Norteamérica suele ser mayor que para todo el mundo, donde la previsión de meteoblue alcanza valores de HSS de 0,44 (basados en el análisis entre enero y junio).

Las actualizaciones recientes de este estudio, en las que también se incluyó el segundo semestre del año, muestran un HSS mundial aún más elevado de 0,49 para la previsión meteoblue (para precipitaciones superiores a 1 mm), como se muestra en la tabla siguiente:

Probabilidad de detección (POD), tasas de falsas alarmas (FAR) y puntuación de habilidad de Heidke (HSS) para tres eventos de precipitación diaria diferentes (0,1 mm; 1 mm; 10 mm) para diferentes proveedores seleccionados y la previsión de precipitaciones de meteoblue para todo el mundo considerando el año 2021.

	Modelo puro	Eventos > 0.1mm			Eventos > 1mm			Eventos > 10mm
		HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
1	meteoblue	0.51	0.78	0.40	0.49	0.79	0.47	0.37	0.47	0.62
	Proveedor_C	0.40	0.77	0.48	0.44	0.69	0.48	0.33	0.40	0.63
3	Proveedor_D	0.42	0.89	0.50	0.47	0.80	0.49	0.36	0.46	0.62
2	Proveedor_F	0.44	0.83	0.47	0.47	0.76	0.48	0.35	0.42	0.62
	Proveedor_H	0.36	0.81	0.52	0.37	0.78	0.57	0.23	0.62	0.79

Para todos los eventos de precipitación, la previsión de meteoblue tiene un HSS más alto que los otros proveedores elegidos.