A continuación se resumen diversos estudios basados en sumas de precipitación. Entre ellos se incluyen los estudios de verificación de 2017 y 2019, los análisis de comparación de proveedores y, además, la comparación de varios modelos de la familia de modelos NEMS.

Estudio de verificación global 2017

A lo largo de este estudio, el MultiModel meteoblue se comparó con otros modelos de previsión como ERA5, GFS, CHIRPS2 y NEMS. Se utilizaron 6505 mediciones de precipitación METAR del año 2017 (de amplia distribución mundial) se utilizaron para verificar y comparar la previsión de estos modelos.

Resultados

El rendimiento del modelo de la precipitación total anual en 2017 puede aumentar significativamente combinando dos (o más) modelos del conjunto de datos de previsión (véanse las figuras siguientes). MFGLOBAL, GEM y GFS sobreestiman la precipitación total anual, mientras que NEMSAUTO e ICON la subestiman. El sesgo positivo y negativo de los modelos crudos podría dar lugar a un aumento significativo del rendimiento del modelo mediante la combinación de diferentes modelos. Más de 200 combinaciones de modelos diferentes representan una mejor MBE global que el mejor modelo puro (GFS). También representan un mejor MAE que el mejor modelo puro (ICON). Así, el sesgo sistemático podría reducirse a 0 y el MAE a valores inferiores a 170 mm. El coeficiente de correlación de las mejores combinaciones de modelos es superior a 0,71 para para la precipitación total anual, mientras que el coeficiente de correlación de los modelos simples varía ampliamente entre 0,53 (GFS) y 0,67 (ICON). El mejor rendimiento de los modelos suele alcanzarse combinando más de dos modelos. Sin embargo, cuando se combinan más de dos modelos, el rendimiento de los fenómenos aislados (por ejemplo, precipitación diaria > 1 mm) suele disminuir. Por lo tanto, calculamos las mejores combinaciones de modelos con sólo dos modelos diferentes por separado.

Estudio de verificación global 2019

Los datos de medición de las precipitaciones de 8112 estaciones de la OMM se compararon con la previsión de precipitaciones de 24 h de diferentes modelos (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) para el año 2019 (Tesis de licenciatura Huonder, 2020). Los siguientes resultados se refieren a sumas de precipitación.

Resultados

Los resultados de 2019 coinciden muy bien con los de 2017, lo que indica que GFS y MFGLOBAL tienden a sobreestimar las sumas anuales de precipitación, mientras que NEMSGLOBAL tiende a subestimar las sumas anuales de precipitación (Tabla siguiente). El MAE más bajo (por tanto, el modelo más preciso) es el modelo de reanálisis ERA5.

Error medio absoluto (MAE) [mm], error medio de sesgo (MBE) [mm], error medio porcentual (MPE) [%], error cuadrático medio (RMSE) [mm] y desviación estándar (SD) [mm] para las sumas anuales de precipitación de 8'112 estaciones de la OMM durante 2019.

	MAE [mm]	MBE [mm]	MPE [%]	RMSE [mm]	SD [mm]
ERA5	234	-6	-0.8	516	516
GFS05	270	84	10.1	479	472
MFGLOBAL	281	131	15.8	469	450
NEMSGLOBAL	296	-144	-17.5	513	492

Para el año 2019, se llevó a cabo una verificación detallada de la precipitación para diferentes meses, lo que indica dependencias estacionales de la precisión del modelo de diferentes modelos (Tabla siguiente). Para todos los meses, ERA5 se comporta muy bien, con MPE constantemente por debajo del 10%. Los mayores errores a lo largo del año se encontraron para GFS y MFGLOBAL a finales de la primavera del hemisferio norte. Los mayores errores en NEMSGLOBAL se encontraron en julio y agosto, mientras que los errores tienden a ser menores en el invierno del hemisferio norte.

MPE (error porcentual medio) [%] de la suma mensual de precipitaciones para 2019.

	Jan	Feb	Mar	Apr	May	Jun	Jul	Aug	Sep	Oct	Nov	Dec
ERA5	-6.5	-2.5	0.2	2.6	2.5	-0.4	-2.5	-3.7	-0.6	3.1	-0.7	-0.9
GFS	5.0	6.0	10.1	12.5	15.0	13.6	13.3	8.7	9.1	8.6	10.0	7.3
MF	5.7	12.8	18.6	23.1	21.8	16.3	18.6	11.7	13.6	12.9	18.7	16.4
NEMS	-11.6	-12.6	-12.4	-11.9	-13.9	-23.0	-15.3	-28.6	-20.4	-17.0	-13.6	-11.2

Por último, para cada país, se analizó el mejor rendimiento del modelo para las sumas anuales de precipitaciones. El análisis muestra que no se observan patrones claros (Mapa a continuación).

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Análisis de la competencia

El análisis de la competencia entre la previsión de meteoblue y diferentes competidores nos permite evaluar el rendimiento de nuestra previsión en el mercado. 500 mediciones de precipitación distribuidas por todo el mundo a partir de GSOD permitieron comparar la previsión de sumas de precipitación para todo el año 2021. Además, se calculó el error de previsión de precipitaciones para 100 localidades de Norteamérica mediante mediciones METAR desde enero de 2021 hasta julio de 2021.

Resultados

Una media de 362 mm sobre las 500 localidades de todo el mundo se registraron a partir de GSOD (resumen global del día) para la primera mitad del año 2021. El pronóstico de meteoblue estimó 369 mm para el pronóstico de 1 día, lo que equivale a un error de sesgo medio (MBE) = + 7 mm. El MAE para el mismo período de tiempo y lugares es de 135 mm.

Además de eso, la siguiente tabla muestra los errores en las sumas de precipitación para América del Norte en la primera mitad de 2021 para el pronóstico de precipitación de 24h de meteoblue en comparación con 7 competidores.

Basándose en las actualizaciones de este estudio, se registraron una media de 712,04 mm en los 500 lugares de todo el mundo a partir del GSOD (resumen global del día) para todo el año 2021 y la previsión meteoblue estimó 720,46 mm para la previsión de 1 día, lo que equivale a un error de sesgo medio (MBE) = + 8,42 mm.

MAE [mm] y MBE [mm] para la previsión de meteoblue y 7 competidores para enero de 2021 a junio de 2021 en Norteamérica.

Proveedor	MAE [mm]	MBE [mm]
Proveedor A	38.67	29.42
meteoblue AG	42.01	33.37
Proveedor B	39.78	-39.16
Proveedor C	36.00	25.95
Proveedor D	39.33	28.66
Proveedor E	45.99	-45.99
Proveedor F	23.02	-7.24
Proveedor G	201.08	200.91

Verificación NEMS

Además de los modelos de previsión meteorológica mundial, se probaron también modelos de previsión meteorológica regional, para ver posibles mejoras en el rendimiento del modelo mediante la resolución horizontal del modelo. Los modelos de la familia NEMS (NEMS12, NEMS4 y NEMSGLOBAL) se verificaron con datos de 1605 estaciones de medición facilitados por GSOD y situadas en Europa para el primer semestre del año 2021.

Resultados

El rendimiento del modelo aumenta ligeramente para las sumas de precipitaciones diarias, cuando se utiliza un modelo regional (NEMS12, NEMS4) en lugar de un modelo global (NEMSGLOBAL). Sin embargo, la diferencia entre NEMS4 y NEMS12 no es significativa, sino que NEMS12 obtiene mejores resultados que NEMS4 (figura siguiente).

En 1644 estaciones de Europa, las estaciones meteorológicas registraron una precipitación media de 314 mm en el primer semestre de 2021. NEMS4 subestimó la cantidad de precipitación en torno a un 20%. (La precipitación media de NEMS4 es de 249 mm). La subestimación para el modelo NEMS12 es del 14%, para el modelo global NEMS30 del 25%. Esto implica que, al disminuir la resolución horizontal, la precisión del modelo no aumenta necesariamente.