A continuación se resumen varios estudios basados en eventos de precipitación diaria. Entre ellos se incluyen los estudios de verificación de 2017 y 2019, así como el análisis comparativo de proveedores.
Medidas estadísticas
Las sumas diarias de precipitaciones se utilizan para clasificar los episodios de precipitaciones. Se han definido cuatro umbrales diferentes para los episodios de precipitación diaria: Según el estudio se estiman las cantidades de precipitación superiores a 0,1 mm, 1 mm, 10 mm y 50 mm. Para todas las opciones, se evaluará, si la precipitación fue pronosticada y si fue medida, dando lugar a diferentes casos que se muestran en la siguiente tabla de contingencias.
Mediciones | |||
---|---|---|---|
SÍ | NO | ||
Previsión | SÍ | a "Acierta" | b "Alarma falsa" |
NO | c "Fallo" | d "Rechazo correcto" |
Para evaluar la precisión de una previsión, se aplicaron tres métricas de error categorial diferentes.
POD (Probabilidad de detección)
POD calcula la probabilidad de que se haya pronosticado un evento de precipitación medido. Los valores oscilan entre 0 y 1, siendo 1 el mejor valor.
FAR (Proporción de falsas alarmas)
FAR calcula la relación entre un evento sin precipitación y todos los eventos de precipitación previstos. Los valores oscilan entre 0 y 1, siendo 0 el mejor valor.
Las métricas de error descritas anteriormente dan una idea de la exactitud de la previsión, mostrando su precisión en comparación con las mediciones. La habilidad, sin embargo, es una medida utilizada para evaluar los rasgos de capacidad y competencia de la previsión con respecto a la previsión estándar. POD y FAR son métricas de error que no estiman la habilidad de un modelo. Por ejemplo, la tasa de falsas alarmas en los desiertos también sería 0 o muy cercana a 0, ya que rara vez o nunca llueve. En este caso, la precisión de la previsión también se situaría en torno o por encima del 99%. Sin embargo, una puntuación de habilidad cuantifica el rendimiento del modelo para corregir aleatoriamente las estimaciones. Por lo tanto, meteoblue considera además el Heidke-Skill-Scrore como una puntuación de habilidad.
HSS (Heidke-Skill-Score)
El HSS se calcula a partir de la proporción de valores predichos correctamente (PC) de entre todos los valores y el valor de suerte aleatoria (E), que también puede calcularse a partir de los valores de la tabla de contingencia (a-d). Los valores oscilan entre - ∞ y 1, siendo 1 un buen pronóstico.
Estudio mundial de verificación 2017
A lo largo de este estudio, se utilizaron 6505 mediciones de precipitación METAR (distribuidas por todo el mundo) del año 2017 para verificar y comparar nuestro meteoblue MultiModel con otros modelos de previsión como ERA5, GFS, CHIRPS2 y NEMS.
Resultados
Para los datos históricos, el rendimiento del modelo ERA5 y del meteoblue MultiModel es significativamente mejor que el de la observación por satélite CHIRPS2. Las observaciones por satélite suelen funcionan mejor que los modelos numéricos de previsión meteorológica en lo que respecta a las precipitaciones intensas y a las zonas cercanas al ecuador. La tabla siguiente muestra también que el meteoblue MultiModel tiene un HSS mayor (o igual) que el ERA5.
Precipitaciones diarias > 1mm | Precipitaciones diarias > 10mm | Precipitaciones diarias > 50mm | |||||||
---|---|---|---|---|---|---|---|---|---|
POD | FAR | HSS | POD | FAR | HSS | POD | FAR | HSS | |
ERA5 | 0.69 | 0.51 | 0.45 | 0.43 | 0.64 | 0.35 | 0.11 | 0.76 | 0.14 |
GFS | 0.69 | 0.54 | 0.42 | 0.40 | 0.69 | 0.30 | 0.09 | 0.83 | 0.12 |
CHIRPS2 | 0.41 | 0.55 | 0.30 | 0.42 | 0.69 | 0.31 | 0.18 | 0.79 | 0.19 |
NEMS | 0.60 | 0.50 | 0.42 | 0.39 | 0.65 | 0.30 | 0.09 | 0.80 | 0.13 |
meteoblue MultiModel | 0.70 | 0.49 | 0.47 | 0.48 | 0.64 | 0.36 | 0.09 | 0.73 | 0.14 |
Los siguientes mapas muestran el HSS para precipitaciones >1mm/día para el modelo de reanálisis ERA5 y el meteoblue MultiModel. No se observan diferencias significativas en la HSS comparando ambos modelos. Además, la puntuación HSS varía mucho a lo largo del globo, por lo que no pueden reconocerse patrones espaciales.
Estudio de verificación global 2019
El año 2019 se analizó en detalle en otra tesis de licenciatura (Huonder, 2020). Los datos de medición de la precipitación de 8112 estaciones de la OMM (distribuidas por todo el mundo) se compararon con las previsiones de precipitación de 24 horas de diferentes modelos (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) para el año 2019 (Tesis de licenciatura Huonder, 2020).
Resultados
La comparación de los HSS de los distintos meses muestra que el ERA5 obtiene muy buenos resultados y alcanza los HSS más altos en la mayoría de los meses, con excepción de noviembre y diciembre, en los que GFS tiene un HSS más alto. Las HSS más altas de todos los modelos se alcanzaron en diciembre, los valores más bajos de HSS se dan en los meses de verano del hemisferio norte.
Jan | Feb | Mar | Apr | May | Jun | Jul | Aug | Sep | Oct | Nov | Dec | |
---|---|---|---|---|---|---|---|---|---|---|---|---|
ERA5 | 0.36 | 0.39 | 0.39 | 0.40 | 0.37 | 0.35 | 0.34 | 0.33 | 0.38 | 0.39 | 0.39 | 0.41 |
GFS | 0.35 | 0.38 | 0.37 | 0.36 | 0.33 | 0.32 | 0.31 | 0.31 | 0.37 | 0.39 | 0.41 | 0.43 |
MF | 0.36 | 0.39 | 0.37 | 0.37 | 0.34 | 0.30 | 0.28 | 0.29 | 0.35 | 0.38 | 0.38 | 0.41 |
NEMS | 0.33 | 0.36 | 0.35 | 0.34 | 0.33 | 0.31 | 0.30 | 0.30 | 0.35 | 0.38 | 0.36 | 0.38 |
Se han realizado verificaciones intensivas para dos años distintos, 2017 y 2019. Las diferencias en las puntuaciones de habilidades basadas en eventos, por ejemplo, HSS, POD y FAR no muestran cambios significativos entre los distintos años. Para cantidades de precipitación diaria superiores a 1 mm, teniendo en cuenta el HSS, el modelo de reanálisis ERA5 obtiene mejores resultados en ambos años que los modelos de previsión meteorológica (NEMSGLOBAL y GFS). La tabla siguiente muestra una comparación de las diferentes medidas para sumas de precipitación diaria superiores a 1 mm para los modelos que se han examinado en ambos estudios.
Precipitaciones diarias > 1 mm (2017) | Precipitaciones diarias > 1mm (2019) | |||||
---|---|---|---|---|---|---|
POD | FAR | HSS | POD | FAR | HSS | |
ERA5 | 0.69 | 0.51 | 0.45 | 0.56 | 0.33 | 0.45 |
GFS | 0.69 | 0.54 | 0.42 | 0.52 | 0.30 | 0.43 |
NEMS | 0.60 | 0.50 | 0.42 | 0.56 | 0.41 | 0.41 |
Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf
Análisis de la competencia
El análisis de la competencia entre nuestra previsión y diferentes competidores permite evaluar el rendimiento de la previsión de meteoblue en el mercado. Los siguientes resultados se refieren a eventos de precipitación diaria. El análisis se basa en la previsión de precipitación de 24h. El análisis se llevó a cabo de enero a junio de 2021 para 100 localizaciones en Norteamérica basadas en medidas de la precipitación de METAR y para 500 localizaciones por todo el mundo basadas en medidas de GSOD.
Resultados
En cuanto a Norteamérica, el HSS de la previsión de meteoblue para precipitaciones diarias superiores a 1 mm es ligeramente superior a 0,6 y se sitúa en el rango de de los otros cuatro mejores proveedores de previsiones meteorológicas.
Eventos > 0.1mm | Eventos > 1mm | Eventos > 10mm | |||||||
---|---|---|---|---|---|---|---|---|---|
Proveedor | HSS | POD | FAR | HSS | POD | FAR | HSS | POD | FAR |
Proveedor A | 0.6355 | 0.8584 | 0.3015 | 0.6190 | 0.8538 | 0.4113 | 0.4567 | 0.5745 | 0.5781 |
meteoblue AG | 0.6304 | 0.6988 | 0.2000 | 0.6116 | 0.8596 | 0.4213 | 0.4732 | 0.6596 | 0.5921 |
Provider B | 0.5007 | 0.6050 | 0.4706 | 0.3663 | 0.6154 | 0.7037 | 0.1961 | 0.1667 | 0.7500 |
Proveedor C | 0.6403 | 0.8125 | 0.2798 | 0.6431 | 0.8704 | 0.3974 | 0.4841 | 0.6190 | 0.5667 |
Proveedor D | 0.6377 | 0.8163 | 0.2773 | 0.6050 | 0.8012 | 0.4043 | 0.4809 | 0.5957 | 0.5556 |
Proveedor E | 0.6071 | 0.7328 | 0.3144 | 0.6163 | 0.8257 | 0.4410 | 0.3997 | 0.3438 | 0.4762 |
Proveedor F | 0.5125 | 0.8404 | 0.3961 | 0.4421 | 0.8596 | 0.5727 | 0.2832 | 0.7021 | 0.7800 |
Obsérvese que el HSS para Norteamérica suele ser mayor que para todo el mundo, donde la previsión de meteoblue alcanza valores de HSS de 0,44 (basados en el análisis entre enero y junio).
Las actualizaciones recientes de este estudio, en las que también se incluyó el segundo semestre del año, muestran un HSS mundial aún más elevado de 0,49 para la previsión meteoblue (para precipitaciones superiores a 1 mm), como se muestra en la tabla siguiente:
Modelo puro | Eventos > 0.1mm | Eventos > 1mm | Eventos > 10mm | |||||||
---|---|---|---|---|---|---|---|---|---|---|
HSS | POD | FAR | HSS | POD | FAR | HSS | POD | FAR | ||
1 | meteoblue | 0.51 | 0.78 | 0.40 | 0.49 | 0.79 | 0.47 | 0.37 | 0.47 | 0.62 |
Proveedor_C | 0.40 | 0.77 | 0.48 | 0.44 | 0.69 | 0.48 | 0.33 | 0.40 | 0.63 | |
3 | Proveedor_D | 0.42 | 0.89 | 0.50 | 0.47 | 0.80 | 0.49 | 0.36 | 0.46 | 0.62 |
2 | Proveedor_F | 0.44 | 0.83 | 0.47 | 0.47 | 0.76 | 0.48 | 0.35 | 0.42 | 0.62 |
Proveedor_H | 0.36 | 0.81 | 0.52 | 0.37 | 0.78 | 0.57 | 0.23 | 0.62 | 0.79 |
Para todos los eventos de precipitación, la previsión de meteoblue tiene un HSS más alto que los otros proveedores elegidos.