A seguir, um resumo de vários estudos baseados em somas de precipitação. Estes incluem os estudos de verificação de 2017 e 2019, as análises de comparação do fornecedor e, além disso, a comparação de vários modelos da família de modelos NEMS.

Estudo de verificação global 2017

Ao longo deste estudo, o modelo meteoblue MultiModel foi comparado com outros modelos de previsão como ERA5, GFS, CHIRPS2 e NEMS. 6505 Medidas de precipitação METAR do ano 2017 (amplamente distribuído no mundo) foram usados para verificar e comparar a previsão desses modelos.

Results

O desempenho do modelo da precipitação anual total em 2017 pode ser significativamente aumentado pela combinação de dois (ou mais) modelos do conjunto de dados previstos (ver figuras abaixo). MFGLOBAL, GEM e GFS superestimam a precipitação anual total, enquanto NEMSAUTO e ICON subestimam a precipitação anual total. Um viés positivo e negativo dos modelos crudos poderia levar a um aumento significativo no desempenho do modelo através da combinação de diferentes modelos. Mais de 200 combinações de modelos diferentes representam um MBE global melhor do que o melhor modelo bruto (GFS). Além disso, representam um MAE melhor do que o melhor modelo bruto (ICON). Portanto, o viés sistemático poderia ser reduzido a 0 e o MAE reduzido a valores abaixo de 170 mm. O coeficiente de correlação para as melhores combinações de modelos é superior a 0,71 para a precipitação anual total, enquanto que o coeficiente de correlação de modelos únicos em bruto varia amplamente de 0,53 (GFS) a 0,67 (ICON). O melhor desempenho dos modelos é tipicamente alcançado através da combinação de mais de dois modelos. Entretanto, ao combinar mais de dois modelos, o desempenho de eventos únicos (por exemplo, precipitação diária > 1 mm) é tipicamente decrescentes. Portanto, calculamos as melhores combinações de modelos com apenas dois modelos diferentes separadamente.

Estudo de verificação global de 2019

Os dados de medição de precipitação de 8112 estações WMO foram comparados com a previsão de precipitação 24h de diferentes modelos (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) para o ano 2019 (Tese de bacharelado Huonder, 2020). Os resultados a seguir referem-se às somas de precipitação.

Results

Os resultados de 2019 coincidem muito bem com os resultados de 2017, indicando que o GFS e o MFGLOBAL tendem a superestimar as somas anuais de precipitação, enquanto o NEMSGLOBAL tende a subestimar as somas anuais de precipitação (Tabela abaixo). O MAE mais baixo (daí o modelo mais preciso) é o modelo de reanálise ERA5.

Erro médio absoluto (MAE) [mm], erro de polarização médio (MBE) [mm], erro percentual médio (MPE) [%], erro quadrático médio (RMSE) [mm] e desvio padrão (SD) [mm] para as somas anuais de precipitação para 8.112 estações WMO durante 2019.

	MAE [mm]	MBE [mm]	MPE [%]	RMSE [mm]	SD [mm]
ERA5	234	-6	-0.8	516	516
GFS05	270	84	10.1	479	472
MFGLOBAL	281	131	15.8	469	450
NEMSGLOBAL	296	-144	-17.5	513	492

Para o ano de 2019, foi realizada uma verificação detalhada da precipitação durante diferentes meses, indicando as dependências sazonais da precisão do modelo de diferentes modelos (Tabela abaixo). Para todos os meses, a ERA5 tem um desempenho muito bom, com MPE constantemente abaixo de 10%. Os maiores erros ao longo do ano foram encontrados para GFS e MFGLOBAL no final do ano. primavera do hemisfério norte. Os maiores erros no NEMSGLOBAL foram encontrados em julho e agosto, enquanto os erros tendem a ser menores no inverno do hemisfério norte.

MPE (erro percentual médio) [%] da soma mensal de precipitação para 2019.

	Jan	Fev	Mar	Abr	Mai	Jun	Jul	Ago	Set	Out	Nov	Dez
ERA5	-6.5	-2.5	0.2	2.6	2.5	-0.4	-2.5	-3.7	-0.6	3.1	-0.7	-0.9
GFS	5.0	6.0	10.1	12.5	15.0	13.6	13.3	8.7	9.1	8.6	10.0	7.3
MF	5.7	12.8	18.6	23.1	21.8	16.3	18.6	11.7	13.6	12.9	18.7	16.4
NEMS	-11.6	-12.6	-12.4	-11.9	-13.9	-23.0	-15.3	-28.6	-20.4	-17.0	-13.6	-11.2

Finalmente, para cada país, foi analisado o melhor desempenho do modelo para as somas anuais de precipitação. A análise mostra que nenhum padrão claro pode ser observado (Mapa abaixo).

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Análise da concorrência

A análise da concorrência entre a previsão meteoblue e diferentes concorrentes nos permite avaliar o desempenho de nossa previsão no mercado. 500 medições de precipitação distribuídas em todo o mundo pelo GSOD permitiram uma comparação das previsões de valores de precipitação para o ano inteiro de 2021. Além disso, o erro de previsão de precipitação para 100 locais na América do Norte foi calculado através de medições METAR de janeiro de 2021 a julho de 2021.

Resultados

Em média 362 mm nas 500 localidades do mundo foram registrados do GSOD (resumo global do dia) para o primeiro semestre do ano 2021. A previsão meteoblue estimou 369 mm para a previsão de 1 dia, que é igual a um erro de viés médio (MBE) = + 7 mm. O MAE para o mesmo período de tempo e locais é de 135 mm.

Além disso, a tabela abaixo mostra os erros nas somas de precipitação para a América do Norte na primeira metade de 2021 para a previsão de precipitação meteoblue 24h em comparação com 7 concorrentes.

Com base nas atualizações deste estudo, em média 712,04 mm nas 500 localidades do mundo foram registrados do GSOD (resumo global do dia) para o ano inteiro 2021 e a previsão meteoblue estimada em 720,46 mm para a previsão de 1 dia, que é igual a um erro de polarização médio (MBE) = + 8,42 mm.

MAE [mm] e MBE [mm] para a previsão meteoblue e 7 concorrentes para janeiro de 2021 a junho de 2021 na América do Norte.

Fornecedor	MAE [mm]	MBE [mm]
Fornecedor A	38.67	29.42
meteoblue AG	42.01	33.37
Fornecedor B	39.78	-39.16
Fornecedor C	36.00	25.95
Fornecedor D	39.33	28.66
Fornecedor E	45.99	-45.99
Fornecedor F	23.02	-7.24
Fornecedor G	201.08	200.91

Verificação NEMS

Além dos modelos globais de previsão meteorológica, os modelos regionais de previsão meteorológica foram testados adicionalmente, para ver melhorias potenciais no desempenho do modelo, baixamos a resolução horizontal no modelo. Os modelos da família NEMS (NEMS12, NEMS4 e NEMSGLOBAL) foram verificados com dados de 1605 estações de medição fornecidas pelo GSOD e localizada na Europa durante o primeiro semestre de 2021.

Resultados

O desempenho do modelo aumenta ligeiramente para somas de precipitação diárias, quando se usa um modelo regional (NEMS12, NEMS4) em vez de um modelo global (NEMSGLOBAL). Entretanto, a diferença entre o NEMS4 e o NEMS12 não é significativa, mas o NEMS12 tem um desempenho melhor do que o NEMS4 (Figura abaixo).

Para 1644 estações na Europa, foram registradas precipitações médias de 314 mm pelas estações meteorológicas durante a primeira metade de 2021. O NEMS4 subestimou a quantidade de precipitação em cerca de 20%. (A quantidade média de precipitação NEMS4 é de 249 mm). A subestimação para o modelo NEMS12 é de 14%, para o modelo global NEMS30 é de 25%. Isto implica que com uma resolução horizontal decrescente a precisão do modelo não aumenta necessariamente.