A seguir, veja um resumo de vários estudos baseados em eventos de precipitação diária. Este resumo inclui os estudos de verificação de 2017 e 2019, bem como a análise comparativa do fornecedor.

Medidas estatísticas

As somas diárias de precipitação são utilizadas para classificar os eventos de precipitação. Há quatro diferentes limiares diários de eventos de precipitação definidos: Dependendo do estudo, a quantidade de precipitação acima de 0,1 mm, 1 mm, 10 mm e 50 mm é estimada. Para todas as opções, será avaliada, se a precipitação foi prevista e se foi medida, levando a diferentes casos exibidos na seguinte tabela de contingência.

Tabela de contingência exibindo os resultados da relação entre medição e previsão.

		Medições
		SIM	NÃO
Forecast	SIM	a "Acerto"	b "Alarme falso"
	NÃO	c "Erro"	d "Rejeição Correta"

Para avaliar a precisão de uma previsão, foram aplicadas três métricas diferentes de erro categórico.

POD (Probabilidade de detecção)

A POD calcula a probabilidade se um evento de precipitação medida foi previsto. Os valores variam entre 0 e 1, sendo que 1 é o melhor valor.

FAR (Relação de Alarme Falso)

A FAR calcula a relação entre um evento sem precipitação e todos os eventos de precipitação previstos. Os valores variam entre 0 e 1, sendo que 0 é o melhor valor.

As métricas de erro descritas anteriormente dão uma idéia da confiabilidade da previsão, mostrando quão confiável a previsão era em comparação com as medidas. A habilidade, entretanto, é uma medida usada para avaliar as características de capacidade e competência da previsão em relação à previsão padrão. POD e FAR são métricas de erro que não estimam a habilidade de um modelo. Por exemplo, a taxa de falsos alarmes nos desertos também seria 0 ou muito próxima de 0, pois raramente ou nunca chove. Neste caso a precisão da previsão tivesse sido adicionalmente em torno ou acima de 99%. Entretanto, uma pontuação de habilidade quantifica o desempenho do modelo para corrigir estimativas aleatórias. Portanto, meteoblue considera adicionalmente a Heidke-Skill-Scrore como uma pontuação de habilidade.

HSS (Heidke-Skill-Score)

O HSS é calculado a partir da proporção de valores previstos corretamente (PC) entre todos os valores e o valor de sorte aleatória (E), que também pode ser calculado a partir os valores da tabela de contingência (a-d). Os valores variam de- ∞ a 1, com 1 significa uma boa previsão.

Estudo de verificação global 2017

Ao longo deste estudo, 6505 medições de precipitação METAR (distribuídas mundialmente) do ano 2017 foram usadas para verificar e comparar nosso modelo meteoblue MultiModel com outros modelos de previsão como ERA5, GFS, CHIRPS2 e NEMS.

Resultados

Para dados históricos, o desempenho do modelo ERA5 e do modelo meteoblue MultiModel é significativamente melhor que o modelo de observação por satélite CHIRPS2. As observações via satélite normalmente apresentam um desempenho melhor do que os modelos numéricos de previsão meteorológica para precipitação pesada e para áreas próximas ao equador. A tabela a seguir também mostra, que o modelo metoblue MultiModel tem um HSS superior (ou o mesmo) que o ERA5.

Probabilidade de detecção (POD), taxas de alarme falso (FAR) e pontuação de habilidade Heidke (HSS) para três diferentes eventos diários de precipitação (1 mm; 10 mm; 50 mm) para o modelo histórico de reanálise ERA5, o modelo numérico de previsão meteorológica GFS, a observação por satélite CHIRPS2 e o modelo MultiModel meteoblue.

	Precipitação diária > 1mm			Precipitação diária > 10mm			Precipitação diária > 50mm
	POD	FAR	HSS	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.43	0.64	0.35	0.11	0.76	0.14
GFS	0.69	0.54	0.42	0.40	0.69	0.30	0.09	0.83	0.12
CHIRPS2	0.41	0.55	0.30	0.42	0.69	0.31	0.18	0.79	0.19
NEMS	0.60	0.50	0.42	0.39	0.65	0.30	0.09	0.80	0.13
meteoblue MultiModel	0.70	0.49	0.47	0.48	0.64	0.36	0.09	0.73	0.14

Os mapas seguintes mostram o HSS para precipitação >1mm/dia para o modelo de reanálise ERA5 e o modelo meteoblue MultiModel. Nenhuma diferença significativa pode ser observada dentro da pontuação do HSS comparando os dois modelos. Além disso, a pontuação do HSS varia muito em todo o mundo, portanto, nenhum padrão espacial pode ser reconhecido.

Estudo de verificação global de 2019

O ano de 2019 foi analisado em detalhes em uma tese de bacharelado separada (Huonder, 2020). Os dados de medição de precipitação de 8112 estações WMO (distribuídas mundialmente) foram em comparação com a previsão de precipitação 24h de diferentes modelos (ERA5, NEMSGLOBAL, GFS05, MFGLOBAL) para o ano 2019 (Tese de Bacharelado Huonder, 2020).

Resultados

Uma comparação do HSS para diferentes meses mostra que o ERA5 funciona muito bem e atinge o HSS mais alto da maioria dos meses, com a exceção de Novembro e Dezembro, onde o GFS tem um HSS mais alto. Os maiores HSS de todos os modelos foram alcançados em dezembro, os menores valores de HSS ocorrem nos meses de verão do hemisfério norte.

HSS da soma mensal de precipitação para 2019 (Huonder, 2020)

	Jan	Fev	Mar	Abr	Mai	Jun	Jul	Ago	Set	Out	Nov	Dez
ERA5	0.36	0.39	0.39	0.40	0.37	0.35	0.34	0.33	0.38	0.39	0.39	0.41
GFS	0.35	0.38	0.37	0.36	0.33	0.32	0.31	0.31	0.37	0.39	0.41	0.43
MF	0.36	0.39	0.37	0.37	0.34	0.30	0.28	0.29	0.35	0.38	0.38	0.41
NEMS	0.33	0.36	0.35	0.34	0.33	0.31	0.30	0.30	0.35	0.38	0.36	0.38

Foram realizadas verificações intensivas durante dois anos distintos: 2017 e 2019. As diferenças nas pontuações de habilidades baseadas em eventos, por exemplo, HSS, POD e FAR, não mostram mudanças entre os diferentes anos. Para quantidades de precipitação diárias superiores a 1 mm, considerando o SSH, o modelo de reanálise ERA5 tem melhor desempenho em ambos os anos do que os modelos de previsão do tempo (NEMSGLOBAL e GFS). A tabela abaixo mostra uma comparação das diferentes medidas para os valores diários de precipitação acima de 1 mm para os modelos que foram examinados em ambos os estudos.

Pontuações de habilidade baseadas em eventos para somas de precipitação diárias superiores a 1 mm dos modelos analisados durante os estudos de verificação a partir de 2017 e 2019.

	Precipitação diária > 1mm (2017)			Precipitação diária > 1mm (2019)
	POD	FAR	HSS	POD	FAR	HSS
ERA5	0.69	0.51	0.45	0.56	0.33	0.45
GFS	0.69	0.54	0.42	0.52	0.30	0.43
NEMS	0.60	0.50	0.42	0.56	0.41	0.41

Thesis_Huonder_Verification_Of_Precipitation_Forecast.pdf

Análise da concorrência

A análise da concorrência entre nossa previsão e diferentes concorrentes permite avaliar o desempenho da previsão de meteoblue no mercado. Os resultados a seguir referem-se a eventos diários de precipitação. A análise é baseada na previsão de precipitação 24h. A análise foi realizada de janeiro a junho de 2021 para 100 locais na América do Norte com base nas medições de precipitação da METAR, e para 500 locais no mundo inteiro com base nas medições de GSOD.

Resultados

Olhando para a América do Norte, o HSS da previsão meteoblue para eventos de precipitação diária maiores que 1 mm é ligeiramente maior que 0,6 e dentro da faixa de o melhor fornecedor de previsões meteorológicas.

Probabilidade de detecção (POD), taxas de alarme falso (FAR) e pontuação de habilidade Heidke (HSS) para três precipitações diárias diferentes eventos (0,1 mm; 1 mm; 10 mm) para diferentes fornecedores selecionados e a previsão de precipitação meteoblue na América do Norte.

	Eventos > 0.1mm			Eventos > 1mm			Eventos > 10mm
Fornecedor	HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
Fornecedor A	0.6355	0.8584	0.3015	0.6190	0.8538	0.4113	0.4567	0.5745	0.5781
meteoblue AG	0.6304	0.6988	0.2000	0.6116	0.8596	0.4213	0.4732	0.6596	0.5921
Fornecedor B	0.5007	0.6050	0.4706	0.3663	0.6154	0.7037	0.1961	0.1667	0.7500
Fornecedor C	0.6403	0.8125	0.2798	0.6431	0.8704	0.3974	0.4841	0.6190	0.5667
Fornecedor D	0.6377	0.8163	0.2773	0.6050	0.8012	0.4043	0.4809	0.5957	0.5556
Fornecedor E	0.6071	0.7328	0.3144	0.6163	0.8257	0.4410	0.3997	0.3438	0.4762
Fornecedor F	0.5125	0.8404	0.3961	0.4421	0.8596	0.5727	0.2832	0.7021	0.7800

Observe que o HSS para a América do Norte é normalmente maior do que para o mundo inteiro, onde a previsão meteoblue atinge valores de HSS de 0,44 (com base na análise entre janeiro e junho).

Atualizações recentes sobre este estudo, onde o segundo semestre do ano também foi incluído, mostra um HSS mundial ainda maior de 0,49 para a previsão meteoblue (para eventos de precipitação superiores a 1 mm), como indicado na tabela abaixo:

Probabilidade de detecção (POD), taxas de alarme falso (FAR) e pontuação de habilidade Heidke (HSS) para três diferentes eventos diários de precipitação (0,1 mm; 1 mm; 10 mm) para diferentes fornecedores selecionados e a previsão de precipitação meteoblue em todo o mundo considerando o ano total de 2021.

	Modelo puro	Eventos > 0.1mm			Eventos > 1mm			Eventos > 10mm
		HSS	POD	FAR	HSS	POD	FAR	HSS	POD	FAR
1	meteoblue	0.51	0.78	0.40	0.49	0.79	0.47	0.37	0.47	0.62
	Fornecedor_C	0.40	0.77	0.48	0.44	0.69	0.48	0.33	0.40	0.63
3	Fornecedor_D	0.42	0.89	0.50	0.47	0.80	0.49	0.36	0.46	0.62
2	Fornecedor_F	0.44	0.83	0.47	0.47	0.76	0.48	0.35	0.42	0.62
	Fornecedor_H	0.36	0.81	0.52	0.37	0.78	0.57	0.23	0.62	0.79

Para todos os eventos de precipitação, a previsão meteoblue tem um HSS mais alto do que os outros fornecedores escolhidos.