跳到正文
DEV Community· Vidraft_lab·· 41 分鐘前AI 評分57

六個公開天氣預報模型等權平均,1 至 7 日預報誤差均低於 ECMWF AIFS

공개 예보 모델 6개를 똑같이 평균했더니 1~7일 전 모든 구간에서 단일 최고 AI 모델을 이겼습니다: 20줄 이내 코드로 직접 재 본 기상 예보 오차

AI 導讀

Vidraft_lab 比較六個公開天氣預報模型,發現等權平均在預報前 1 至 7 日各區間的 RMSE 均低於單一最佳模型 ECMWF AIFS。

正文

TL;DR

  • 허깅페이스에 공개된 「Weather Model Forecast Archive」(2026-01-01~11-15, 24개 도시, 일 최고기온)에서 여섯 개 공개 예보 모델을 똑같은 비중으로 평균하면, 예보 1일 전부터 7일 전까지 모든 구간에서 단일 최고 모델(ECMWF AIFS)보다 오차가 낮았습니다.
  • 예보 1일 전 RMSE는 AIFS 1.38°C, 평균 1.20°C(13.3% 감소). 7일 전은 AIFS 2.56°C, 평균 2.38°C(7.1% 감소)입니다.
  • 코드는 pandas 20줄 이내입니다. 누구나 같은 CSV로 그대로 다시 돌려 볼 수 있습니다.
  • 데이터: https://huggingface.co/datasets/FINAL-Bench/Weather-Model-Forecast-Archive (CC BY-NC 4.0, 비드래프트 정리, 날씨 자료는 Open-Meteo CC BY 4.0, 정답은 ERA5)
  • 순위표: https://huggingface.co/spaces/FINAL-Bench/Weather-Model-Leaderboard

예보 일수별 RMSE: IFS, AIFS, 6개 모델 평균

공개 예보 모델을 섞으면 정말 더 정확해지는가?

일기예보에는 오래된 경험칙이 있습니다. 모델 하나를 고르는 것보다 여러 모델을 섞는 쪽이 대체로 낫다는 것입니다. 각 모델의 실수는 서로 완전히 같지 않아서, 평균을 내면 서로 다른 방향의 오차가 일부 상쇄되기 때문입니다. 각국 예보센터가 앙상블을 쓰는 이유도 같습니다.

그런데 이 경험칙은 2026년의 공개 모델 여덟 개에도 그대로 맞을까요? 올해는 AI 모델이 물리 모델을 앞서기 시작한 해입니다. 가장 정확한 모델 하나가 이미 충분히 좋다면, 나머지를 섞어도 이득이 없을 수 있습니다. 직접 재 보는 것이 가장 빠릅니다. 비드래프트가 매일 갱신하는 공개 아카이브에는 모델별 예보와 ERA5 정답이 한 줄씩 들어 있어서, 계산에 필요한 재료가 모두 갖춰져 있습니다.

어떤 데이터로 쟀는가?

아카이브의 forecasts_vs_observed_2026.csv는 날짜, 도시, 예보 일수(lead_days), ERA5 일 최고기온, 그리고 모델별 예보값을 한 줄로 담습니다. 이번에 사용한 범위는 아래와 같습니다.

항목 내용
기간 2026-01-01 ~ 2026-11-15 (UTC 기준 검증일)
도시 6개 대륙 24개
요소 일 최고기온 (2m, °C)
예보 일수 1일 전 ~ 7일 전
정답 ERA5 재분석 (코페르니쿠스 기후변화서비스)
점수 RMSE, 낮을수록 좋음
사용 모델 ECMWF IFS, ECMWF AIFS, NOAA GFS, JMA GSM, ECCC GEM, MET Norway (6개)
사례 수 예보 일수마다 약 7,200~7,650건

모델 여덟 개 중 두 개는 일부러 뺐습니다. NOAA AIGFS는 빈 칸이 많아 전체 사례의 약 3분의 2에서만 예보가 있고, DWD ICON은 7일 전 예보가 아예 없습니다. 모델 집합이 예보 일수마다 달라지면 구간끼리 비교가 흐려지므로, 모든 구간에 값이 있는 여섯 개로 고정했습니다. 또한 여섯 개 모두 값이 있는 사례만 남겨, 어떤 모델도 더 쉬운 날만 채점받는 일이 없게 했습니다.

재현 코드는 어떻게 생겼는가?

아래 코드는 위 표를 그대로 옮긴 것입니다. 그대로 실행하면 됩니다.

import numpy as np, pandas as pd

url = ("https://huggingface.co/datasets/FINAL-Bench/Weather-Model-Forecast-Archive"
       "/resolve/main/forecasts_vs_observed_2026.csv")
d = pd.read_csv(url)
O = "observed_era5_tmax_c"
S = ["ecmwf_ifs025", "ecmwf_aifs025_single", "gfs_seamless",
     "jma_seamless", "gem_seamless", "metno_seamless"]

d = d[d.lead_days <= 7].dropna(subset=S + [O])      # 여섯 모델이 모두 예보한 사례만
rmse = lambda p, o: float(np.sqrt(((p - o) ** 2).mean()))

for lead, g in d.groupby("lead_days"):
    single = {m: rmse(g[m], g[O]) for m in S}
    best = min(single, key=single.get)
    ens = rmse(g[S].mean(axis=1), g[O])               # 동일 가중 평균
    print(lead, len(g), best, round(single[best], 2), round(ens, 2),
          f"{100 * (1 - ens / single[best]):.1f}%")

dropna 한 줄이 공정성의 핵심입니다. 이 줄이 없으면 모델마다 채점받는 날이 달라져서, 예보를 덜 낸 모델이 유리해지거나 불리해질 수 있습니다. 평균은 g[S].mean(axis=1) 한 줄로 끝나고, 가중치도 학습도 없습니다.

결과는 어떻게 나왔는가?

예보 일수별 RMSE(°C)입니다. 사례 수는 일수마다 7,191~7,651건입니다.

예보 일수 IFS AIFS (단일 최고) GFS MET Norway 6개 평균 AIFS 대비 감소
1일 전 1.51 1.38 1.83 1.64 1.20 13.3%
2일 전 1.65 1.52 1.96 1.77 1.33 12.4%
3일 전 1.82 1.63 2.15 1.93 1.48 9.2%
4일 전 2.02 1.75 2.38 2.16 1.64 6.2%
5일 전 2.24 1.98 2.62 2.35 1.83 8.0%
6일 전 2.70 2.26 2.89 2.75 2.13 5.8%
7일 전 2.97 2.56 3.25 3.02 2.38 7.1%

세 가지가 읽힙니다.

첫째, 모든 구간에서 평균이 이겼습니다. 7개 구간 모두 평균의 RMSE가 단일 최고인 AIFS보다 낮습니다. 감소폭은 5.8%에서 13.3%입니다.

둘째, AI 모델이 같은 기관의 물리 모델보다 정확했습니다. ECMWF의 AIFS는 같은 기관의 IFS보다 1일 전 1.38 대 1.51, 7일 전 2.56 대 2.97로 모든 구간에서 오차가 낮았습니다. 올해의 AI 예보 모델이 실제로 앞선다는 점을 이 표가 다시 보여 줍니다.

셋째, 감소폭은 가까운 예보에서 가장 큽니다. 1일 전에는 13.3%, 6일 전에는 5.8%입니다. 가까운 예보에서는 모델마다 초기 조건 해석이 달라 생기는 서로 다른 오차가 많고, 평균이 이를 잘 지우는 것으로 보입니다. 먼 예보에서는 대기의 불확실성이라는 공통 요인이 커져서 평균으로 지울 수 있는 몫이 줄어드는 것으로 해석됩니다. 이 해석은 이 표만으로 증명되는 것은 아니며, 가설로 읽어 주세요.

평균을 내면 단일 최고보다 오차가 얼마나 줄었나

평균에서 모델 하나를 빼면 어떻게 되는가?

평균이 특정 모델 하나에 기대고 있지는 않은지도 확인했습니다. 7일 전 예보에서 여섯 모델 가운데 하나씩 빼고 다시 평균을 내 보았습니다.

뺀 모델 7일 전 RMSE(°C)
없음 (6개 전부) 2.38
MET Norway 2.36
IFS 2.37
GEM 2.39
JMA 2.42
GFS 2.43
AIFS 2.50

어느 모델을 빼도 RMSE는 2.36~2.50 사이이고, 모두 AIFS 단독(2.56)보다 낮습니다. 평균의 이득이 한 모델에서 나오는 것이 아니라 여러 모델의 오차가 서로 다른 방향이라는 데서 나온다는 뜻입니다. 오차가 가장 많이 올라간 경우는 AIFS를 뺀 때(2.50)로, 단일 최고 모델이 평균에도 가장 크게 기여함을 알 수 있습니다. 한편 AIFS, IFS, MET Norway 세 개만 섞은 평균은 2.55로, 여섯 개를 섞은 2.38보다 높았습니다. 이 아카이브에서는 모델 수가 많을수록 도움이 됐습니다.

도시별로도 같은가?

7일 전 예보를 도시별로 나누어 같은 비교를 해 보았습니다. 24개 도시 중 15개 도시에서 평균이 AIFS보다 낮은 RMSE를 냈습니다. 나머지 9개 도시에서는 AIFS 단독이 더 정확했습니다. 전체 평균에서의 이득이 모든 도시에 똑같이 퍼져 있지는 않다는 뜻이고, 한 지역의 예보를 책임지는 현업에서는 도시별로 가중치를 따로 정할 이유가 생깁니다. 이 질문이 바로 단순 평균 다음에 시도하는 일, 즉 성능에 따라 가중치를 주는 융합입니다.

단순 평균 다음은 무엇인가?

여기서 쓴 평균은 가중치가 모두 같은 가장 단순한 형태입니다. 비드래프트는 같은 공개 자료를 바탕으로 예보를 융합하는 Darwin-Prediction-Weather를 공개하고, 같은 방식으로 매일 채점되는 순위표에 올려 두었습니다. 이 글의 표는 여섯 공개 모델만 쓴 계산이며, Darwin-Prediction-Weather의 값은 포함하지 않았습니다. 융합 모델의 현재 순위는 순위표에서 직접 확인해 주세요. 위 코드의 평균 줄을 가중 평균으로 바꾸고 lead_days와 도시별로 가중치를 맞추면, 오차를 어디까지 줄일 수 있는지 가늠해 볼 수 있습니다.

이 숫자를 쓸 때 주의할 점은 무엇인가?

  • 이 계산은 일 최고기온 하나에 대한 것입니다. 강수량과 풍속은 오차 분포가 달라서 같은 결론이 나온다고 가정하면 안 됩니다. 같은 저장소에 강수·최저기온·풍속 파일이 따로 있으니 같은 코드로 바꿔 돌려 볼 수 있습니다.
  • 정답으로 쓴 ERA5는 관측소 값이 아니라 재분석 자료입니다. 점수는 「ERA5와의 거리」입니다.
  • 데이터의 마지막 검증일은 2026-11-15입니다. 아카이브는 매일 갱신되므로 나중에 돌리면 숫자가 조금 달라집니다.
  • 라이선스는 CC BY-NC 4.0이라 비영리 사용에 한합니다. 상업적 이용은 vidraft@mail.vidraft.net으로 문의해 주세요. 날씨 자료의 출처는 Open-Meteo.com(CC BY 4.0)입니다.

자주 묻는 질문

Q. 여러 예보 모델을 평균하면 항상 더 정확한가요?
A. 이 데이터에서는 24개 도시 전체 기준으로 예보 1~7일 전 모든 구간에서 단일 최고 모델보다 RMSE가 낮았습니다. 다만 7일 전 예보를 도시별로 보면 24개 중 15개 도시에서 평균이 앞섰으므로, 도시마다 결과가 다를 수 있습니다.

Q. RMSE 1.20°C와 1.38°C는 얼마나 다른가요?
A. 일 최고기온을 1일 전에 예보했을 때 RMSE가 0.18°C 줄어든다는 뜻이며, 비율로는 13.3%입니다. RMSE는 큰 실수에 더 큰 벌점을 주는 지표여서, 크게 빗나간 날이 줄었다는 의미로 읽을 수 있습니다.

Q. 왜 AIGFS와 ICON을 뺐나요?
A. AIGFS는 전체 사례의 약 3분의 2에서만 예보가 있고 ICON은 7일 전 예보가 없어, 포함하면 구간마다 사례와 모델 집합이 달라집니다. 모든 구간에서 같은 조건으로 비교하려고 여섯 개로 고정했습니다.

Q. 코드를 그대로 돌리면 같은 숫자가 나오나요?
A. 같은 기간(2026-11-15까지)의 파일이라면 같은 숫자가 나옵니다. 아카이브가 매일 늘어나므로 최신 파일로 돌리면 소수 둘째 자리가 조금 달라질 수 있습니다.

Q. 이 아카이브는 어디서 받고 어떻게 쓸 수 있나요?
A. 허깅페이스 FINAL-Bench/Weather-Model-Forecast-Archive에서 CSV를 내려받습니다. 비영리 용도로 쓸 수 있습니다.

Further reading

來源:DEV Community · dev.to