Google Research 開源水文建模框架,供各地訓練 AI 洪水預報模型
The next chapter in flood resilience: Open sourcing Google’s hydrology framework
Google Research 將水文建模框架以 Apache 2.0 許可證開源,供研究人員及預報機構訓練 AI 洪水預報模型。這個 Python 套件以 PyTorch 實作河流預報模型,包含 LSTM 架構與使用 Caravan 歷史河流數據的訓練流程,並可加入本地數據訓練或微調。
CHMI 開發 adapter 將框架接入 Delft-FEWS,具體展示 AI 水文模型如何納入既有預報工作流,亦為其他機構提供整合參考。
我們已開源水文模型,讓國家氣象和水文服務機構能把先進的 AI 洪水預測技術整合到自己的工作流程。
洪水是全球破壞力最大的自然災害之一,往往預警時間短,並造成長期破壞。多年來,Google Research 一直開發最先進的 AI 模型,提升洪水預測準確度,確保前線應變人員能及時使用這項技術,爭取行動時間。為進一步保護弱勢社羣,我們現於 GitHub 開源水文建模框架,供其他人使用和擴展。
此開放原始碼建模框架讓研究人員和預測人員使用與 Google Flood Hub 河流洪水預測相同的架構和相近訓練資料,訓練 AI 洪水預測模型。它旨在讓水文科學家透過新增和測試模型、資料及方法,延續 Google Research 的工作。框架亦讓負責為指定地區發布可行洪水警報的業務預測人員,把本地資料和知識融入最先進的 AI 洪水預測。這項計劃加入 Google Earth AI地理空間模型和數據集系列,進一步體現我們在危機應變韌性方面引領科學發展的承諾。
我們相信,當科學突破能賦能他人重現並拓展研究成果,創新才可充分發揮潛力,推動全球進步。因此,我們在內部開發此框架,並與捷克水文氣象研究所(CHMI)等夥伴進行測試。公開模型架構和訓練管線,代表全球洪水防備方式出現根本轉變,讓國家氣象和水文服務機構(NMHS)、其他氣象機構及當局保留對自身資料的完整控制權,同時賦能本地專家利用專用數據集改良模型。
運作方式
我們的水文模型是一個 Python 套件,使用開放原始碼的 PyTorch 機器學習建模套件,實作驅動 Google Flood Hub 的河流預測模型。這些模型會接收與氣候、土壤、地形和地表覆蓋相關的地理特徵,以及降雨、氣温和其他天氣狀況等氣象預測資料,藉此預測全球河流的每日流量。
水文建模套件包括基於模型架構的長短期記憶(LSTM)網絡,以及一套訓練管線,讓模型可使用開放原始碼 Caravan 數據集中的歷史河流資料進行訓練。研究人員和洪水預測機構可把自己的資料加入這個開放原始碼資料庫,訓練模型或微調模型以適應當地流域。
如欲開始實作,請參閲這份互動式 Python 教學筆記本及相關的YouTube 影片教學,瞭解如何瀏覽模型程式碼。
模型改進
此程式碼儲存庫包含兩個不同版本的水文模型:原始版本曾在我們於 2024 年發表的基準測試研究中評估;升級版本則目前用於 Flood Hub 的即時全球洪水預測。新模型透過轉用新架構,延續初期研究的成果。此框架能把多樣化、多來源氣象輸入整合至統一的洪水預測系統,如下圖所示。近期基準測試研究顯示,相較於舊版本,新模型在有測站流域的可靠預測期延長六日,在無測站流域則延長一日。
從理論走向實際運作
在《2025 年全球多重災害預警系統狀況報告》中,世界氣象組織指出,本地資料以及原住民和地方知識(ILK)都是有效災害警報的重要組成部分,並提到:「把 ILK 系統性整合至風險知識產製,至今仍屬例外,而非普遍做法。」我們的開放原始碼洪水預測工作流程,讓區域預測人員直接操作 AI 洪水預測模型,以回應報告指出的問題。這些框架相對容易訓練,成本亦低,能在避免傳統水文預測模型複雜性的同時提供準確預測,並讓使用者加入專用資料進行訓練和預測。
容易採用的開放原始碼工具,對於縮小技術創新與洪水災害系統實際成效之間的差距至關重要,尤其有助加快預警系統的能力建設。
與 CHMI 的合作,最能展現此次發布的實際應用潛力。合作驗證了我們的 AI 模型,其預測品質可媲美傳統、本地校準的概念模型。CHMI 亦開發了介接器,把開放原始碼水文框架整合至 Delft-FEWS平台。這款熱門業務洪水預測工具由國家和地方洪水預測機構、非政府組織及私人公司使用,以驅動預測模型。Delft-FEWS 由研究機構 Deltares營運和維護。這讓 CHMI 及全球其他水文服務機構可在標準工作流程中使用模型。此整合方式亦為全球機構如何把機器學習納入水資源管理工作流程,提供了示範。
除了 CHMI 等大型機構,開放原始碼模型亦是一款可擴展、容易取得的工具,讓更多人使用先進預測技術,並為資源有限的地區和本地團隊打開機會,毋須依賴昂貴的傳統預測基礎設施,也能取得高質素分析結果。
國際氣象界已肯定這種開放科學方針的價值。世界氣象組織水文建模與預測部門主管 Dr. Hwirin Kim 表示:「我歡迎擴大開放原始碼水文建模工具的應用。這些工具對支援社會管理水資源和應對環境挑戰至關重要。世界氣象組織樂意支持開放原始碼、可互通、由成員主導的模型和工具,協助拯救生命,並推進全球使命,確保各地社羣都能及早獲知危險,保障生命和生計。」
氣候行動的統一框架
模型架構、完整文件和訓練教材現已在 GitHub 公開,採用 Apache 2.0 授權,讓研究人員和業務預測專業人員都能全面使用此框架。
把水文模型交到全球水文社羣手中,有助我們建構更能抵禦洪水的世界。Google 更廣泛的洪水預測計劃和資源詳情,請參閲 Google Research 網站。我們邀請全球水文社羣共同拓展這些開放工具。
致謝
許多人參與了這項工作的開發。我們特別感謝 CHMI 的 Jakub Krejci 和 Jan Daňhelka 與我們合作並提供意見,亦感謝 Google Research 和 Social Impact Partnerships 團隊以下成員:Amit Markel、Avinatan Hassidim、Deborah Cohen、Emily Reinstein、Gila Loike、Grey Nearing、Nina Bekele、Omri Shefi、Reuven Sayag、Rony Amira、Shmulik Fronman、Stephanie Rees 和 Yossi Matias。
來源:Google Research · research.google