Google Research 推出 Groundsource,以 Gemini 將新聞報道轉化為突發洪水資料
Introducing Groundsource: Turning news reports into data with Gemini
Google Research 推出 Groundsource,利用 Gemini 從新聞報道抽取突發洪水事件,建立涵蓋 150 多個國家的 2.6 million 筆開放歷史資料集。
文章列出 Groundsource 的人工核驗數據和 GDACS 事件匹配結果,讓讀者比較新聞抽取資料的時空準確度與既有災害檔案覆蓋情況。
今天,我們推出 Groundsource,這是一套全新的可擴展方法,運用 Gemini 把全球新聞中的非結構化內容轉化為可採取行動的歷史資料。我們首個開放取用的 Groundsource 城市突發洪水資料集包含 260 萬筆紀錄,為更準確、拯救生命的預測鋪路。
自然災害持續威脅全球人口及經濟。每年有數以百萬計的人受影響,直接損失達數十億美元。要推進氣候研究,並最終讓社區在自然災害來臨前獲得充分預警、保障安全,穩健的歷史基準資料至關重要。歷史資料讓世界各地的科學家能透過水文建模,以及以實證資料驗證前瞻性預測,更有效地減輕災害風險。歷史紀錄亦支援多種實際應用,從城市規劃、保險到緊急應變皆包括在內。
因此,我們今天推出 Groundsource,這是一個可擴展框架,可從非結構化資料中提取經核實的地面實況,以前所未有的精確度繪製災害的歷史影響範圍。我們首先運用這套方法建立獨特的全球突發洪水資料集,涵蓋超過 150 個國家、260 萬宗歷史水災事件。我們公開提供這份突發洪水資料集,作為可靠的高質素資料來源,協助建模和預測城市地區的突發洪水。同一方法亦有望用於建立其他災害的歷史資料集,推動全球危機應變能力。
挑戰:全球資料匱乏
地震等部分自然災害由全球統一的感測器網絡追蹤,但洪水等水文氣象災害缺乏標準化的觀測基礎設施。長久以來,突發洪水預測因欠缺高質素的全球歷史資料供模型訓練和驗證而受到嚴重阻礙。這片「資料荒漠」構成重大挑戰。
現有檔案庫,例如以衞星為本的 Global Flood Database(GFD)及 Dartmouth Flood Observatory(DFO),提供有用的水浸範圍資料,但受到雲層遮擋、衞星重訪週期等實際限制,而且往往只捕捉大型、持續時間較長的災害。由聯合國與歐洲委員會共同推行、監測人道影響的 Global Disaster Alert and Coordination System(GDACS)提供重要資料,收錄約 10,000 筆紀錄,但主要聚焦於影響重大的事件。
10,000 筆紀錄看來或許不少,但與訓練及驗證全球規模 AI 所需的資料相比,仍只是九牛一毛。對於突發洪水等局部或迅速發生的災害,資料匱乏尤其成問題,因為這些事件往往不會記錄在傳統災害資料庫中,令建立可在全球範圍可靠運作的預測模型幾乎不可能。
Groundsource:運用 Gemini 把新聞報道轉化為資料
為瞭解決全球資料匱乏問題,Groundsource 會分析現有新聞報道,整理水災詳情,並把公開資訊轉化為結構化、按地區整理的事件檔案,涵蓋超過 150 個國家,時間範圍由 2000 年至今。Groundsource 的核心創新,在於運用先進 AI 從全球新聞媒體中提取訊號。
關於歷史事件的非結構化資料十分豐富,包括新聞文章、政府報告及本地公告,但要大規模以人手抽取資訊並不可行。我們的方法會分析以水浸為主要內容的新聞報道。接著,我們使用 Google Read Aloud user-agent,從 80 種語言的內容中抽取正文,再透過 Cloud Translation API 統一轉換為英文。
抽取流程中最關鍵的一步由 Gemini 大型語言模型(LLM)完成。我們設計了一套精密提示詞,引導 Gemini 按嚴格的分析驗證流程處理:
- 分類:模型會區分記載實際發生、正在發生或過去發生水浸的報道,以及只談及未來預警、政策會議或一般風險建模的文章。
- 時間推理:Gemini 會以文章發佈日期為基準,解讀「上週二」等相對時間描述,從而確定事件的準確時間。
- 位置精確度:系統會識別細緻地點(例如鄰裏及街道),並使用 Google Maps Platform 將地點對應至標準化空間多邊形。
Groundsource 的技術驗證確認了它用於高風險研究的可靠性。在人手覆核中,我們發現 60% 的抽取事件在位置和時間兩方面均準確。更重要的是,82% 的事件準確度足以實際應用於現實分析,例如識別正確的行政區,或把事件發生時間定位在其報道所述高峯期的前後一天內。
Groundsource 的覆蓋範圍較現有檔案庫大幅擴展。透過把非結構化媒體轉化為資料,我們產生了 260 萬宗事件,遠超傳統監測系統所收錄的紀錄。此外,時空配對顯示,Groundsource 捕捉到 GDACS 在 2020 至 2026 年間記錄的嚴重水災事件之 85% 至 100%,證明它既能識別重大災害,也能發現較小規模的局部事件。
影響:改善自然災害預測
運用這些豐富的結構化資料,我們已能提供近乎全球覆蓋的城市突發洪水預測,最早可在事件發生前 24 小時發出。我們現正把預測功能逐步推出至 Google 的 Flood Hub,大幅擴展 Google 的水災覆蓋範圍。
這項工作加入我們的地理空間模型及資料集系列 Google Earth AI,展現我們在危機應變領域的科研領導力,並説明 LLM 能有系統地把世界的「非結構化記憶」——新聞——轉化為穩健的科學基準。此外,這套方法有望用來填補其他缺乏精確歷史紀錄的自然災害資料缺口,例如乾旱、山泥傾瀉及雪崩。
把世界各地的新聞轉化為可採取行動的資料,不只是記錄過去,更是在建構更具韌性的未來。我們目前正改良模型、努力擴大至更多鄉郊地區,並整合新的資料來源。展望未來,我們會把這種方法應用於其他災害類型;過往由於欠缺地面實況資料,這些危機一直難以預測。我們希望邁向一個沒有社區會對自然災害措手不及的未來。
鳴謝
許多人參與了這項工作的開發。我們特別感謝:Amitay Sicherman、Avinatan Hassidim、Deborah Cohen、Frederik Kratzert、Gila Loike、Grey Nearing、Ido Zemach、Juliet Rothenberg、Moral Bootbool、Oleg Zlydenko、Oren Gilon、Reuven Sayag、Rotem Mayo、Shmuel Fronman、Yonatan Nakar 及 Yossi Matias。
來源:Google Research · research.google