跳到正文
Hugging Face Blog·· 1 小時前精選AI 評分68

OlmoEarth v1.3 發佈全球衞星嵌入模型

OlmoEarth v1.3: State-of-the-art embeddings for the whole planet

AI 導讀

OlmoEarth 發佈 v1.3 衞星嵌入模型,並提供全球預先計算的年度嵌入向量及 OlmoEarth Embeddings Explorer。模型為每個 10 米像素提供 128 維嵌入,亦可使用 64 維版本;在 27 項評測中,兩者分別於 20 項和 18 項評測表現領先,2023 至 2025 年的嵌入資料覆蓋全球。

推薦理由

這次發佈把全球預先計算的嵌入向量與免登入探索工具一併提供,讀者可瞭解如何免用 GPU 進行衞星資料比較和簡單分類。

正文 · 繁體中文

🤗 模型 | 📄 技術報告 | 📊 數據 | 💻 程式碼 | 🌎 Embeddings Explorer | 🗺️ 互動故事

Pixelated globe in teal and magenta above the OlmoEarth 1.3 wordmark on a dark green background.

今天,我們推出 OlmoEarth v1.3,這是一款領先業界的衞星嵌入模型。除了 OlmoEarth v1.3,我們亦分享了覆蓋整個地球、預先計算的年度嵌入向量(10m、64 維及 128 維),以及一款全新的瀏覽器工具,讓用戶探索並自訂以這些嵌入向量為基礎的地圖——OlmoEarth Embeddings Explorer。這代表任何人都可以立即使用 OlmoEarth v1.3,追蹤隨時間發生的變化,或尋找相似地點,無需登入,也不需要具備進階技術知識。

一直以來,使用 OlmoEarth 的主要方式是在 OlmoEarth Studio 中進行微調:為每項任務訓練一個模型,再將模型套用於衞星影像以製作地圖。這需要存取 GPU,並具備下載和儲存影像的能力。嵌入模型會將衞星數據壓縮成可即時使用的特徵,讓用戶能以低成本重複用於多種任務。

透過 OlmoEarth v1.3,我們很高興能讓用戶以最適合自己的方式,探索和運用地球觀測成果。

計算一次,隨處重用

嵌入向量代表模型從數百萬張影像中學到的資訊。OlmoEarth v1.3 讀取一年的雷達(Sentinel-1)和多光譜(Sentinel-2 及 Landsat)衞星時間序列,為地球上每個 10 米像素產生一個 128 維向量;當中的首 64 個維度亦可獨立使用,作為較小的嵌入向量。

基礎模型和全球嵌入向量的製作成本高昂。為確保所有人都能受惠於這些成果,我們已為整個地球計算這些嵌入向量,並在 Source Cooperative 與社羣分享。從這些嵌入向量出發,製作農作物分佈圖、土地覆蓋圖或變化分析,就會成為一項輕量級的建模工作:在其上訓練小型分類器,並在本機執行即可。

Diagram showing satellite time series passing through a vision transformer, attention pooler, and linear projection to produce 128-dimensional embeddings.

OlmoEarth v1.3 產生嵌入向量的方式:視覺 Transformer 讀取衞星數據,Attention Pooler 將資料池化,為每個地塊產生一個向量,再由線性層將其縮減為 128 個數值。

領先業界的嵌入向量

我們在 27 項評測中,將 OlmoEarth v1.3 的嵌入向量與 AlphaEarth Foundations (AEF) 及 Tessera v2 比較,評測涵蓋六大洲及多種不同任務。OlmoEarth 的 128 維嵌入向量在 27 項評測中有 20 項得分最高,整體排名亦最高。只有一半大小的 64 維版本,在 27 項評測中仍有 18 項領先。在這項評測中,我們推出了 PLANTEUR,一項針對熱帶農業的新作物類型基準測試;而這些嵌入向量對分類器從未見過的地點,泛化能力最佳(PLANTEUR 技術報告請見此處)。相關內容全部完全開放:模型權重、預訓練數據及預訓練程式碼。

實際應用上,只需用 OlmoEarth 嵌入向量訓練一個小型分類器,就足以繪製地面狀況的地圖:例如分類肯尼亞小農種植的作物、偵測達卡以西的磚窯、評估印尼的火災損毀情況,以及追蹤秘魯亞馬遜地區的金礦開採活動。

與前幾代 OlmoEarth 模型相比,OlmoEarth v1.3 亦是我們訓練成本最低的模型。它所需的運算時間分別只有上一版(v1.2)的 53% 及首個版本(v1)的 18%,碳排放量則分別為 50% 及 22%。它亦仍然是出色的微調模型,在研究及合作夥伴標籤上的表現均與 v1.2 相若。我們最新的模型沿用早期 OlmoEarth 版本的相同基礎,並經過調校,讓嵌入向量保持輕量,同時不犧牲不同任務的準確度;這項效率提升亦會延續至未來版本。

完整結果及方法詳情載於我們的 技術報告。

Bar chart comparing rented H100 pretraining costs: $15,060 for OlmoEarth v1 Base, $5,100 for v1.2 Base, and $2,720 for v1.3 Base.

如果要重現這項成果,預訓練 OlmoEarth v1.3 Base,最後一次執行大約需要 $2,720 的租用 H100 運算時間。模型權重、資料及程式碼全部開放。

同一地點,九年

Maps of embedding change in La Pampa, Peru, comparing 2017–2020 and 2020–2025, with magenta indicating the largest changes.

每個像素的嵌入向量在 2017 至 2020 年(左)及 2020 至 2025 年(右)之間的變化幅度。洋紅色代表最大變化。左圖:採礦活動向東南擴張,右下方的大塊區域最明顯。右圖:該角落已歸於平靜;變化如今集中在西面的舊採礦區,一部分是植被重新生長,一部分則是再度開挖。可在 OlmoEarth Embeddings Explorer。中親自探索。

在秘魯馬德雷德迪奧斯大區,拉潘帕周邊的非法淘金活動於 2017 年及 2018 年達到高峯,在坦博帕塔國家保護區的緩衝地帶清除了逾 1,200 公頃森林,據 Amazon Conservation 的 MAAP 監測計劃資料。2019 年 2 月,秘魯的 Operation Mercurio 行動取締了當地大部分非法採礦活動。此後一直令人關注的問題是:非法採礦是否就此停止?

嵌入向量有助回答這個問題。無需訓練模型,只要比較不同年份每個像素的向量,2017 至 2020 年的對照圖便會突出顯示採礦活動向東南擴散的區域。以同樣方式比較 2020 至 2025 年,訊號便會轉移。打擊行動在嵌入向量中清晰可見。

更值得留意的是第二幅地圖仍然顯示的情況:圖上並非一片暗色。MAAP 指出,西北部仍有零星採礦點持續運作,而舊採礦區亦隨著土地復原而持續變化。嵌入向量也記錄到這些變化。短暫的喘息期已過,壓力再次增加。2026 年 8 月,Associated Press 報道,檢察官發現採礦活動已蔓延至坦博帕塔國家保護區內,秘魯因此再次派遣海軍巡邏隊進入保護區。

我們的互動式專題以馬德雷德迪奧斯這片地區為起點,並由此帶出其他幾個案例。

Another way to view our planet. Explore the OlmoEarth interactive story.

OlmoEarth Embeddings Explorer

OlmoEarth Embeddings Explorer 是一款以嵌入向量本身構建的互動式分析工具,並以地球偽彩色地圖呈現。平移至任何位置,切換年份以查看地貌變化,亦可載入底層 Sentinel-2 影像,將地圖與實際影像對照核實。接著,你可以開始提出問題:點擊某個地點,找出外觀相似的其他地點;或標記幾個已標註的點,即時訓練小型分類器,再將結果匯出為 GeoTIFF。無需帳戶,亦無需設定。

對許多團隊而言,要用 OlmoEarth 測試一個構想,往往需要進行一次微調,耗時數小時。在 Explorer 中,初步測試只需幾秒。只需少量標籤,便可分析整個區域,而且不需要 GPU。若任務需要微調,嵌入向量可助你判斷是否值得投入運算資源,以及模型在哪些方面有所不足。

Explorer 背後的資料檔案庫收錄了 10 米解析度的嵌入向量,每年約 150 TB,涵蓋陸地及鄰近沿岸水域。推出時,2025、2024 和 2023 年的資料覆蓋全球;2017 至 2022 年的資料則涵蓋部分國家,未來將擴大覆蓋範圍。你可以取得完整的 128 維版本,或較精簡的 64 維版本。每個嵌入向量亦附有來源記錄。每個 20 公里網格及年份均有公開的來源追溯表,列出模型讀取的 Sentinel-1、Sentinel-2 和 Landsat 影像場景,並附上託管這些場景的公開目錄連結,讓你可以追溯任何像素所依據的影像。

開始使用

此版本包括 OlmoEarth v1.3 Base 模型、預先計算的全球嵌入向量、OlmoEarth Embeddings Explorer,以及技術報告。如果你的工作需要特定時段的資料,OlmoEarth Studio 可按照你選擇的日期、模態及解析度,使用同一模型處理資料;而這份教學則示範如何使用自己的運算資源生成嵌入向量。這些工具可配合使用:在 Embeddings Explorer 中探索;任務需要時,在 Studio 進行微調,然後以此製作地圖。所有內容均以 OlmoEarth Artifact License 發布,與 v1 和 v1.2 所採用的開放授權相同。

取得你關注地點的嵌入向量,向它們提出問題,並分享你的發現。

來源:Hugging Face Blog · huggingface.co