跳到正文
Hugging Face Blog·· 2026-03-10精選AI 評分70

Hugging Face Hub 推出 Storage Buckets,提供可變的 S3 類物件儲存

Introducing Storage Buckets on the Hugging Face Hub

AI 導讀

Hugging Face 在 Hub 推出 Storage Buckets,為頻繁變動的 ML 產物提供非版本化 S3 類物件儲存。Buckets 建基於 Xet,以分塊及跨檔案去重減少重複傳輸;Enterprise 計費按去重後的儲存量計算。

推薦理由

文章交代 Buckets 與版本化倉庫分別承擔工作層和發布層,並説明 Xet 去重如何減少重複傳輸及 Enterprise 的計費儲存量。

正文 · 繁體中文

Hugging Face Models 和 Datasets 儲存庫很適合發布最終成果。不過,生產環境的機器學習會持續產生大量中間檔案(檢查點、最佳化器狀態、已處理分片、日誌、追蹤資料等);這些檔案經常變動、同時來自多項工作,而且通常毋須納入版本控制。

Storage Buckets 正是為此而設:可變、類似 S3 的物件儲存空間,你可以在 Hub 瀏覽、透過 Python 編寫指令碼,或用 hf CLI 管理。由於它們以 Xet 為後端,因此特別適合儲存不同檔案之間含有共用內容的機器學習成果。

我們為何建立 Buckets

處理以下情況時,很快就會發現 Git 並非合適的抽象:

  • 訓練叢集在整個執行期間持續寫入檢查點和最佳化器狀態
  • 資料管道反覆處理原始資料集
  • 智能體儲存追蹤資料、記憶和共用知識圖譜

這些情況對儲存的需求都一樣:快速寫入、需要時覆寫、同步目錄、移除過時檔案,並讓流程持續運作。

Bucket 是 Hub 上不設版本控制的儲存容器,位於用戶或機構的命名空間之下,採用標準 Hugging Face 權限,可設為私人或公開,設有可在瀏覽器開啟的頁面,亦可透過類似 hf://buckets/username/my-training-bucket 的識別路徑以程式方式存取。

Xet 為何重要

Buckets 建基於 Xet,即 Hugging Face 以資料區塊為基礎的儲存後端;它的重要性可能比你想像中更高。

Xet 不會把檔案視為不可分割的整體,而是將內容拆成區塊,並在區塊之間去重。假如你上載一個與原始資料集大致相同的已處理資料集,當中許多區塊可能早已存在。儲存模型大部分部分已凍結的連續檢查點,也是同一道理。Buckets 會略過已存在的資料,從而減少頻寬用量、加快傳輸,並更有效運用儲存空間。

這很適合機器學習工作負載。訓練管道會不斷產生一系列相關成果:原始和已處理資料、連續檢查點、智能體追蹤資料和衍生摘要;Xet 正是為善用這些重疊內容而設計。

企業客戶按去重後的儲存量計費,因此共用區塊可直接減少計費容量。去重既有助提升速度,亦可降低成本。

預熱:讓資料靠近運算資源

Buckets 位於 Hub,因此預設採用全球儲存。不過,並非每項工作負載都能承受從資料所在位置提取資料的延遲;對於分散式訓練和大型管道,儲存位置會直接影響吞吐量。

預熱功能可讓你把熱門資料移近執行運算的雲端供應商及區域。你只需指定所需位置,Buckets 便會確保工作開始時資料已在當地,毋須每次讀取都跨區傳送。這對需要快速存取大型資料集或檢查點的訓練叢集尤其有用;若管道不同部分分別在多個區域的雲端執行,也同樣適用。

我們會先與 AWS 和 GCP 合作,日後再加入更多雲端供應商。

開始使用

使用 hf CLI,不到 2 分鐘便可啟用 Bucket。首先安裝並登入:

curl -LsSf https://hf.co/cli/install.sh | bash
hf auth login

為你的專案建立 Bucket:

hf buckets create my-training-bucket --private

假設你的訓練工作會把檢查點寫入本機的 ./checkpoints。將該目錄同步至 Bucket:

hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints

大型傳輸開始前,你可能想先查看即將執行的操作。--dry-run 會列出計劃,但不會實際執行:

hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints --dry-run

你亦可將計劃儲存到檔案,以便檢視及日後套用:

hf buckets sync ./checkpoints hf://buckets/username/my-training-bucket/checkpoints --plan sync-plan.jsonl
hf buckets sync --apply sync-plan.jsonl

完成後,可透過 CLI 檢視 Bucket:

hf buckets list username/my-training-bucket -h

或者直接在 Hub 瀏覽:https://huggingface.co/buckets/username/my-training-bucket。

整個流程就是如此:建立 Bucket,將工作資料同步至其中,需要時查看;值得發布的內容則存入有版本控制的儲存庫。單次操作方面,hf buckets cp 可複製個別檔案,而 hf buckets remove 則可清理過時物件。

透過 Python 使用 Buckets

上述操作亦可透過 huggingface_hub 使用 Python 執行(由 v1.5.0 起提供)。API 沿用相同流程:建立、同步、檢視。

from huggingface_hub import create_bucket, list_bucket_tree, sync_bucket

create_bucket("my-training-bucket", private=True, exist_ok=True)

sync_bucket(
    "./checkpoints",
    "hf://buckets/username/my-training-bucket/checkpoints",
)

for item in list_bucket_tree(
    "username/my-training-bucket",
    prefix="checkpoints",
    recursive=True,
):
    print(item.path, item.size)

這讓你能輕鬆將 Buckets 整合至訓練指令碼、資料管道,或任何以程式方式管理成果的服務。Python 用戶端亦支援批次上載、選擇性下載、刪除和 Bucket 搬移,讓你需要時有更精細的控制。

JavaScript 亦可透過 @huggingface/hub 使用 Bucket(由 v2.10.5 起提供),因此你也能將 Buckets 整合至 Node.js 服務和網頁應用程式。

檔案系統整合

Buckets 亦可透過 HfFileSystem 使用;它是相容 fsspec 的檔案系統,並屬於 huggingface_hub。你可以用標準檔案系統操作列出、讀取、寫入及搜尋 Bucket 內容;任何支援 fsspec 的程式庫都能直接存取 Buckets。

from huggingface_hub import hffs

# List files in a bucket directory
hffs.ls("buckets/username/my-training-bucket/checkpoints", detail=False)

# Glob for specific files
hffs.glob("buckets/username/my-training-bucket/**/*.parquet")

# Read a file directly
with hffs.open("buckets/username/my-training-bucket/config.yaml", "r") as f:
    print(f.read())

由於 fsspec 是 Python 遠端檔案系統的標準介面,pandas、Polars 和 Dask 等程式庫毋須額外設定,便可透過 hf:// 路徑讀寫 Buckets:

import pandas as pd

# Read a CSV directly from a Bucket
df = pd.read_csv("hf://buckets/username/my-training-bucket/results.csv")

# Write results back
df.to_csv("hf://buckets/username/my-training-bucket/summary.csv")

這讓你無須更改程式碼讀寫檔案的方式,就能輕鬆將 Buckets 接入現有資料工作流程。

由 Buckets 轉至有版本控制的儲存庫

Buckets 是快速、可變的儲存空間,適合存放仍在變動中的成果。一旦內容成為穩定交付項目,通常就應存入有版本控制的模型或資料集儲存庫。

我們計劃在路線圖中支援 Buckets 與儲存庫雙向直接傳輸:將最終檢查點權重提升至模型儲存庫,或在管道完成後把已處理分片提交至資料集儲存庫。工作層和發布層各自獨立,但可組成一套連貫、以 Hub 為核心的工作流程。

首批合作夥伴的信任

在向所有人開放 Buckets 前,我們曾與一小羣首批合作夥伴進行私人測試。

非常感謝 Jasper、Arcee、IBM 和 PixAI 測試早期版本、指出錯誤,並分享直接促成此功能成形的意見。

總結與資源

Storage Buckets 為 Hub 補上一直欠缺的儲存層,讓你在 Hub 上儲存可變且高吞吐量的機器學習資料,例如檢查點、已處理資料、智能體追蹤資料、日誌,以及其他尚未定稿但仍有用的內容。

Buckets 建基於 Xet,因此不只是比勉強以 Git 處理所有內容更易用,也更適合 AI 系統持續產生的各類相關成果。這代表傳輸更快、去重效果更好;使用 Enterprise 方案時,計費容量亦會因去重而受惠。

如果你已在使用 Hub,Buckets 可讓更多工作流程集中在同一處。如果你慣用 S3 類型的儲存空間,Buckets 提供熟悉的模式,更貼合 AI 成果的特性,並讓你清楚知道如何在 Hub 上完成最終發布。

Buckets 已包含在現有的 Hub 儲存方案內。免費帳戶附有入門儲存空間,PRO 和 Enterprise 方案則提供更高上限。詳情請參閲儲存方案頁面。

延伸閲讀及親自試用:

來源:Hugging Face Blog · huggingface.co