Hugging Face Storage 成為 SkyPilot 一級儲存後端,跨雲讀取 Hub 數據不收 egress 費
Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
Hugging Face Storage 現已成為 SkyPilot 的一級儲存後端,可透過 hf:// URL 將 Bucket 或 Hub 倉庫接入跨雲任務。
這項整合把模型與數據集的存放位置和 GPU 雲端選擇分開,並明確呈現讀取不收 egress 費與跨雲寫回仍需付費的成本差異。
對大部分團隊而言,模型和資料集都存放在同一雲端、同一地區的儲存桶內。無論是開發、訓練還是提供服務,你能取得的 GPU 越來越常位於另一家雲端,而非資料所在之處。一旦兩者分開,你就得支付跨雲傳輸費,只為把自己的資料讀取到自己的 GPU 上。
我們與 Hugging Face 合作,將這兩端連接起來:模型和資料集留在 Hub 上,而 SkyPilot 則在任何有 GPU 的叢集執行運算工作(開發、訓練或提供服務)。只需一個 hf:// URL 和你現有的 HF_TOKEN,即可將 Hugging Face Bucket 或任何 Hub 儲存庫掛載到 SkyPilot 工作,然後在有運算容量的地方啟動工作。Hugging Face 不收取出口流量費,因此在任何雲端讀取資料到 GPU 都毋須付費。
以下是新功能:
- 在任何工作中存取 Hub 資料。
store: hf可將 Hugging Face Bucket(可讀寫)或任何模型/資料集/Space 儲存庫(唯讀),透過一個hf://URL 和你現有的HF_TOKEN,以MOUNT或COPY方式掛載到 SkyPilot 任務中。 - 在任何雲端使用任何 GPU 執行。 SkyPilot 可在 20+ 個雲端平台、Kubernetes、Slurm 及本地部署環境中,為工作尋找運算資源;因此,同一工作可在任何供應商可用的預留或隨選 GPU 上執行。
- 讀取資料無須支付出口流量費。 Hugging Face Storage 不收取出口流量或 CDN 費用,因此無論 SkyPilot 將工作安排在哪裡,都能直接從同一個儲存桶讀取模型和資料集,毋須在各雲端建立副本,也不會因提取資料而產生出口流量帳單。
- 以 Xet 為基礎進行去重。儲存桶建基於 Xet,因此增量檢查點和模型變體只會儲存及傳輸有變動的區塊。
- 共同打造。 Hugging Face 和 SkyPilot 聯手推出此功能,而 Hugging Face 團隊亦把
hf-mount的 FUSE 修正合併至上游,令它能在非特權容器中運作。
Hugging Face Storage 現已成為 SkyPilot 的一級儲存後端
SkyPilot 任務原本已可透過掛載至本機路徑,讀寫雲端物件儲存服務(S3、GCS、Azure、R2 等)。現在 Hugging Face Storage 也加入其中,成為 store: hf,並透過 hf:// 協定存取:
file_mounts:
# A Hugging Face Bucket, read-write, for checkpoints, logs, processed data.
/checkpoints:
source: hf://buckets/my-org/qwen-sft
store: hf
mode: MOUNT # or COPY
# A model repo, mounted read-only.
/base-model:
source: hf://Qwen/Qwen3.5-4B
store: hf
mode: MOUNT
# A dataset repo, pinned to a revision, read-only.
/data:
source: hf://datasets/my-org/my-dataset@main
store: hf
mode: MOUNT
同一個 hf:// 協定涵蓋整個工作流程:從儲存庫讀取模型和資料集、訓練時把檢查點寫入 Bucket、將完成的模型發布回儲存庫,以及提供服務時把模型拉取至推論伺服器。大部分團隊早已把模型和資料集存放在 Hub 上,因此毋須遷移,也不用建立新的儲存帳戶。
MOUNT 使用 Hugging Face 的 hf-mount FUSE 後端,讓儲存桶或儲存庫以本機路徑顯示,與 SkyPilot 的其他 FUSE 掛載(gcsfuse、blobfuse2、rclone、goofys)並列。資料在檔案系統層按需擷取:程式呼叫 read() 時,驅動程式只會從 Xet 後端提取所需位元組,因此只有實際存取的資料會經網絡傳輸;hf-mount 亦會保留磁碟快取,讓重複讀取留在本機。磁碟快取是 SkyPilot 其他後端在 MOUNT_CACHED 下的行為;一般 MOUNT 則會在每次讀取時從儲存桶串流,不會保留本機資料。對於 hf 儲存服務,MOUNT 和 MOUNT_CACHED 的行為相同,因此兩種模式都會保留快取。
由於讀取採用延遲載入,程式可在大型檔案尚未完全下載時便開始處理,不用先等整個檔案複製完成。這讓 GPU 幾乎立即開始工作,資料以串流方式送入訓練,不會在資料集或檢查點下載期間閒置並持續產生費用。這在首次 epoch 最為有利,因為當時尚未有快取。COPY 則採取另一種方式:預先透過 huggingface_hub 下載,毋須特殊設定。
驗證只需使用你現有的 token。在環境中設定 HF_TOKEN,並透過 --secret HF_TOKEN 將它提供給工作;SkyPilot 會在工作所在的任何雲端使用此 token 掛載儲存空間。同一個 token 適用於 AWS、GCP、Azure、Nebius、Lambda,或你自己的 Kubernetes 叢集,因此毋須管理各雲端專屬的儲存桶金鑰。
免出口費:儲存位置不再決定運算地點
如今,GPU 容量很少只來自一個地方。為了取得足夠的 H100 和 H200,團隊會同時在多家供應商預留及承諾使用容量(例如大型雲端平台上的一組容量、新興雲端供應商的叢集,或本地機櫃),並在獲得配額的地方執行工作。SkyPilot 正是為此而設:使用一份工作規格,在 20+ 個雲端平台、Kubernetes 及本地部署環境之間排程,並安排到目前有空位的預留叢集。
物件儲存一直是箇中難題。物件儲存服務按地區及雲端供應商劃分,因此若 GPU 或推論伺服器位於另一家供應商的數據中心,就必須在每家供應商的儲存桶保留資料副本,或支付跨雲提取費用。大部分雲端會在資料離開其網絡時收取出口流量費(AWS 的費率約為每 GB $0.09),同一雲端內跨地區傳輸通常也會收費。把基礎模型拉取到每個推論節點,或在另一雲端的叢集上反覆執行多個 epoch 的資料集,都會在已預留的 GPU 費用之外增加一筆可觀支出。結果是,團隊往往只把每項工作固定安排在存有資料的供應商,令其他運算容量閒置。
Hugging Face Storage 消除了最關鍵的讀取成本。它不收取出口流量或 CDN 費用,儲存費為每月每 TB $12-18(相比之下,AWS S3 約為每月每 TB $23,另加出口流量費);同一個儲存桶可由所有這些叢集存取,無論 GPU 在哪裡執行,讀取都免費。寫回資料仍須支付運算雲端慣常收取的出口流量費,與寫入任何雲端外儲存服務相同;但對大部分 AI 工作而言,讀取量遠高於寫入量:例如跨多個 epoch 串流資料集,或把模型權重拉取到每個新訓練或推論節點。如此一來,你便不用再把每項工作固定在存有資料副本的供應商。
簡單基準測試
為了收集一些基準數據,我們執行了一次小型微調:以 Qwen/Qwen3.5-4B 模型,在 HuggingFaceH4/Multilingual-Thinking 資料集上使用 TRL 的 SFTTrainer;從 Hub 儲存庫唯讀掛載模型,並將每個檢查點寫入 Hugging Face Bucket。同一份 SkyPilot YAML 分別在 AWS、GCP 和 Lambda 執行,只需更改 --infra。SkyPilot 將每項工作安排在有空閒 GPU 的地方,三者都讀寫同一個儲存桶。
# qwen-sft.yaml. Launch anywhere: sky launch qwen-sft.yaml --infra aws|gcp|...
resources:
accelerators: H100:1 # or whatever the cloud has
file_mounts:
/base-model:
source: hf://Qwen/Qwen3.5-4B # read-only, lazy-mounted from the Hub
store: hf
mode: MOUNT
/checkpoints:
source: hf://buckets/my-org/qwen-sft # read-write Bucket
store: hf
mode: MOUNT
run: |
python train.py --model /base-model --output_dir /checkpoints
測試結果:
- 模型在所有雲端均可免費載入。延遲讀取只會提取
from_pretrained實際存取的資料,因此模型約 30 秒便可開始訓練(速度最高約 ~500 MB/s)。由於 Hugging Face 不收出口流量費,這次提取毋須付費;如果模型存放在 S3,每次在另一雲端的 GPU 上讀取都會被收取出口流量費(AWS 約為每 GB ~$0.09)。 - 檢查點直接串流至儲存桶,速度最高約 ~170 MB/s(每個權重檔為 8.43 GB),並可在 GPU 執行個體結束後繼續保留。
各雲端把檢查點寫入儲存桶的速度如下:
| 雲端 | GPU | 檢查點寫入速度 |
|---|---|---|
| AWS (us-east-2) | L40S | ~168 MB/s |
| GCP (us-central1) | L4 | ~123 MB/s |
| Lambda (us-west-3) | H100 | ~112 MB/s |
以 Xet 為基礎的儲存:為檢查點和模型變體去重
Hugging Face Buckets 建基於 Xet,後者透過內容定義分塊將檔案拆分為約 ~64 KB 的區塊,並讓每個唯一區塊只儲存一次。由於區塊邊界取決於內容,編輯檔案時只會改動受影響的區塊,其餘部分則會識別為已儲存。這在以下情況特別有用:
- 增量檢查點和 Adapter 檢查點。凍結部分層、訓練 Adapter,或在每次儲存之間保留大部分權重不變時,系統只會上傳有變動的區塊,而非整個檢查點。
- 共用基礎模型的不同變體。同一基礎模型的微調版本和量化版本有大量重疊,因此所有版本共用的區塊只會儲存一次。
- 持續追加內容的資料集。對話紀錄或推論輸出等日誌,會以追加資料列的方式擴充大型 Parquet 檔案。現有列羣組會保持逐位元組相同,因此只有新增資料列需要傳輸:在 Hugging Face 的測試中,向一個 100K 列的資料表追加 10K 列,傳輸量約為 10 MB,而非完整的 ~106 MB。(若要原地編輯或刪除資料列,請使用
use_content_defined_chunking=True寫入,以便只變更相關區塊。) - 重新上傳時會略過已儲存內容。在我們的測試中,重新上傳已存在於儲存桶內的 8.43 GB blob 約需 8 秒;首次上傳則需 24 秒,因為只需傳送區塊雜湊。同一機制亦讓伺服器端在儲存庫和儲存桶之間使用
hf buckets cp時,可透過引用複製,而毋須重新上傳位元組。
實際節省多少,取決於各項成品的重疊程度;但去重會自動進行:你照常寫入檢查點,只有新的區塊會離開機器。
立即開始
pip install "skypilot[huggingface]"
hf auth login # or: export HF_TOKEN=<your-token>
在任何 SkyPilot 任務中加入 hf:// 掛載,然後啟動即可。MOUNT 需要使用包含 glibc 2.34+ 和 /dev/fuse 的基礎映像。
共同打造:Hugging Face 與 SkyPilot
最初的 store: hf 支援源自 Nikhil Jha 的貢獻。Hugging Face 團隊接手推進,並把 hf-mount 的 FUSE 修正合併至上游,令它能在非特權容器(許多 Kubernetes 叢集的預設設定)中掛載。SkyPilot 團隊則將它接入儲存後端。整個流程均為開源:SkyPilot、Hugging Face 的 hf-mount,以及 huggingface_hub 用戶端。
資源
來源:Hugging Face Blog · huggingface.co
