Hugging Face 改進 datasets 與 huggingface_hub 串流功能,啟動請求最多減少 100 倍
Streaming datasets: 100x More Efficient
Hugging Face 改進 datasets 與 huggingface_hub 的資料集串流,資料檔解析快 10 倍、啟動請求最多減少 100 倍,串流速度最高提升至原來的 2 倍。
文章拆解跨 DataLoader workers 快取與 Parquet 預取如何改善資料解析和吞吐,並列出 256 workers 下的請求量及穩定性結果,呈現大規模串流訓練的優化方向。
簡介
我們改進了
load_dataset('dataset', streaming=True),現在只需一行程式碼,就能串流載入資料集而無須下載!立即開始訓練多 TB 資料集,無須複雜設定或下載,也不用擔心「磁碟空間不足」或 429「請勿再發送請求!」錯誤。
速度極快!以 64xH100 和 256 個工作程序下載資料訓練時,速度甚至超越本地 SSD!我們改進串流功能,請求數量減少 100x → 資料解析速度快 10× → 每秒樣本數增至 2x → 256 個並行工作程序下崩潰數降至 0。

載入資料,尤其是 TB 級資料,是任何機器學習工作流程中一大痛點。我們訓練 SmolLM3時就深受其苦,曾經每次訓練前都要等 3 小時下載足夠資料。
datasets程式庫一直支援串流載入,但使用大型資料集進行大規模訓練仍然不容易。今天情況改變了 🔥。我們花了幾個月改進後端,專注提升資料集串流的速度和效率。
我們具體做了甚麼?⤵️
串流:簡單 API 一如以往
首先,我們的改動向後兼容。你仍可使用同一個簡單的 streaming=True旗標,串流 Hugging Face Hub 上的任何資料集。一如以往簡單。🚀
from datasets import load_dataset
# Stream a dataset instead of downloading it
dataset = load_dataset("HuggingFaceM4/FineVisionMax", split="train", streaming=True)
# Get the first example
print(next(iter(dataset)))
全球數以千計的 AI 開發者每天都在使用 datasets;他們無須額外操作,就能直接享有更佳效能。
挑戰:大規模串流
串流載入有助快速瞭解資料集,但訓練模型時,大家通常會把資料下載到本地,或使用 S3 等雲端儲存服務。我們訓練 SmolVLM時也是如此:所有資料都放在 S3,並直接從中串流讀取。
我們希望改變這種做法,因此在開發 nanoVLM時決定改用 Hub 串流。很快便遇到一個大問題:測試運行在不到一分鐘內產生超過 100,000 個請求,結果 Hub 封鎖了我們的 IP!😅 原因是每個 DataLoader 工作程序都會各自初始化資料集。深入調查後,我們發現這會引發大量冗餘請求,其中許多根本沒有必要。最終,我們的改動把啟動請求減少了 100 倍。整體而言,改進帶來以下成果:
- 資料檔案解析時間:快 10x
- 啟動請求:效率最高提升 100x
- 串流速度:最高快 2x
- 處理中的請求:效率最高提升 2x
深入瞭解:我們作了哪些改進
那麼,具體改了甚麼?我們集中改進兩個階段:啟動和串流。
1. 啟動⚡️ 初次解析資料檔案時會產生大量請求。我們作了兩項主要改動:
- 持久化資料檔案快取:現在會在所有 DataLoader 工作程序之間快取資料檔案清單。第一個工作程序從 Hub 解析檔案清單,其餘工作程序則直接讀取本地快取,幾乎完全消除啟動請求,並大幅縮短解析時間。從此不再有請求風暴!
- 最佳化解析邏輯:我們亦減少初始工作程序取得檔案清單所需的 API 呼叫次數。現在會盡可能有效地整合所需請求,進一步降低延遲。
2. 串流 🏎️ 為提升串流過程的吞吐量,我們新增了兩項功能:
- Parquet 預先擷取:我們為 Parquet 資料集啟用預先擷取。這表示模型處理目前資料區塊時,datasets 程式庫已在背景擷取下一個區塊。資料管道因此能保持暢通,確保 GPU 不會因等候資料而閒置。
- 可設定緩衝:進階用戶現在可按硬件和網絡環境微調串流效能。我們開放設定緩衝區區塊大小和預先擷取量,讓你充分掌控並最佳化 I/O。
以下示範如何把串流時的最小請求大小由 32MiB(預設值)提升至 128MiB,並設定預先擷取:
import pyarrow
import pyarrow.dataset
fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
cache_options=pyarrow.CacheOptions(
prefetch_limit=1,
range_size_limit=128 << 20
),
)
ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
這些改進結合起來,資料吞吐量可提升一倍,讓你訓練得更快、更有效率。
我們如何比一般 S3 更快:Xet
Hugging Face 使用 Xet,這是一種以重複資料消除為基礎的儲存技術,可加快去重後的上載和下載。與傳統遠端儲存不同,Xet 的資料傳輸速度更快,因為重複資料只會傳送一次。例如,把大型資料集上載至 Hugging Face 時,Xet 能加快上載速度;資料集上載完成後,便可立即開始串流。
Parquet 的重複資料消除透過 Parquet 內容定義分塊(CDC)啟用。受惠於 Parquet CDC 和 Xet 去重技術,在 Hugging Face 上載資料集比使用任何傳統遠端儲存都更快。
這項功能由 pyspark_huggingface套件支援。它是一個 Spark 資料來源,可讀寫 Hugging Face 資料集,並整合 Parquet CDC 和 Xet 支援,大幅加快 Hugging Face 上的資料傳輸。
需要自訂串流管道?
datasets不支援某些資料檔案格式,而且有時需要更高控制度,因此我們讓自訂串流管道更易建構。這種做法已在 LeRobot 程式庫中經過實戰驗證,用於抽取影片畫格;亦在 WebDataset程式庫中用來串流 TAR 封存檔。
我們改進了 HfFileSystem(位於 huggingface_hub程式庫中),令它能有效讀取遠端 Hugging Face 資料集儲存庫中的檔案並串流資料:
from huggingface_hub import HfFileSystem
path = f"hf://datasets/{dataset_id}/{path_in_repo}"
with HfFileSystem().open(path) as f:
# loop with .read() or .readline() to stream data
# or do random access with .seek()
將 HfFileSystem傳入 torch DataLoader時,可重用 .ls()和 .glob()的快取結果,毋須在列出資料檔案時再發送請求。
將串流效能推至極限
我們現在使用這些串流改進,在 nanoVLM 訓練新一代 SmolVLM。經過調整後,串流效能比在叢集的分層硬碟系統上訓練更佳。事實上,串流現在與從本地 SSD 讀取資料一樣快!以前,把資料傳到本地 SSD 的步驟會令訓練延遲三小時。詳情請參閲我們的 GitHub。
開始使用並感受差異
這些強大新功能已加入 datasets 和 huggingface_hub 程式庫。只要更新程式庫,並查看文件,即可使用:
pip install --upgrade datasets huggingface_hub
為慶祝這次更新,我們已把 FineVision 的所有資料來源預先串接並隨機排序,整合成 FineVisionMax。你可使用這個合併資料集訓練 VLM,無須再手動處理多個資料集!
from datasets import load_dataset
# Stream a dataset instead of downloading it
dataset = load_dataset("HuggingFaceM4/FineVisionMax", split="train", streaming=True)
# Get the first example
print(next(iter(dataset)))
你亦可在 nanoVLM查看我們如何大規模應用這些功能!
祝你串流愉快!🤗
來源:Hugging Face Blog · huggingface.co