Hugging Face Blog·· 2025-10-27精選AI 評分67
Hugging Face 改進 datasets 與 huggingface_hub 串流功能，啟動請求最多減少 100 倍
Streaming datasets: 100x More Efficient
AI 導讀
Hugging Face 改進 datasets 與 huggingface_hub 的資料集串流，資料檔解析快 10 倍、啟動請求最多減少 100 倍，串流速度最高提升至原來的 2 倍。
推薦理由
文章拆解跨 DataLoader workers 快取與 Parquet 預取如何改善資料解析和吞吐，並列出 256 workers 下的請求量及穩定性結果，呈現大規模串流訓練的優化方向。
來源：Hugging Face Blog · huggingface.co