Hugging Face Blog·· 14 天前精選AI 評分73
Hugging Face Transformers 新增 GGUF 量化模型本機推理支援
Transformers now runs llama.cpp quants
AI 導讀
Hugging Face 為 Transformers 加入 GGUF 支援，讓用户可透過熟悉的 Transformers API 在本機載入量化檢查點並生成內容。
推薦理由
文章示範透過 Transformers API 從 Hub 載入 GGUF 量化檢查點，並以 Q4_K_M 等選項説明檔案大小與精度的取捨。
來源：Hugging Face Blog · huggingface.co