跳到正文
原文
Hugging Face Blog·· 2024-04-03AI 評分54

🤗 Optimum Intel 加速 SetFit 在 Xeon 上的推理

Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon

AI 導讀

Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化,在 Intel Xeon CPU 上推理時,最高吞吐量較原始 Transformers fp32 模型提升 7.8x。

來源:Hugging Face Blog · huggingface.co