Hugging Face Blog·· 2024-04-03AI 評分54
🤗 Optimum Intel 加速 SetFit 在 Xeon 上的推理
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
AI 導讀
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化,在 Intel Xeon CPU 上推理時,最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
來源:Hugging Face Blog · huggingface.co