如何用 3 個簡單步驟在 Intel CPU 上本地運行 VLM
Get your VLM running in 3 simple steps on Intel CPUs
Hugging Face Blog 提供以 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地運行 SmolVLM2-256M-Video-Instruct 的三步教程,涵蓋模型轉換、量化及推理。
文章展示 VLM 在 Intel CPU 上以 OpenVINO 完成轉換、兩種量化和推理的三步流程,並交代靜態量化校準與精度影響。
隨着大型語言模型(LLM)的能力不斷提升,一類新模型應運而生:視覺語言模型(VLM)。這類模型能分析圖像和影片,描述場景、撰寫説明文字,並回答有關視覺內容的問題。
在自己的裝置上執行 AI 模型並不容易,因為這類模型往往需要大量運算資源;但這樣做也有不少好處:資料留在你的機器上,私隱保障更佳;而且毋須依賴互聯網連線或外部伺服器,速度和可靠性也更高。這時便可使用 Optimum Intel 和 OpenVINO 等工具,配合 SmolVLM 這類小巧而高效的模型。本文會帶你用三個簡單步驟在本機執行 VLM,毋須昂貴硬件或 GPU(不過,本文所有程式碼範例亦可在 Intel GPU 上執行)。
使用 Optimum 部署模型
SmolVLM 等小型模型本來就為低資源消耗而設,但仍可進一步最佳化。本文會示範如何最佳化模型,以減少記憶體用量並加快推論,令它更適合部署在資源有限的裝置上。
要跟隨本教學,請先安裝 optimum 和 openvino:
pip install optimum-intel[openvino] transformers==4.52.*
步驟 1:轉換模型
首先,你需要將模型轉換成 OpenVINO IR 格式。有多種方法可以做到:
- 你可以使用 Optimum CLI
optimum-cli export openvino -m HuggingFaceTB/SmolVLM2-256M-Video-Instruct smolvlm_ov/
- 或者在載入模型時即時轉換:
from optimum.intel import OVModelForVisualCausalLM
model_id = "HuggingFaceTB/SmolVLM2-256M-Video-Instruct"
model = OVModelForVisualCausalLM.from_pretrained(model_id)
model.save_pretrained("smolvlm_ov")
步驟 2:量化
現在可以最佳化模型了。量化會降低模型權重及/或啟動值的精確度,令模型體積更小、速度更快。簡單來説,就是把數值從高精確度資料類型(例如 32 位元浮點數 FP32)映射至較低精確度格式,通常是 8 位元整數(INT8)。這個過程有多項主要好處,但亦可能造成準確度損失。
Optimum 支援兩種主要的訓練後量化方法:
讓我們逐一看看。
選項 1:僅權重量化
僅權重量化是指只量化權重,啟動值則維持原有精確度。這樣模型會變得更小、更省記憶體,載入時間亦會縮短。不過,由於啟動值沒有量化,推論速度提升有限。僅權重量化是簡單的第一步,因為它通常不會明顯降低準確度。
自 OpenVINO 2024.3 起,如果模型權重已經量化,對應的啟動值亦會在執行時量化,並可按裝置帶來額外加速。
要執行此操作,你需要建立量化設定 OVWeightQuantizationConfig,如下所示:
from optimum.intel import OVModelForVisualCausalLM, OVWeightQuantizationConfig
q_config = OVWeightQuantizationConfig(bits=8)
q_model = OVModelForVisualCausalLM.from_pretrained(model_id, quantization_config=q_config)
q_model.save_pretrained("smolvlm_int8")
或使用 CLI 執行等效操作:
optimum-cli export openvino -m HuggingFaceTB/SmolVLM2-256M-Video-Instruct --weight-format int8 smolvlm_int8/
選項 2:靜態量化
使用靜態量化時,權重和啟動值都會在推論前量化。為盡可能準確地估算啟動值量化參數,我們會進行校準,將一小組具代表性的資料集輸入模型。在這個例子中,我們會使用 contextual 資料集中的 50 個樣本,並只對視覺編碼器套用靜態量化;模型其餘部分則採用僅權重量化。實驗顯示,對視覺編碼器套用靜態量化,可明顯提升效能,而不會大幅降低準確度。由於每次生成只會呼叫視覺編碼器一次,對這部分套用靜態量化,整體效能提升低於最佳化語言模型等更常用元件所帶來的提升。儘管如此,在某些情況下仍然有用,例如需要短答案,尤其是以多張圖片作為輸入時。
from optimum.intel import OVModelForVisualCausalLM, OVPipelineQuantizationConfig, OVQuantizationConfig, OVWeightQuantizationConfig
q_config = OVPipelineQuantizationConfig(
quantization_configs={
"lm_model": OVWeightQuantizationConfig(bits=8),
"text_embeddings_model": OVWeightQuantizationConfig(bits=8),
"vision_embeddings_model": OVQuantizationConfig(bits=8),
},
dataset=dataset,
num_samples=num_samples,
)
q_model = OVModelForVisualCausalLM.from_pretrained(model_id, quantization_config=q_config)
q_model.save_pretrained("smolvlm_static_int8")
量化啟動值會引入少量誤差,這些誤差可能累積並影響準確度,因此之後必須仔細測試。更多資訊和範例請參閲我們的文件。
步驟 3:執行推論
現在可以使用量化後的模型執行推論:
generated_ids = q_model.generate(**inputs, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts[0])
如果你使用較新的 Intel 手提電腦、Intel AI PC 或 Intel 獨立顯示卡,載入模型時加入 device="gpu",即可在 GPU 上載入模型:
model = OVModelForVisualCausalLM.from_pretrained(model_id, device="gpu")
我們亦建立了一個 Space,讓你試玩原始模型及其量化版本,後者分別採用僅權重量化和混合量化。此示範在第 4 代 Intel Xeon(Sapphire Rapids)處理器上執行。
如要重現結果,請參閲我們的筆記本。
評估與結論
我們進行基準測試,比較原始模型的 PyTorch、OpenVINO 和 OpenVINO 8 位元 WOQ 版本的效能。測試旨在評估僅權重量化對 Intel CPU 硬件延遲和吞吐量的影響;我們以一張圖片作為輸入。
我們量度以下指標來評估模型效能:
- 首個 Token 時間(TTFT):生成第一個輸出 Token 所需的時間。
- 每個輸出 Token 時間(TPOT):生成其後每個輸出 Token 所需的時間。
- 端到端延遲:生成全部輸出 Token 所需的總時間。
- 解碼吞吐量:模型在解碼階段每秒生成的 Token 數量。
以下是 Intel CPU 上的結果:
| 設定 | 首個 Token 時間(TTFT) | 每個輸出 Token 時間(TPOT) | 端到端延遲 | 解碼吞吐量 |
|---|---|---|---|---|
| pytorch | 5.150 | 1.385 | 25.927 | 0.722 |
| openvino | 0.420 | 0.021 | 0.738 | 47.237 |
| openvino-8bit-woq | 0.247 | 0.016 | 0.482 | 63.928 |
這項基準測試展示了 SmolVLM2-256M 等小型最佳化多模態模型,在不同設定下於 Intel CPU 上的表現。測試顯示,PyTorch 版本延遲較高,首個 Token 時間(TTFT)超過 5s,解碼吞吐量為 0.7 tokens/s。只需透過 Optimum 轉換模型並在 OpenVINO 上執行,首個 Token 時間(TTFT)便大幅降至 0.42s(x12 加速),吞吐量則升至 47 tokens/s(x65)。再套用 8 位元僅權重量化,可進一步降低 TTFT(x1.7),並提高吞吐量(x1.4),同時縮小模型並提升效率。
平台設定 以上效能數據所用的平台設定:
系統主機板: MSI B860M GAMING PLUS WIFI (MS-7E42)
CPU: Intel® Core™ Ultra 7 265K
插槽/實體核心: 1/20(20 條執行緒)
HyperThreading/Turbo 設定: 已停用
記憶體: 64 GB DDR5 @ 6400 MHz
TDP: 665W
BIOS: American Megatrends International, LLC. 2.A10
BIOS 發布日期: 28.11.2024
作業系統: Ubuntu 24.10
核心: 6.11.0–25-generic
OpenVINO 版本: 2025.2.0
torch: 2.8.0
torchvision: 0.23.0+cpu
optimum-intel: 1.25.2
transformers: 4.53.3
基準測試日期: 15.05.2025
測試機構: Intel Corporation 效能會因使用方式、設定及其他因素而異。詳情請參閲下方的平台設定。
實用連結與資源
通知與免責聲明
效能會因使用方式、設定及其他因素而異。請到 Performance Index 網站了解更多。 效能測試結果根據設定中所示日期進行的測試,可能未反映所有公開更新。設定詳情請參閲備份資料。沒有任何產品或元件可以絕對安全。你的成本和結果可能有所不同。Intel 技術可能需要啟用相應硬件、軟件或服務。 © Intel Corporation。Intel、Intel 標誌及其他 Intel 標記均為 Intel Corporation 或其附屬公司的商標。
來源:Hugging Face Blog · huggingface.co