跳到正文
Hugging Face Blog·· 2025-10-15精選AI 評分60

如何用 3 個簡單步驟在 Intel CPU 上本地運行 VLM

Get your VLM running in 3 simple steps on Intel CPUs

AI 導讀

Hugging Face Blog 提供以 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地運行 SmolVLM2-256M-Video-Instruct 的三步教程,涵蓋模型轉換、量化及推理。

推薦理由

文章展示 VLM 在 Intel CPU 上以 OpenVINO 完成轉換、兩種量化和推理的三步流程,並交代靜態量化校準與精度影響。

正文 · 繁體中文

隨着大型語言模型(LLM)的能力不斷提升,一類新模型應運而生:視覺語言模型(VLM)。這類模型能分析圖像和影片,描述場景、撰寫説明文字,並回答有關視覺內容的問題。

在自己的裝置上執行 AI 模型並不容易,因為這類模型往往需要大量運算資源;但這樣做也有不少好處:資料留在你的機器上,私隱保障更佳;而且毋須依賴互聯網連線或外部伺服器,速度和可靠性也更高。這時便可使用 Optimum Intel 和 OpenVINO 等工具,配合 SmolVLM 這類小巧而高效的模型。本文會帶你用三個簡單步驟在本機執行 VLM,毋須昂貴硬件或 GPU(不過,本文所有程式碼範例亦可在 Intel GPU 上執行)。

使用 Optimum 部署模型

SmolVLM 等小型模型本來就為低資源消耗而設,但仍可進一步最佳化。本文會示範如何最佳化模型,以減少記憶體用量並加快推論,令它更適合部署在資源有限的裝置上。

要跟隨本教學,請先安裝 optimum 和 openvino:

pip install optimum-intel[openvino] transformers==4.52.*

步驟 1:轉換模型

首先,你需要將模型轉換成 OpenVINO IR 格式。有多種方法可以做到:

  1. 你可以使用 Optimum CLI
optimum-cli export openvino -m HuggingFaceTB/SmolVLM2-256M-Video-Instruct smolvlm_ov/
  1. 或者在載入模型時即時轉換:
from optimum.intel import OVModelForVisualCausalLM

model_id = "HuggingFaceTB/SmolVLM2-256M-Video-Instruct"
model = OVModelForVisualCausalLM.from_pretrained(model_id)
model.save_pretrained("smolvlm_ov")

步驟 2:量化

現在可以最佳化模型了。量化會降低模型權重及/或啟動值的精確度,令模型體積更小、速度更快。簡單來説,就是把數值從高精確度資料類型(例如 32 位元浮點數 FP32)映射至較低精確度格式,通常是 8 位元整數(INT8)。這個過程有多項主要好處,但亦可能造成準確度損失。

Quantization

Optimum 支援兩種主要的訓練後量化方法:

讓我們逐一看看。

選項 1:僅權重量化

僅權重量化是指只量化權重,啟動值則維持原有精確度。這樣模型會變得更小、更省記憶體,載入時間亦會縮短。不過,由於啟動值沒有量化,推論速度提升有限。僅權重量化是簡單的第一步,因為它通常不會明顯降低準確度。

自 OpenVINO 2024.3 起,如果模型權重已經量化,對應的啟動值亦會在執行時量化,並可按裝置帶來額外加速。

要執行此操作,你需要建立量化設定 OVWeightQuantizationConfig,如下所示:

from optimum.intel import OVModelForVisualCausalLM, OVWeightQuantizationConfig

q_config = OVWeightQuantizationConfig(bits=8)
q_model = OVModelForVisualCausalLM.from_pretrained(model_id, quantization_config=q_config)
q_model.save_pretrained("smolvlm_int8")

或使用 CLI 執行等效操作:

optimum-cli export openvino -m HuggingFaceTB/SmolVLM2-256M-Video-Instruct --weight-format int8 smolvlm_int8/

選項 2:靜態量化

使用靜態量化時,權重和啟動值都會在推論前量化。為盡可能準確地估算啟動值量化參數,我們會進行校準,將一小組具代表性的資料集輸入模型。在這個例子中,我們會使用 contextual 資料集中的 50 個樣本,並只對視覺編碼器套用靜態量化;模型其餘部分則採用僅權重量化。實驗顯示,對視覺編碼器套用靜態量化,可明顯提升效能,而不會大幅降低準確度。由於每次生成只會呼叫視覺編碼器一次,對這部分套用靜態量化,整體效能提升低於最佳化語言模型等更常用元件所帶來的提升。儘管如此,在某些情況下仍然有用,例如需要短答案,尤其是以多張圖片作為輸入時。

from optimum.intel import OVModelForVisualCausalLM, OVPipelineQuantizationConfig, OVQuantizationConfig, OVWeightQuantizationConfig

q_config = OVPipelineQuantizationConfig(
    quantization_configs={
        "lm_model": OVWeightQuantizationConfig(bits=8),
        "text_embeddings_model": OVWeightQuantizationConfig(bits=8),
        "vision_embeddings_model": OVQuantizationConfig(bits=8),
    },
    dataset=dataset,
    num_samples=num_samples,
)
q_model = OVModelForVisualCausalLM.from_pretrained(model_id, quantization_config=q_config)
q_model.save_pretrained("smolvlm_static_int8")

量化啟動值會引入少量誤差,這些誤差可能累積並影響準確度,因此之後必須仔細測試。更多資訊和範例請參閲我們的文件。

步驟 3:執行推論

現在可以使用量化後的模型執行推論:

generated_ids = q_model.generate(**inputs, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts[0])

如果你使用較新的 Intel 手提電腦、Intel AI PC 或 Intel 獨立顯示卡,載入模型時加入 device="gpu",即可在 GPU 上載入模型:

model = OVModelForVisualCausalLM.from_pretrained(model_id, device="gpu")

我們亦建立了一個 Space,讓你試玩原始模型及其量化版本,後者分別採用僅權重量化和混合量化。此示範在第 4 代 Intel Xeon(Sapphire Rapids)處理器上執行。

HF Space

如要重現結果,請參閲我們的筆記本。

評估與結論

我們進行基準測試,比較原始模型的 PyTorch、OpenVINO 和 OpenVINO 8 位元 WOQ 版本的效能。測試旨在評估僅權重量化對 Intel CPU 硬件延遲和吞吐量的影響;我們以一張圖片作為輸入。

我們量度以下指標來評估模型效能:

  • 首個 Token 時間(TTFT):生成第一個輸出 Token 所需的時間。
  • 每個輸出 Token 時間(TPOT):生成其後每個輸出 Token 所需的時間。
  • 端到端延遲:生成全部輸出 Token 所需的總時間。
  • 解碼吞吐量:模型在解碼階段每秒生成的 Token 數量。

以下是 Intel CPU 上的結果:

設定 首個 Token 時間(TTFT) 每個輸出 Token 時間(TPOT) 端到端延遲 解碼吞吐量
pytorch 5.150 1.385 25.927 0.722
openvino 0.420 0.021 0.738 47.237
openvino-8bit-woq 0.247 0.016 0.482 63.928

這項基準測試展示了 SmolVLM2-256M 等小型最佳化多模態模型,在不同設定下於 Intel CPU 上的表現。測試顯示,PyTorch 版本延遲較高,首個 Token 時間(TTFT)超過 5s,解碼吞吐量為 0.7 tokens/s。只需透過 Optimum 轉換模型並在 OpenVINO 上執行,首個 Token 時間(TTFT)便大幅降至 0.42s(x12 加速),吞吐量則升至 47 tokens/s(x65)。再套用 8 位元僅權重量化,可進一步降低 TTFT(x1.7),並提高吞吐量(x1.4),同時縮小模型並提升效率。

平台設定 以上效能數據所用的平台設定:

系統主機板: MSI B860M GAMING PLUS WIFI (MS-7E42)
CPU: Intel® Core™ Ultra 7 265K
插槽/實體核心: 1/20(20 條執行緒)
HyperThreading/Turbo 設定: 已停用
記憶體: 64 GB DDR5 @ 6400 MHz
TDP: 665W
BIOS: American Megatrends International, LLC. 2.A10
BIOS 發布日期: 28.11.2024
作業系統: Ubuntu 24.10
核心: 6.11.0–25-generic
OpenVINO 版本: 2025.2.0
torch: 2.8.0
torchvision: 0.23.0+cpu
optimum-intel: 1.25.2
transformers: 4.53.3
基準測試日期: 15.05.2025
測試機構: Intel Corporation 效能會因使用方式、設定及其他因素而異。詳情請參閲下方的平台設定。

實用連結與資源

通知與免責聲明

效能會因使用方式、設定及其他因素而異。請到 Performance Index 網站了解更多。 效能測試結果根據設定中所示日期進行的測試,可能未反映所有公開更新。設定詳情請參閲備份資料。沒有任何產品或元件可以絕對安全。你的成本和結果可能有所不同。Intel 技術可能需要啟用相應硬件、軟件或服務。 © Intel Corporation。Intel、Intel 標誌及其他 Intel 標記均為 Intel Corporation 或其附屬公司的商標。

來源:Hugging Face Blog · huggingface.co