跳到正文
Hugging Face Blog·· 2024-07-30精選AI 評分66

使用 Quanto 和 Diffusers 提升 Diffusion Transformer 的記憶體效率

Memory-efficient Diffusion Transformers with Quanto and Diffusers

AI 導讀

Hugging Face 示範如何在 Diffusers 中使用 Quanto 量化 Transformer-based diffusion pipeline,以降低推理時的 GPU 記憶體佔用。

推薦理由

文章提供在 Diffusers 中以 Quanto 量化擴散 Transformer 與文字編碼器的操作步驟,並用記憶體和延遲數據呈現精度設定的取捨。

正文 · 繁體中文

過去數月,我們看到以 Transformer 為基礎的擴散骨幹網絡,逐漸用於高解像度文字生成圖像(T2I)。這些模型以 Transformer 架構作為擴散過程的構建基礎,取代早期許多擴散模型常用的 UNet 架構。受惠於 Transformer 的特性,這些骨幹網絡具備良好擴展性,模型參數量由 0.6B 至 8B 不等。

模型愈大,所需記憶體亦愈多。擴散流程通常由多個元件組成,包括文字編碼器、擴散骨幹網絡和圖像解碼器,令問題更加嚴重。此外,現代擴散流程會使用多個文字編碼器,例如 Stable Diffusion 3 就有三個。以 FP16 精度執行 SD3 推論需要 18.765 GB GPU 記憶體。

這些高記憶體需求令消費級 GPU 難以運行這些模型,減慢普及速度,也令實驗更困難。本文會介紹如何運用 Diffusers 程式庫中 Quanto 的量化工具,提升以 Transformer 為基礎的擴散流程的記憶體效率。

目錄

準備工作

如要深入瞭解 Quanto,請參閲這篇文章。簡單來説,Quanto 是建基於 PyTorch 的量化工具套件,屬於 Hugging Face Optimum,這是一套用於硬件最佳化的工具。

模型量化在大型語言模型(LLM)領域十分常見,但在擴散模型中較少採用。Quanto 有助填補這個空隙,在品質幾乎沒有下降或完全不受影響的情況下節省記憶體。

基準測試使用 H100 GPU,環境如下:

除非另有説明,運算預設使用 FP16。我們選擇不量化 VAE,以免出現數值不穩定問題。基準測試程式碼可在此處找到。

撰寫本文時,Diffusers 中有以下以 Transformer 為基礎、用於文字生成圖像的擴散流程:

此外還有Latte,這是一套以 Transformer 為基礎的文字生成影片流程。

為求簡潔,研究只涵蓋以下三種:PixArt-Sigma、Stable Diffusion 3 和 Aura Flow。下表列出它們的擴散骨幹網絡參數量:

模型 檢查點 參數量(十億)
PixArt https://huggingface.co/PixArt-alpha/PixArt-Sigma-XL-2-1024-MS 0.611
Stable Diffusion 3 https://huggingface.co/stabilityai/stable-diffusion-3-medium-diffusers 2.028
Aura Flow https://huggingface.co/fal/AuraFlow/ 6.843

請留意,本文主要探討記憶體效率,代價是推論延遲略為增加或幾乎沒有增加。

使用 Quanto 量化 DiffusionPipeline

使用 Quanto 量化模型相當直接。

from optimum.quanto import freeze, qfloat8, quantize
from diffusers import PixArtSigmaPipeline
import torch

pipeline = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", torch_dtype=torch.float16
).to("cuda")

quantize(pipeline.transformer, weights=qfloat8)
freeze(pipeline.transformer)

我們會對要量化的模組呼叫 quantize(),並指定量化內容。以上例子只量化參數,保留激活值不變。我們採用 FP8 資料類型量化,最後呼叫 freeze(),以量化後的參數取代原有參數。

接着便可如常呼叫這個 pipeline:

image = pipeline("ghibli style, a fantasy landscape with castles").images[0]
FP16 FP8 的擴散 Transformer
FP16 image. FP8 quantized image.

使用 FP8 後,我們觀察到以下記憶體節省效果;延遲略高,品質幾乎沒有下降:

批次大小 量化方式 記憶體(GB) 延遲(秒)
1 無 12.086 1.200
1 FP8 11.547 1.540
4 無 12.087 4.482
4 FP8 11.548 5.109

我們也可以用相同方法量化文字編碼器:

quantize(pipeline.text_encoder, weights=qfloat8)
freeze(pipeline.text_encoder)

文字編碼器本身也是 Transformer 模型,因此同樣可以量化。量化文字編碼器和擴散骨幹網絡,能大幅提升記憶體效益:

批次大小 量化方式 量化文字編碼器 記憶體(GB) 延遲(秒)
1 FP8 否 11.547 1.540
1 FP8 是 5.363 1.601
4 FP8 否 11.548 5.109
4 FP8 是 5.364 5.141

量化文字編碼器的效果與上一個例子相近:

ckpt@pixart-bs@1-dtype@fp16-qtype@fp8-qte@1.png

觀察結果的普遍性

我們試過的模型通常都適合同時量化文字編碼器和擴散骨幹網絡。Stable Diffusion 3 是個特例,因為它使用三個不同的文字編碼器。我們發現量化第二個文字編碼器效果不理想,因此建議採用以下替代方案:

下表展示不同文字編碼器量化組合預期可節省的記憶體(所有情況下都會量化擴散 Transformer):

批次大小 量化方式 量化文字編碼器 1 量化文字編碼器 2 量化文字編碼器 3 記憶體(GB) 延遲(秒)
1 FP8 1 1 1 8.200 2.858
1 ✅ FP8 0 0 1 8.294 2.781
1 FP8 1 1 0 14.384 2.833
1 FP8 0 1 0 14.475 2.818
1 ✅ FP8 1 0 0 14.384 2.730
1 FP8 0 1 1 8.325 2.875
1 ✅ FP8 1 0 1 8.204 2.789
1 無 - - - 16.403 2.118
已量化文字編碼器:1 已量化文字編碼器:3 已量化文字編碼器:1 和 3
Image with quantized text encoder 1. Image with quantized text encoder 3. Image with quantized text encoders 1 and 3.

其他發現

在 H100 上通常以 bfloat16 效能較佳

在 H100 或 4090 等支援的 GPU 架構上,使用 bfloat16 可能更快。下表列出 PixArt 在我們的 H100 參考硬件上測得的數據:

批次大小 精度 量化方式 記憶體(GB) 延遲(秒) 量化文字編碼器
1 FP16 INT8 5.363 1.538 是
1 BF16 INT8 5.364 1.454 是
1 FP16 FP8 5.363 1.601 是
1 BF16 FP8 5.363 1.495 是

qint8 的潛力

我們發現,使用 qint8(而非 qfloat8)量化,通常能縮短推論延遲。若在水平方向融合注意力 QKV 投影(在 Diffusers 呼叫 fuse_qkv_projections()),令 int8 核心的維度加寬以加快運算,這個效果會更明顯。以下是 PixArt 的部分結果:

批次大小 量化方式 記憶體(GB) 延遲(秒) 量化文字編碼器 QKV 投影
1 INT8 5.363 1.538 是 否
1 INT8 5.536 1.504 是 是
4 INT8 5.365 5.129 是 否
4 INT8 5.538 4.989 是 是

INT4 又如何?

我們亦試過採用 qint4 配合 bfloat16。目前這只適用於 H100 上的 bfloat16,其他配置尚未支援。預期 qint4 能進一步減少記憶體用量,但推論延遲會增加。這是意料之內,因為目前沒有原生硬件支援 int4 運算:權重以 4 bit 傳輸,但運算仍使用 bfloat16。下表列出 PixArt-Sigma 的結果:

批次大小 量化文字編碼器 記憶體(GB) 延遲(秒)
1 否 9.380 7.431
1 是 3.058 7.604

不過,INT4 的離散化幅度很大,最終結果可能會受影響。正因如此,對一般以 Transformer 為基礎的模型,我們通常不量化最後的投影層。在 Quanto 中可按以下方式設定:

quantize(pipeline.transformer, weights=qint4, exclude="proj_out")
freeze(pipeline.transformer)

"proj_out" 對應 pipeline.transformer 中的最後一層。下表列出不同設定的結果:

量化文字編碼器:否,排除層:無 量化文字編碼器:否,排除層:"proj_out" 量化文字編碼器:是,排除層:無 量化文字編碼器:是,排除層:"proj_out"
Image 1 without text encoder quantization. Image 2 without text encoder quantization but with proj_out excluded in diffusion transformer quantization. Image 3 with text encoder quantization. Image 3 with text encoder quantization but with proj_out excluded in diffusion transformer quantization..

量化感知訓練是還原圖像品質的常見做法,Quanto 亦支援此技術。這不在本文探討範圍內;如有興趣,歡迎聯絡我們!

本文所有實驗結果均可在此處找到。

額外內容:在 Quanto 中儲存和載入 Diffusers 模型

量化後的 Diffusers 模型可以儲存和載入:

from diffusers import PixArtTransformer2DModel
from optimum.quanto import QuantizedPixArtTransformer2DModel, qfloat8

model = PixArtTransformer2DModel.from_pretrained("PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", subfolder="transformer")
qmodel = QuantizedPixArtTransformer2DModel.quantize(model, weights=qfloat8)
qmodel.save_pretrained("pixart-sigma-fp8")

生成的檢查點大小為 587MB,原始檢查點則為 2.44GB。接着便可載入:

from optimum.quanto import QuantizedPixArtTransformer2DModel
import torch

transformer = QuantizedPixArtTransformer2DModel.from_pretrained("pixart-sigma-fp8") 
transformer.to(device="cuda", dtype=torch.float16)

並在 DiffusionPipeline 中使用:

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", 
    transformer=None,
    torch_dtype=torch.float16,
).to("cuda")
pipe.transformer = transformer

prompt = "A small cactus with a happy face in the Sahara desert."
image = pipe(prompt).images[0]

將來可預期在初始化流程時直接傳入 transformer,屆時便可使用以下方式:

pipe = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", 
-    transformer=None,
+    transformer=transformer,
    torch_dtype=torch.float16,
).to("cuda")

QuantizedPixArtTransformer2DModel 的實作可在此處參考。如希望 Quanto 支援更多 Diffusers 模型的儲存和載入功能,請開啟問題並提及 @sayakpaul。

提示

  • 你可按需求對流程中的不同模組採用不同量化方式。例如,文字編碼器可用 FP8,而擴散 Transformer 可用 INT8。Diffusers 和 Quanto 的彈性令這種做法可以輕鬆實現。
  • 為配合你的使用情境,也可以把量化與 Diffusers 的其他記憶體最佳化技術結合,例如 enable_model_cpu_offload()。

總結

本文示範如何量化 Diffusers 的 Transformer 模型,並最佳化其記憶體用量。若進一步量化相關文字編碼器,量化效果會更加顯著。希望你能把部分工作流程應用到自己的專案並從中受益 🤗。

感謝 Pedro Cuenca 詳細審閲本文。

來源:Hugging Face Blog · huggingface.co