跳到正文
Hugging Face Blog·· 2023-10-24精選AI 評分70

探索 SDXL 推理速度與記憶體的簡單優化方法

Exploring simple optimizations for SDXL

AI 導讀

Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。

推薦理由

文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。

正文 · 繁體中文

Open In Colab

Stable Diffusion XL(SDXL) 是 Stability AI 最新推出的潛在擴散模型,可生成高質素、超寫實圖像。它改善了以往 Stable Diffusion 模型在手部和文字生成,以及構圖空間準確度方面的問題。此外,SDXL 更能理解上下文,提示詞寫得較短也能生成更美觀的圖像。

不過,這些改進的代價是模型大幅增大。究竟大多少?SDXL 基礎模型有 3.5B 個參數(尤其是 UNet),規模約為上一代 Stable Diffusion 模型的 3 倍。

為瞭解如何提升 SDXL 的推論速度和記憶體使用效率,我們在一張 A100 GPU(40 GB)上進行了測試。每次推論都生成 4 張圖像,並重複 3 次。計算推論延遲時,我們只計算 3 次中的最後一次迭代。

因此,如果你直接以完整精度執行 SDXL,並使用預設 attention 機制,便會消耗 28GB 記憶體,並需時 72.2 秒!

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0").to("cuda")
pipe.unet.set_default_attn_processor()

這並不實用,而且會拖慢工作,因為你往往要生成多於 4 張圖像。如果沒有更強的 GPU,還會遇上令人沮喪的記憶體不足錯誤訊息。那麼,如何最佳化 SDXL,以加快推論並減少記憶體用量?

在 🤗 Diffusers 中,有多種最佳化技巧和技術可協助你執行 SDXL 等記憶體用量龐大的模型,我們會逐一介紹!本文聚焦兩方面:推論速度和記憶體。

🧠 本文討論的技術適用於所有pipeline。

推論速度

擴散是一個隨機過程,因此無法保證每次都會生成你喜歡的圖像。你往往需要多次執行推論和反覆嘗試,所以速度最佳化至關重要。本節會介紹如何使用較低精度權重、記憶體高效 attention,以及 PyTorch 2.0 的 torch.compile,以提升速度並縮短推論時間。

較低精度

模型權重會以特定精度儲存,並以浮點數據類型表示。標準浮點數據類型是 float32(fp32),可準確表示範圍很廣的浮點數。推論時通常不需要這麼高的精度,因此可以改用 float16(fp16),但它能表示的浮點數範圍較窄。這表示 fp16 只需 fp32 一半的記憶體來儲存,計算亦較簡單,因此速度快一倍。此外,現代 GPU 顯示卡已針對 fp16 運算最佳化,令其速度更快。

使用 🤗 Diffusers 時,可在載入模型時指定 torch.dtype 參數轉換權重,從而以 fp16 執行推論:

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
).to("cuda")
pipe.unet.set_default_attn_processor()

與完全未最佳化的 SDXL pipeline 相比,使用 fp16 會佔用 21.7GB 記憶體,耗時只有 14.8 秒。推論速度幾乎快了整整一分鐘!

記憶體高效 attention

Transformer 模組中的 attention 區塊可能成為重大瓶頸,因為輸入序列愈長,所需記憶體便按平方級增長。記憶體可能很快被耗盡,並出現記憶體不足錯誤訊息。😬

記憶體高效 attention 演算法會透過利用稀疏性或分塊等方式,減少計算 attention 所需的記憶體。以往這些最佳化演算法主要來自需要另外安裝的第三方程式庫。但由 PyTorch 2.0 起,情況已經不同。PyTorch 2 引入了縮放點積 attention(SDPA),提供融合版的 Flash Attention、記憶體高效 attention(xFormers),以及以 C++ 編寫的 PyTorch 實作。SDPA 大概是最簡單的加速推論方法:如果你使用 PyTorch ≥ 2.0 和 🤗 Diffusers,預設已自動啟用!

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
).to("cuda")

與完全未最佳化的 SDXL pipeline 相比,使用 fp16 和 SDPA 的記憶體用量相同,推論時間則縮短至 11.4 秒。接下來我們會以此作為新基準,比較其他最佳化方式。

torch.compile

PyTorch 2.0 亦推出 torch.compile API,可即時編譯(JIT)PyTorch 程式碼,轉換成推論時更佳化的 kernel。與其他編譯器方案不同,torch.compile 幾乎不需要修改現有程式碼,只要用該函式包住模型即可,使用非常簡單。

編譯時,你可以透過 mode 參數選擇最佳化記憶體開銷或推論速度,靈活度大為提高。

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
).to("cuda")
pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

相較於上一個基準(fp16 + SDPA),以 torch.compile 包住 UNet 後,推論時間會縮短至 10.2 秒。

⚠️ 首次編譯模型會比較慢,但模型編譯完成後,往後每次呼叫都會快得多!

模型記憶體佔用

現時的模型愈來愈大,要把它們放進記憶體也愈來愈困難。本節會介紹如何減少這些大型模型佔用的記憶體,讓你可以在消費級 GPU 上執行它們。相關技術包括將模型卸載至 CPU、分多個步驟而非一次過把潛在表示解碼成圖像,以及改用蒸餾版本的自動編碼器。

模型 CPU 卸載

模型卸載會把 UNet 載入 GPU 記憶體,同時把擴散模型的其他元件(文字編碼器、VAE)載入 CPU,以節省記憶體。這樣 UNet 就可以在 GPU 上連續執行多次迭代,直到不再需要為止。

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

與基準相比,現在的記憶體用量為 20.2GB,節省了 1.5GB。

循序 CPU 卸載

另一種能節省更多記憶體、但會令推論變慢的卸載方式是循序 CPU 卸載。它不會像卸載 UNet 整個模型般一次過處理,而是把儲存在不同 UNet 子模組中的模型權重卸載至 CPU,只在前向傳播開始前才載入 GPU。本質上,每次只載入模型的部分內容,因此能節省更多記憶體。唯一缺點是要多次載入和卸載子模組,速度會明顯變慢。

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
)
pipe.enable_sequential_cpu_offload()

與基準相比,記憶體用量為 19.9GB,但推論時間增加至 67 秒。

分片

在 SDXL 中,變分自動編碼器(VAE)會把 UNet 預測的精煉潛在表示解碼成逼真圖像。此步驟所需記憶體會隨預測圖像數量(批次大小)增加。視乎圖像解像度和可用 GPU VRAM,記憶體需求可能相當高。

這時「分片」便派上用場。輸入張量會被拆成多個片段,分幾個步驟完成解碼計算。這樣可節省記憶體,並容許使用較大的批次大小。

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
).to("cuda")
pipe.enable_vae_slicing()

採用分片計算後,記憶體用量降至 15.4GB。如再加上循序 CPU 卸載,便可進一步降至 11.45GB,讓你每個提示生成 4 張(1024x1024)圖像。不過,循序卸載也會增加推論延遲。

快取計算結果

任何以文字為條件的圖像生成模型,通常都會使用文字編碼器,根據輸入提示計算嵌入表示。SDXL 會用上兩個文字編碼器,這令推論延遲增加不少。不過,在反向擴散過程中,這些嵌入表示不會改變,因此我們可以預先計算並重用。這樣計算出文字嵌入後,便可從記憶體移除文字編碼器。

首先,載入文字編碼器及其對應的 tokenizer,再根據輸入提示計算嵌入表示:

tokenizers = [tokenizer, tokenizer_2]
text_encoders = [text_encoder, text_encoder_2]

(
    prompt_embeds,
    negative_prompt_embeds,
    pooled_prompt_embeds,
    negative_pooled_prompt_embeds
) = encode_prompt(tokenizers, text_encoders, prompt)

接着,清空 GPU 記憶體以移除文字編碼器:

del text_encoder, text_encoder_2, tokenizer, tokenizer_2
flush()

現在,嵌入表示已準備就緒,可直接送入 SDXL pipeline:

from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    text_encoder=None,
    text_encoder_2=None,
    tokenizer=None,
    tokenizer_2=None,
    torch_dtype=torch.float16,
).to("cuda")

call_args = dict(
        prompt_embeds=prompt_embeds,
        negative_prompt_embeds=negative_prompt_embeds,
        pooled_prompt_embeds=pooled_prompt_embeds,
        negative_pooled_prompt_embeds=negative_pooled_prompt_embeds,
        num_images_per_prompt=num_images_per_prompt,
        num_inference_steps=num_inference_steps,
)
image = pipe(**call_args).images[0]

配合 SDPA 和 fp16 使用,記憶體用量可降至 21.9GB。上文提到的其他記憶體最佳化技術,也可配合快取計算結果使用。

Tiny Autoencoder

如前所述,VAE 會把潛在表示解碼成圖像。這個步驟自然會受 VAE 大小直接影響。那麼,乾脆改用較小的自動編碼器吧!madebyollin 的 Tiny Autoencoder 可在Hub取得,只有 10MB,而且是以 SDXL 原本使用的 VAE 蒸餾而成。

from diffusers import AutoencoderTiny

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesdxl", torch_dtype=torch.float16)
pipe.to("cuda")

使用這項設定後,記憶體需求降至 15.6GB,推論延遲亦同時減少。

⚠️ Tiny Autoencoder 可能會略去圖像的一些細節,因此更適合用來預覽圖像。

總結

總括來説,以下整理各項最佳化所節省的資源:

⚠️ 使用 GPU 分析推論延遲與記憶體需求之間的取捨時,必須留意實際硬件。上述結果未必能同樣套用於不同硬件。例如,至少就 SDXL 而言,`torch.compile` 似乎只對較新型 GPU 有效。

技術 記憶體(GB) 推論延遲(毫秒)
未最佳化的 pipeline 28.09 72200.5
fp16 21.72 14800.9
fp16 + SDPA(預設) 21.72 11413.0
預設 + torch.compile 21.73 10296.7
預設 + 模型 CPU 卸載 20.21 16082.2
預設 + 循序 CPU 卸載 19.91 67034.0
預設 + VAE 分片 15.40 11232.2
預設 + VAE 分片 + 循序 CPU 卸載 11.47 66869.2
預設 + 預先計算的文字嵌入 21.85 11909.0
預設 + Tiny Autoencoder 15.48 10449.7

希望這些最佳化技術令你輕鬆執行喜愛的 pipeline。歡迎試用,並與我們分享你的圖像!🤗


鳴謝:感謝 Pedro Cuenca 仔細審閲本文草稿並提供寶貴意見。

來源:Hugging Face Blog · huggingface.co