跳到正文
Hugging Face Blog·· 2025-09-02精選AI 評分62

Hugging Face ZeroGPU Spaces 如何透過 PyTorch AoT 編譯提升效能

Make your ZeroGPU Spaces go brrr with ahead-of-time compilation

AI 導讀

Hugging Face 介紹如何在 ZeroGPU Spaces 使用 PyTorch AoT 編譯,將模型預先編譯後在不同程序中載入,以減少即時編譯造成的冷啟動開銷。

推薦理由

文章拆解 ZeroGPU Spaces 的 PyTorch AoT 編譯流程,並展示量化、動態形狀與區域編譯等可遷移的優化做法。

正文 · 繁體中文

ZeroGPU 讓任何人都可以在 Hugging Face Spaces 中啟用強大的 Nvidia H200 硬件,而且無須讓 GPU 長期閒置佔用。 這種方式高效、靈活,非常適合示範應用;但有時未能充分發揮 GPU 和 CUDA 技術堆疊的效能。 生成圖像或影片可能要花不少時間。在這類情況下,善用 H200 硬件、進一步提升效能確實很重要。

PyTorch ahead-of-time(AoT)編譯正好可以解決這個問題。它不會即時編譯模型(這與 ZeroGPU 短暫存活的程序不太相容),而是讓你預先優化一次,之後即時重新載入。

結果:示範反應更快、使用體驗更流暢;Flux、Wan 和 LTX 等模型的加速幅度介乎 1.3×–1.8× 🔥

本文會示範如何在 ZeroGPU Spaces 中設定 Ahead-of-Time(AoT)編譯。我們會探索 FP8 量化和動態形狀等進階技巧,並分享可立即試用的實作示範。如果你等不及,歡迎前往 zerogpu-aoti 組織,試用幾個由 ZeroGPU 驅動的示範。

Pro 用戶及 Team/Enterprise 組織成員可以建立 ZeroGPU Spaces,任何人則都可免費使用(Pro、Team 和 Enterprise 用戶可獲多 8 倍的 ZeroGPU 配額)

目錄

甚麼是 ZeroGPU

Spaces 是 Hugging Face 提供的平台,讓機器學習從業者可以輕鬆發布示範應用程式。

Spaces 上常見的示範應用程式如下:

import gradio as gr
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(...).to('cuda')

def generate(prompt):
    return pipe(prompt).images

gr.Interface(generate, "text", "gallery").launch()

這種做法很好用,但最終會令 GPU 在 Space 整個存續期間都被預留,即使完全沒有用戶活動也一樣。

在這行執行 .to('cuda') 時:

pipe = DiffusionPipeline.from_pretrained(...).to('cuda')

PyTorch 會初始化 NVIDIA 驅動程式,令程序永久在 CUDA 上運行。由於應用程式流量並非平滑穩定,而是極為稀疏、間歇出現,這種做法並不善用資源。

ZeroGPU 採用即時初始化 GPU 的方式。它不會把主程序設置在 CUDA 上,而是自動複製並分叉程序,為分支設置 CUDA、執行 GPU 任務,最後在需要釋放 GPU 時終止該分支。

這表示:

  • 應用程式沒有流量時,不會使用任何 GPU
  • 實際執行任務時,會使用一張 GPU
  • 有需要時,可同時使用多張 GPU 執行任務

多虧 Python spaces 套件,只需作以下程式碼修改即可實現這種行為:

  import gradio as gr
+ import spaces
  from diffusers import DiffusionPipeline

  pipe = DiffusionPipeline.from_pretrained(...).to('cuda')

+ @spaces.GPU
  def generate(prompt):
      return pipe(prompt).images

  gr.Interface(generate, "text", "gallery").launch()

匯入 spaces 並加入 @spaces.GPU decorator 後,我們便可以:

  • 攔截 PyTorch API 呼叫,延遲執行 CUDA 操作
  • 之後呼叫裝飾過的函數時,令它在分支程序中執行
  • (呼叫內部 API,讓分支程序可以看到正確裝置;這不在本文範圍內。)

目前 ZeroGPU 會分配 H200 的一個 MIG 切片(3g.71gb 設定檔)。包括完整切片(7g.141gb 設定檔)在內的其他 MIG 大小,預計於 2025 年底推出。

PyTorch 編譯

PyTorch 和 JAX 等現代機器學習框架都提供編譯功能,可用於優化模型延遲或推論時間。編譯會在底層套用一系列優化步驟(通常視乎硬件而定),例如運算子融合、常量折疊等。

自 PyTorch 2.0 起,目前有兩種主要編譯介面:

  • 即時編譯,使用 torch.compile
  • 提前編譯,使用 torch.export + AOTInductor

在標準環境中,torch.compile 效果很好:首次執行時編譯模型,並在後續呼叫時重用優化版本。

然而,在 ZeroGPU 上,幾乎每項 GPU 任務都會啟動全新的程序,因此 torch.compile 無法有效重用編譯結果,只能依賴檔案系統快取還原已編譯模型。視乎模型而定,這個過程會花數十秒至幾分鐘,對 Spaces 的實際 GPU 任務而言實在太久。

這正是提前編譯(AoT)發揮作用的地方。

使用 AoT,我們可以先匯出並儲存已編譯模型,再於任何程序中即時重新載入,正好符合 ZeroGPU 的需要。這不但減少框架開銷,也消除了即時編譯通常帶來的冷啟動時間。

那麼,如何在 ZeroGPU 上進行提前編譯?讓我們深入看看。

在 ZeroGPU 上進行提前編譯

回到 ZeroGPU 基本範例,看看要啟用 AoT 編譯需要做甚麼。此示範會使用 black-forest-labs/FLUX.1-dev 模型:

import gradio as gr
import spaces
import torch
from diffusers import DiffusionPipeline

MODEL_ID = 'black-forest-labs/FLUX.1-dev'

pipe = DiffusionPipeline.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16)
pipe.to('cuda')

@spaces.GPU
def generate(prompt):
    return pipe(prompt).images

gr.Interface(generate, "text", "gallery").launch()

以下只會編譯 transformer 元件(即 pipe 的組件),因為在這類生成模型中,Transformer(或更一般而言,去噪器)是計算量最大的元件。

使用 PyTorch 提前編譯模型包括多個步驟:

1. 取得範例輸入

請記住,我們要在模型執行之前完成編譯,因此需要推導模型的範例輸入。這些輸入應與模型實際執行時預期收到的輸入相同。為取得這些輸入,我們會使用 spaces.aoti_capture 輔助工具(來自 spaces 套件):

with spaces.aoti_capture(pipe.transformer) as call:
    pipe("arbitrary example prompt")

將 aoti_capture 用作 context manager 時,它會攔截任何可呼叫對象(本例為 pipe.transformer)的呼叫,阻止其執行,擷取本來會傳入的輸入參數,並把值存放在 call.args 和 call.kwargs。

2. 匯出模型

現在已取得 Transformer 元件的範例 args 和 kwargs,可以使用 ExportedProgram,透過 torch.export.export 工具將模型匯出為 PyTorch 程式:

exported_transformer = torch.export.export(
    pipe.transformer,
    args=call.args,
    kwargs=call.kwargs,
)

PyTorch 匯出的程式是一張計算圖,表示張量運算及原始模型參數值。

3. 編譯匯出的模型

模型匯出後,編譯步驟便相當直接。

傳統的 PyTorch AoT 編譯通常要求先將模型儲存到磁碟,以便日後重新載入。在本例中,我們會使用 spaces 套件中的輔助函數 spaces.aoti_compile。它是 torch._inductor.aot_compile 的輕量包裝器,會按需要管理模型的儲存和延遲載入。用法如下:

compiled_transformer = spaces.aoti_compile(exported_transformer)

現在,這個 compiled_transformer 已是可供推論使用的 AoT 編譯二進制檔。

4. 在 pipeline 中使用已編譯模型

現在需要把已編譯的 Transformer 綁定至原有 pipeline,即 pipeline。

一個看似簡單、幾乎可行的方法,是直接修補 pipeline,例如 pipe.transformer = compiled_transformer。可惜這會刪除 dtype、config 等重要屬性。只修補 forward 方法也不理想,因為原模型參數仍會留在記憶體中,運行時往往會導致 OOM 錯誤。

spaces 套件亦為此提供工具:spaces.aoti_apply:

spaces.aoti_apply(compiled_transformer, pipe.transformer)

大功告成!它會把 pipe.transformer.forward 修補為使用我們的已編譯模型,同時清除佔用記憶體的舊模型參數。

5. 整合所有步驟

要執行首三個步驟(攔截範例輸入、匯出模型,以及使用 PyTorch inductor 編譯模型),需要真正的 GPU。在 @spaces.GPU 函數以外執行的 CUDA 模擬並不足夠,因為編譯確實取決於硬件,例如會透過微基準測試執行來調校生成的程式碼。因此,我們需要把整套流程包在 @spaces.GPU 函數內,再把已編譯的模型帶回應用程式的根程序。由原本的示範程式碼出發,修改如下:

  import gradio as gr
  import spaces
  import torch
  from diffusers import DiffusionPipeline
  
  MODEL_ID = 'black-forest-labs/FLUX.1-dev'
  
  pipe = DiffusionPipeline.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16)
  pipe.to('cuda')
  
+ @spaces.GPU(duration=1500) # maximum duration allowed during startup
+ def compile_transformer():
+     with spaces.aoti_capture(pipe.transformer) as call:
+         pipe("arbitrary example prompt")
+ 
+     exported = torch.export.export(
+         pipe.transformer,
+         args=call.args,
+         kwargs=call.kwargs,
+     )
+     return spaces.aoti_compile(exported)
+ 
+ compiled_transformer = compile_transformer()
+ spaces.aoti_apply(compiled_transformer, pipe.transformer)
  
  @spaces.GPU
  def generate(prompt):
      return pipe(prompt).images
  
  gr.Interface(generate, "text", "gallery").launch()

只需額外加入十多行程式碼,我們便成功大幅加快示範速度(FLUX.1-dev 的速度提升 1.7 倍)。

如想了解更多 AoT 編譯資訊,可閲讀 PyTorch 的 AOTInductor 教學。

注意事項

展示了 ZeroGPU 運作限制下可實現的加速效果後,接下來會討論使用此設定時遇到的一些注意事項。

量化

AoT 可結合量化,進一步提升速度。 對圖像和影片生成而言,FP8 訓練後動態量化方案在速度和品質之間取得良好平衡。 然而,FP8 需要至少 9.0 的 CUDA compute capability 才能運作。 幸好 ZeroGPU 採用 H200,因此我們已可使用 FP8 量化方案。

要在 AoT 編譯流程中啟用 FP8 量化,可像以下例子一樣使用 torchao 提供的 API:

+ from torchao.quantization import quantize_, Float8DynamicActivationFloat8WeightConfig

+ # Quantize the transformer just before the export step.
+ quantize_(pipe.transformer, Float8DynamicActivationFloat8WeightConfig())

exported_transformer = torch.export.export(
    pipe.transformer,
    args=call.args,
    kwargs=call.kwargs,
)

(此處有更多 TorchAO 詳情。)

之後便可繼續執行以上其餘步驟。量化還可再帶來 1.2 倍加速。

動態形狀

圖像和影片的形狀及大小各有不同,因此 AoT 編譯時亦必須考慮形狀的動態變化。torch.export.export 提供的基本工具可輕鬆設定輸入中哪些部分要按動態形狀處理,如下所示。

對 Flux.1-Dev Transformer 而言,圖像解析度改變會影響其 forward 方法的兩個參數:

  • hidden_states:帶噪的輸入 latent,由 Transformer 負責去噪。這是一個 3D 張量,表示 batch_size, flattened_latent_dim, embed_dim。batch size 固定時,圖像解析度變化會令 flattened_latent_dim 改變。
  • img_ids:編碼像素座標的 2D 陣列,形狀為 height * width, 3。在此情況下,我們要讓 height * width 動態變化。

首先定義允許(latent)圖像解析度變化的範圍。 為推導這些值域,我們檢查了 pipeline 在不同圖像解析度下的 hidden_states 形狀。確切值視乎模型而定,需要人工檢查並作一定推斷。對 Flux.1-Dev,我們最後採用:

transformer_hidden_dim = torch.export.Dim('hidden', min=4096, max=8212)

接著定義參數名稱與預期動態輸入維度的對應表:

transformer_dynamic_shapes = {
    "hidden_states": {1: transformer_hidden_dim}, 
    "img_ids": {0: transformer_hidden_dim},
}

接下來要令動態形狀物件與範例輸入的結構一致。無須動態形狀的輸入必須設為 None。使用 PyTorch 的 tree_map 工具便可輕鬆完成:

from torch.utils._pytree import tree_map

dynamic_shapes = tree_map(lambda v: None, call.kwargs)
dynamic_shapes |= transformer_dynamic_shapes

現在執行匯出步驟時,只需把 transformer_dynamic_shapes 傳入 torch.export.export:

exported_transformer = torch.export.export(
    pipe.transformer,
    args=call.args,
    kwargs=call.kwargs,
    dynamic_shapes=dynamic_shapes,
)

歡迎查看此 Space,瞭解如何在匯出時同時使用量化和動態形狀。

多重編譯/共用權重

當形狀變化需求太大時,動態形狀有時並不足夠。

如果希望 Wan 系列影片生成模型能生成不同解析度,便會遇上這種情況。 其中一個解法是:每種解析度各編譯一個模型,但共用模型參數,並在執行時選取合適版本。

以下是此方法的精簡範例:zerogpu-aoti-multi.py。你亦可在 Wan 2.2 Space 查看此模式的完整實作。

FlashAttention-3

ZeroGPU 硬件和 CUDA 驅動程式完全相容 Flash-Attention 3(FA3),因此我們可以在 ZeroGPU Spaces 使用它,進一步加快運算。FA3 支援 ahead-of-time 編譯,正好適合我們的情況。

從原始碼編譯和建置 FA3 可能要花幾分鐘,而且此流程取決於硬件。作為用戶,我們不想浪費寶貴的 ZeroGPU 運算時間。這時 Hugging Face 的 kernels 程式庫便能派上用場。它提供與指定硬件相容的預建 kernels。例如,執行以下操作時:

from kernels import get_kernel

vllm_flash_attn3 = get_kernel("kernels-community/vllm-flash-attn3")

系統會嘗試從 kernels-community/vllm-flash-attn3 儲存庫載入與目前設定相容的 kernel。若不相容便會出錯。幸運的是,這在 ZeroGPU Spaces 上可無縫運作。換言之,我們可透過 kernels 程式庫,在 ZeroGPU 上使用 FA3 的效能。

這裏有一個適用於 Qwen-Image 的完整 FA3 attention processor 範例。

區域編譯

到目前為止,我們一直編譯整個模型。視乎模型而定,完整模型編譯可能令冷啟動時間大幅延長,令開發體驗不理想。

我們亦可選擇編譯模型內的區域,大幅縮短冷啟動時間,同時保留幾乎所有完整模型編譯的好處。如果模型有重複的運算區塊,區域編譯尤其值得採用。例如,標準語言模型包含多個結構相同的 Transformer 區塊。

在本例中,我們可以提前編譯 Flux Transformer 中重複的區塊,再把已編譯計算圖套用至其他重複區塊。Flux Transformer 有兩種重複區塊:FluxTransformerBlock 和 FluxSingleTransformerBlock。

完整範例請查看此 Space。

💡 對 Flux.1-Dev 而言,改用區域編譯會把編譯時間由6 分鐘縮短至30 秒,同時維持相同加速幅度。

使用 Hub 上的已編譯計算圖

模型(甚至模型區塊)完成提前編譯後,可以把已編譯的計算圖模組序列化為資產,以供日後重用。在 Spaces 上使用 ZeroGPU 的示範中,這可略過編譯時間,大幅縮短示範啟動時間。

為節省儲存空間,只需儲存已編譯模型計算圖,不必把任何模型參數一併放入資產。

請查看此合集,瞭解取得已編譯模型計算圖、推送至 Hub,再用來建立示範的完整流程。

AoT 編譯的 ZeroGPU Spaces 示範

加速效果比較

精選 AoTI Spaces

區域編譯

總結

Hugging Face Spaces 的 ZeroGPU 是一項強大功能,為 AI 建構者提供高效能運算資源。本文示範了用戶如何運用 PyTorch 提前編譯技術,加快使用 ZeroGPU 的應用程式。

我們以 Flux.1-Dev 展示加速效果,但這些技術不限於此模型。因此,歡迎試用並在社羣討論區提供意見。

資源

  • 前往 Hub 上的 ZeroGPU-AOTI 組織,查看運用本文所述技術的示範合集。
  • 瀏覽 spaces.aoti_* API 的原始碼,進一步瞭解介面。
  • 查看 Kernels Community 組織
  • 按此處瞭解更多區域編譯資訊
  • 在 Hugging Face 升級至 Pro,即可建立自己的 ZeroGPU Spaces(並每天獲得 25 分鐘 H200 使用時間)

鳴謝:感謝 ChunTe Lee 為本文製作精美縮圖,感謝 Pedro 和 Vaibhav 對文章提供意見,也感謝 PyTorch 團隊的 Angela Yi 協助提供 AOT 指引。

來源:Hugging Face Blog · huggingface.co