跳到正文
原文
Hugging Face Blog·· 2023-10-24精選AI 評分70

探索 SDXL 推理速度與記憶體的簡單優化方法

Exploring simple optimizations for SDXL

AI 導讀

Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。

推薦理由

文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。

來源:Hugging Face Blog · huggingface.co