潛在擴散模型論文提出高解像度圖像合成方法

作者

Robin Rombach^1,2, Andreas Blattmann^1,2, Dominik Lorenz^1,2, Patrick Esser³, Björn Ommer^1,2

透過將圖像形成過程分解為依序套用去噪自動編碼器，擴散模型（DM）在圖像數據及其他領域取得最先進的合成效果。此外，這種模型形式讓我們無需重新訓練，便可直接將模型應用於圖像修補等圖像修改任務。然而，由於這些模型通常直接在像素空間運作，訓練強大的 DM 往往耗費數百個 GPU 日；而且由於需要依序進行多次評估，推理成本亦十分高昂。為了讓 DM 能在有限的計算資源下訓練，同時保留其品質和靈活性，我們在功能強大的預訓練自動編碼器的潛在空間中套用這些模型。與以往的研究不同，在這類表示上訓練擴散模型，首次讓我們能在降低複雜度與空間下採樣之間達到近乎最佳的平衡，大幅提升視覺保真度。透過在模型架構中引入交叉注意力層，我們將擴散模型轉化為功能強大而靈活的生成器，可接受文字或邊界框等一般條件輸入，並以卷積方式實現高解像度合成。我們的潛在擴散模型（LDM）在無條件圖像生成、圖像修補及超解像等多種任務上表現極具競爭力，同時相比基於像素的 DM，大幅減少所需的計算資源。

圖 1. 以幅度較小的下採樣提升可達品質上限。由於擴散模型對空間數據具有出色的歸納偏置，我們無需像相關的潛在空間生成模型那樣進行大量空間下採樣；透過合適的自動編碼模型，仍可大幅降低數據維度，見第 3 節。圖像取自 DIV2K [1] 驗證集，評估解像度為 5122 px。我們以 f 表示空間下採樣因子。在 ImageNet-val. [11] 上計算重建 FID [26] 和 PSNR；另見表 1。

圖 2. 感知與語義壓縮示意：數碼圖像中的大部分位元都對應人眼無法察覺的細節。雖然 DM 可透過最小化相應的損失項，抑制這些在語義上毫無意義的資訊，但訓練期間仍須計算梯度，而神經網絡主幹在訓練和推理期間亦須處理所有像素，因而造成多餘的運算，以及不必要的高昂最佳化和推理成本。我們提出潛在擴散模型（LDM），作為一種有效的生成模型，並採用獨立的輕度壓縮階段，只消除無法察覺的細節。數據和圖像取自 [27]。

圖 3. 我們透過串接，或更通用的交叉注意力機制，為 LDM 加入條件。見第 3.3 節

圖 4. 在 CelebAHQ [35]、FFHQ [37]、LSUN-Churches [95]、LSUN-Bedrooms [95] 及類別條件式 ImageNet [11] 上訓練的 LDM 樣本，各自的解像度為 256× 256。放大觀看效果最佳。更多樣本請參閲補充資料。

圖 5. 分析在 ImageNet 數據集上，以不同下採樣因子 f 訓練類別條件式 LDM，訓練步數達 2M 的情況。與採用較大下採樣因子的模型相比，基於像素的 LDM-1 需要長得多的訓練時間（LDM-

-12

如 LDM-32 般，過度的感知壓縮會限制整體樣本質素。所有模型均在單張 NVIDIA A100 上以相同的計算預算訓練。結果以 100 個 DDIM 步驟 [79] 及 κ = 0 得出。

圖 6. 推理速度與樣本質素：比較在 CelebA-HQ（左）及 ImageNet（右）數據集上採用不同壓縮程度的 LDM。不同標記表示使用 DDIM 取樣器進行 10、20、50、100、200 個取樣步驟，沿每條線由右至左排列。虛線顯示 200 個步驟時的 FID 分數，表明 LDM-

-4

相較於採用不同壓縮率的模型。FID 分數以 5000 個樣本評估。所有模型均在 A100 上訓練 500k（CelebA）/ 2M（ImageNet）步。

圖 7. 上：我們用於 COCO [4] 版面配置至圖像合成的 LDM 樣本。定量評估見補充資料。下：我們用於根據用戶自訂文字提示詞生成圖像的 LDM 樣本。模型以 LAION [73] 數據庫預訓練，並在 Conceptual Captions [74] 數據集上微調。

圖 8. 以 2562 解像度訓練的 LDM，可泛化至更高解像度（此處為：512×1024），用於語義景觀圖像合成等空間條件式任務。見第 4.3.2 節。

圖 9. LDM-BSR 可泛化至任意輸入，並可用作通用升頻器，將類別條件式 LDM 的樣本（圖像參見圖 4）升頻至 10242 解像度。相反，使用固定的劣化過程（見第 4.4 節）會妨礙泛化。

圖 10. ImageNet-Val 上的 ImageNet 64→256 超解像度。LDM-SR 在生成逼真紋理方面較有優勢，但 SR3 能合成更連貫的精細結構。更多樣本及裁剪圖像請參閲附錄。SR3 結果取自 [67]。

圖 11. 圖像修補的定性結果，如表 6 所示。

圖 12. 使用我們的大型微調圖像修補模型進行物件移除的結果。更多結果見圖 22。

圖 13. 語義景觀模型的卷積取樣結果，如第 4.3.2 節所示，並以 5122 張圖像微調。

圖 14. 在景觀圖像上，使用無條件模型進行卷積取樣可能會產生均質且不連貫的整體結構（見第 2 欄）。使用低解像度圖像進行 L2 引導，有助重新建立連貫的整體結構。

圖 15. 展示潛在空間縮放對卷積取樣的影響，此處以景觀圖像的語義圖像合成為例。見第 4.3.2 節及第 C.1 節。

圖 16. 我們用於版面配置至圖像合成的最佳模型 LDM-4 的更多樣本。該模型以 OpenImages 數據集訓練，並在 COCO 數據集上微調。樣本以 100 個 DDIM 步驟及 η = 0 生成。版面配置取自 COCO 驗證集。

圖 17. 我們用於文字生成圖像的最佳模型 LDM-4 根據用戶自訂文字提示詞生成的更多樣本。該模型以 LAION 數據庫訓練，並在 Conceptual Captions 數據集上微調。樣本以 100 個 DDIM 步驟及 η = 0 生成。

圖 18. 為求完整，我們亦報告了類別條件式 LDM 在 ImageNet 數據集上的訓練進度，訓練時間固定為 35 個 V100 日。結果以 100 個 DDIM 步驟 [79] 及 κ = 0 得出。為提高效率，FID 分數以 5000 個樣本計算。

圖 19. LDM-BSR 可泛化至任意輸入，並可用作通用升頻器，將 LSUNCows 數據集的樣本升頻至 10242 解像度。

圖 20. LDM-SR 與 baseline-diffusionmodel 在 Pixelspace 中對兩個隨機樣本進行的定性超解像比較。在經過相同訓練步數後，於 imagenet 驗證集上評估。

圖 21. 更多圖像修補的定性結果，與圖 11 相同。

圖 22. 更多物件移除的定性結果，與圖 12 相同。

圖 23. 語義景觀模型的卷積樣本，如第 4.3.2 節所述，並在 5122 張圖像上微調。

圖 24. 在 2562 解像度上訓練的 LDM，可以泛化至更高解像度，應用於語義景觀圖像合成等空間條件任務。見第 4.3.2 節。

圖 25. 以語義地圖作為條件輸入時，我們的 LDM 可以泛化至遠高於訓練時所見的解像度。雖然此模型以 2562 大小的輸入進行訓練，但仍可用於生成此處展示的高解像度樣本，其解像度為 1024× 384。31

圖 26. LDM-8-G 在 ImageNet 數據集上的隨機樣本。使用分類器尺度 [14] 及 50 和 100 個 DDIM 步驟採樣，η = 1。（FID 8.5）。

圖 27. LDM-8-G 在 ImageNet 數據集上的隨機樣本。使用分類器尺度 [14] 及 50 和 100 個 DDIM 步驟採樣，η = 1。（FID 8.5）。

圖 28. LDM-8-G 在 ImageNet 數據集上的隨機樣本。使用分類器尺度 [14] 及 50 和 100 個 DDIM 步驟採樣，η = 1。（FID 8.5）。

圖 29. 我們表現最佳的模型 LDM-4 在 CelebA-HQ 數據集上的隨機樣本。使用 500 個 DDIM 步驟採樣，η = 0（FID = 5.15）。

圖 30. 我們表現最佳的模型 LDM-4 在 FFHQ 數據集上的隨機樣本。使用 200 個 DDIM 步驟採樣，η = 1（FID = 4.98）。

圖 31. 我們表現最佳的模型 LDM-8 在 LSUN-Churches 數據集上的隨機樣本。使用 200 個 DDIM 步驟採樣，η = 0（FID = 4.48）。

圖 32. 我們表現最佳的模型 LDM-4 在 LSUN-Bedrooms 數據集上的隨機樣本。使用 200 個 DDIM 步驟採樣，η = 1（FID = 2.95）。

圖 33. 我們表現最佳的 CelebA-HQ 模型的最近鄰樣本，於 VGG-16 [75] 的特徵空間中計算。最左側的樣本來自我們的模型。每行其餘樣本是該樣本的 10 個最近鄰。

圖 34. 我們表現最佳的 FFHQ 模型的最近鄰樣本，於 VGG-16 [75] 的特徵空間中計算。最左側的樣本來自我們的模型。每行其餘樣本是該樣本的 10 個最近鄰。

圖 35. 我們表現最佳的 LSUN-Churches 模型的最近鄰樣本，於 VGG-16 [75] 的特徵空間中計算。最左側的樣本來自我們的模型。每行其餘樣本是該樣本的 10 個最近鄰。