跳到正文
Hugging Face Blog·· 2022-08-22精選AI 評分78

使用 Diffusers 執行 Stable Diffusion 圖像生成並自訂推理流程

Stable Diffusion with 🧨 Diffusers

AI 導讀

Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。

推薦理由

文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。

正文 · 繁體中文

Open In Colab

Stable Diffusion 🎨 ...使用 🧨 Diffusers

Stable Diffusion 是由 CompVis、Stability AI 和 LAION 的研究人員和工程師共同建立的文字生成圖像潛在擴散模型。 模型以 LAION-5B 資料庫子集中 512x512 的圖像進行訓練。 LAION-5B 是目前存在規模最大的免費開放多模態資料集。

本文會示範如何使用 🧨 Diffusers 程式庫 操作 Stable Diffusion,説明模型的運作原理,最後深入探討 diffusers 如何讓使用者自訂圖像生成流程。

注意:強烈建議先具備擴散模型的基本知識。如果你對擴散模型完全陌生,建議先閲讀以下其中一篇文章:

現在就開始生成圖像吧 🎨。

執行 Stable Diffusion

授權條款

使用模型前,你必須先接受模型的授權條款,才能下載和使用權重。注意:現在不再需要透過使用者介面明確接受授權條款。

這份授權條款旨在減輕如此強大的機器學習系統可能造成的有害影響。 我們要求使用者完整並仔細閲讀授權條款。以下是摘要:

  1. 你不得故意利用模型生成或分享違法或有害的輸出或內容,
  2. 我們不主張對你生成的輸出享有任何權利;你可自由使用,但須為其用途負責,而且用途不得違反授權條款的規定;以及
  3. 你可重新分發權重,並將模型用於商業用途及/或提供服務。如你這樣做,請注意必須納入與授權條款相同的使用限制,並向所有使用者提供 CreativeML OpenRAIL-M 的副本。

使用方法

首先,請安裝 diffusers==0.10.2,以執行以下程式碼片段:

pip install diffusers==0.10.2 transformers scipy ftfy accelerate

本文會使用模型版本 v1-4,但只需少量修改程式碼,你也可以使用其他版本,例如 1.5、2 和 2.1。

使用 StableDiffusionPipeline pipeline,只需幾行程式碼便可執行 Stable Diffusion 模型進行推理。pipeline 會透過簡單的 from_pretrained 函數呼叫,設定好將文字生成圖像所需的一切。

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4")

如果有 GPU 可用,就把模型移到 GPU 上吧!

pipe.to("cuda")

注意:如果 GPU 記憶體不足,可用 GPU RAM 少於 10GB,請確保以 float16 精度載入 StableDiffusionPipeline,而非如上所示使用預設的 float32 精度。

你可以從 fp16 分支載入權重,並指定 diffusers 預期權重採用 float16 精度:

import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16)

要執行 pipeline,只需定義提示詞並呼叫 pipe。

prompt = "a photograph of an astronaut riding a horse"

image = pipe(prompt).images[0]

# you can save the image with
# image.save(f"astronaut_rides_horse.png")

結果如下:

png

每次執行先前的程式碼,都會生成不同圖像。

如果生成全黑圖像,可能是模型內置的內容過濾器偵測到不適宜公開的(NSFW)結果。 如果你認為不應該如此,可嘗試調整提示詞或改用不同種子值。事實上,模型預測結果會包含是否偵測到 NSFW 內容的資訊。以下看看它們的樣子:

result = pipe(prompt)
print(result)
{
    'images': [<PIL.Image.Image image mode=RGB size=512x512>],
    'nsfw_content_detected': [False]
}

若要取得確定性輸出,你可以設定隨機種子,並將生成器傳給 pipeline。每次使用相同種子值的生成器,都會得到相同的圖像輸出。

import torch

generator = torch.Generator("cuda").manual_seed(1024)
image = pipe(prompt, guidance_scale=7.5, generator=generator).images[0]

# you can save the image with
# image.save(f"astronaut_rides_horse.png")

結果如下:

png

你可以使用 num_inference_steps 參數變更推理步數。

一般而言,步數愈多,結果愈好;但步數愈多,生成時間也愈長。 Stable Diffusion 在步數較少時通常已能有不錯表現,因此我們建議使用預設的 50 個推理步數。 若想更快取得結果,可以減少步數;若想得到可能更高質素的結果,則可增加步數。

試試執行 pipeline,並減少去噪步數。

import torch

generator = torch.Generator("cuda").manual_seed(1024)
image = pipe(prompt, guidance_scale=7.5, num_inference_steps=15, generator=generator).images[0]

# you can save the image with
# image.save(f"astronaut_rides_horse.png")

png

請留意,圖像結構相同,但太空人的太空衣和馬的整體形態都有問題。這顯示只使用 15 個去噪步數,會大幅降低生成圖像的質素。如前所述,通常使用 50 個去噪步數已足以生成高質素圖像。

除了 num_inference_steps,前面的例子一直使用另一個函數參數 guidance_scale。guidance_scale 用來提高模型遵循條件訊號(此處即文字提示)的程度,同時提升整體樣本質素。 這也稱為無分類器引導;簡單而言,它會迫使生成結果更符合提示詞,但可能會犧牲圖像質素或多樣性。 對 Stable Diffusion 而言,7 至 8.5 通常是合適選擇。pipeline 預設使用 guidance_scale 7.5。

如果數值設得很大,圖像可能看起來不錯,但多樣性會較低。你可以在本文這一節瞭解此參數的技術細節。

接下來看看如何一次為同一提示詞生成多張圖像。 首先,我們會建立一個 image_grid 函數,協助以整齊的網格顯示圖像。

from PIL import Image

def image_grid(imgs, rows, cols):
    assert len(imgs) == rows*cols

    w, h = imgs[0].size
    grid = Image.new('RGB', size=(cols*w, rows*h))
    grid_w, grid_h = grid.size
    
    for i, img in enumerate(imgs):
        grid.paste(img, box=(i%cols*w, i//cols*h))
    return grid

只要使用重複相同提示詞的清單,就能為同一提示詞生成多張圖像。我們會把清單傳給 pipeline,而非使用之前的字串。

num_images = 3
prompt = ["a photograph of an astronaut riding a horse"] * num_images

images = pipe(prompt).images

grid = image_grid(images, rows=1, cols=3)

# you can save the grid with
# grid.save(f"astronaut_rides_horse.png")

png

Stable Diffusion 預設會生成 512 × 512 像素的圖像。只需透過 height 和 width 參數覆寫預設值,就能輕鬆生成直向或橫向長方形圖像。

選擇圖像尺寸時,建議注意以下事項:

  • 確保 height 和 width 都是 8 的倍數。
  • 低於 512 可能會令圖像質素下降。
  • 若兩個方向的尺寸都超過 512,圖像區域便會重複(整體連貫性會消失)。
  • 生成非正方形圖像的最佳方法,是在其中一個維度使用 512,另一個維度則使用更大的數值。

來看一個例子:

prompt = "a photograph of an astronaut riding a horse"
image = pipe(prompt, height=512, width=768).images[0]

# you can save the image with
# image.save(f"astronaut_rides_horse.png")

png

Stable Diffusion 如何運作?

看過 Stable Diffusion 能生成的高質素圖像後,讓我們進一步瞭解模型的運作方式。

Stable Diffusion 建基於一種稱為潛在擴散的特定擴散模型,相關方法見於論文 使用潛在擴散模型合成高解像度圖像。

一般而言,擴散模型是經訓練、能逐步對隨機高斯噪聲進行去噪的機器學習系統,最終取得目標樣本,例如一幅圖像。如想深入瞭解其運作方式,請參閲這份 Colab 筆記本。

擴散模型在生成圖像資料方面已達到最先進的成果,但它有一項缺點:反向去噪過程需要重複循序執行,因此速度緩慢。此外,這些模型直接在像素空間運作,生成高解像度圖像時空間會變得非常大,因此耗用大量記憶體。這令模型訓練和推理都相當困難。

潛在擴散會在較低維度的潛在空間中執行擴散過程,而非使用實際像素空間,藉此降低記憶體和運算複雜度。這正是標準擴散模型與潛在擴散模型的主要差異:潛在擴散模型經訓練後會生成圖像的潛在(壓縮)表示。

潛在擴散主要由三個部分組成。

  1. 自動編碼器(VAE)。
  2. U-Net。
  3. 文字編碼器,例如 CLIP 文字編碼器。

1. 自動編碼器(VAE)

VAE 模型分為編碼器和解碼器兩部分。編碼器會把圖像轉換為低維度的潛在表示,再將其用作 U-Net 模型的輸入。 相反,解碼器則會把潛在表示轉換回圖像。

在潛在擴散訓練期間,編碼器會取得圖像的潛在表示(latents),用於前向擴散過程;該過程會在每一步逐漸加入更多噪聲。推理期間,反向擴散過程生成已去噪的潛在表示,再使用 VAE 解碼器將其轉換回圖像。稍後會看到,推理時只需要 VAE 解碼器。

2. U-Net

U-Net 分為編碼器和解碼器兩部分,兩者都由 ResNet 區塊組成。 編碼器會把圖像表示壓縮成較低解像度的表示;解碼器則把低解像度表示解碼回原本較高解像度、預期噪聲較少的圖像表示。 更具體而言,U-Net 輸出會預測噪聲殘差,再利用該殘差計算預測的去噪圖像表示。

為避免 U-Net 在下採樣時遺失重要資訊,通常會在編碼器的下採樣 ResNet 與解碼器的上採樣 ResNet 之間加入捷徑連接。 此外,Stable Diffusion 的 U-Net 可透過交叉注意力層,根據文字嵌入調整輸出。交叉注意力層通常會加在 U-Net 編碼器和解碼器兩部分的 ResNet 區塊之間。

3. 文字編碼器

文字編碼器負責把輸入提示詞(例如「一位騎着馬的太空人」)轉換成 U-Net 能理解的嵌入空間。它通常是簡單的基於 transformer 的編碼器,會把輸入 token 序列映射為一系列潛在文字嵌入。

Stable Diffusion 受 Imagen 啟發,訓練期間不會訓練文字編碼器,而是直接使用 CLIP 已訓練好的文字編碼器 CLIPTextModel。

潛在擴散為何快速又有效率?

由於潛在擴散在低維度空間運作,與在像素空間運作的擴散模型相比,大幅降低記憶體和運算需求。例如,Stable Diffusion 使用的自動編碼器縮減倍率為 8,會把尺寸為 (3, 512, 512) 的圖像轉換為潛在空間中的 (4, 64, 64),即空間壓縮率為 8 × 8 = 64。

因此,即使使用 16GB 的 Colab GPU,也能如此快速地生成 512 × 512 圖像!

推理期間的 Stable Diffusion

綜合以上各部分,現在讓我們透過流程圖,更仔細看看模型推理時如何運作。

sd-pipeline

Stable Diffusion 模型會以潛在種子和文字提示作為輸入。潛在種子會用來生成尺寸為 64×64 64 \times 64 的隨機潛在圖像表示;文字提示則會透過 CLIP 文字編碼器轉換為尺寸為 77×768 77 \times 768 的文字嵌入。

接着,U-Net 會根據文字嵌入,逐步對隨機潛在圖像表示進行去噪。U-Net 的輸出是噪聲殘差;我們會透過排程器演算法,使用該殘差計算已去噪的潛在圖像表示。多種不同的排程器演算法都可用於此運算,各有優缺點。對 Stable Diffusion,我們建議使用以下其中一種:

本筆記不會深入講解排程器演算法的原理;簡而言之,排程器會根據上一個噪聲表示和預測的噪聲殘差,計算預測的去噪圖像表示。 如想了解更多,建議參閲 闡明基於擴散的生成模型設計空間。

去噪過程會重複約 50 次,逐步取得更好的潛在圖像表示。 完成後,變分自動編碼器的解碼器部分會將潛在圖像表示解碼。

簡介潛在擴散和 Stable Diffusion 後,現在看看如何進階使用 🤗 Hugging Face diffusers 程式庫!

編寫自己的推理流程

最後,我們會示範如何使用 diffusers 建立自訂擴散流程。 編寫自訂推理流程屬於 diffusers 程式庫的進階用法,可用來替換 VAE 或排程器等特定組件;上文已介紹這些組件。

例如,我們會示範如何使用不同的排程器執行 Stable Diffusion:Katherine Crowson 開發的 K-LMS 排程器,已加入這個 PR。

預訓練模型包含設定完整擴散流程所需的全部組件,分別存放在以下資料夾:

  • text_encoder:Stable Diffusion 使用 CLIP,但其他擴散模型也可能使用其他編碼器,例如 BERT。
  • tokenizer。它必須與 text_encoder 模型使用的 tokenizer 相符。
  • scheduler:訓練期間逐步為圖像加入噪聲的排程演算法。
  • unet:用來生成輸入潛在表示的模型。
  • vae:我們會用這個自動編碼器模組,將潛在表示解碼成實際圖像。

我們可以指定組件儲存所在的資料夾,並使用 subfolder 參數和 from_pretrained 載入這些組件。

from transformers import CLIPTextModel, CLIPTokenizer
from diffusers import AutoencoderKL, UNet2DConditionModel, PNDMScheduler

# 1. Load the autoencoder model which will be used to decode the latents into image space. 
vae = AutoencoderKL.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="vae")

# 2. Load the tokenizer and text encoder to tokenize and encode the text. 
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14")
text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14")

# 3. The UNet model for generating the latents.
unet = UNet2DConditionModel.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="unet")

現在,我們不載入預先設定的排程器,而是使用合適的參數載入 K-LMS 排程器。

from diffusers import LMSDiscreteScheduler

scheduler = LMSDiscreteScheduler(beta_start=0.00085, beta_end=0.012, beta_schedule="scaled_linear", num_train_timesteps=1000)

接着,把模型移到 GPU。

torch_device = "cuda"
vae.to(torch_device)
text_encoder.to(torch_device)
unet.to(torch_device) 

現在定義生成圖像時會使用的參數。

請注意,guidance_scale 的定義與方程式 (2) 中的引導權重 w 相似,相關內容見 Imagen 論文。guidance_scale == 1 代表不使用無分類器引導。此處如前文一樣,將數值設為 7.5。

與前面的例子不同,我們把 num_inference_steps 設為 100,令圖像更清晰。

prompt = ["a photograph of an astronaut riding a horse"]

height = 512                        # default height of Stable Diffusion
width = 512                         # default width of Stable Diffusion

num_inference_steps = 100           # Number of denoising steps

guidance_scale = 7.5                # Scale for classifier-free guidance

generator = torch.manual_seed(0)    # Seed generator to create the initial latent noise

batch_size = len(prompt)

首先,取得傳入提示詞的 text_embeddings。 這些嵌入會用來調整 UNet 模型,並引導圖像生成,使結果盡可能符合輸入提示詞。

text_input = tokenizer(prompt, padding="max_length", max_length=tokenizer.model_max_length, truncation=True, return_tensors="pt")

text_embeddings = text_encoder(text_input.input_ids.to(torch_device))[0]

我們也會取得用於無分類器引導的無條件文字嵌入,也就是填充 token(空文字)的嵌入。它們必須與條件式 text_embeddings 的形狀相同(batch_size 和 seq_length)。

max_length = text_input.input_ids.shape[-1]
uncond_input = tokenizer(
    [""] * batch_size, padding="max_length", max_length=max_length, return_tensors="pt"
)
uncond_embeddings = text_encoder(uncond_input.input_ids.to(torch_device))[0]   

使用無分類器引導時,我們需要進行兩次前向傳播:一次使用條件式輸入(text_embeddings),另一次使用無條件嵌入(uncond_embeddings)。實際上,我們可以把兩者串接成單一批次,避免執行兩次前向傳播。

text_embeddings = torch.cat([uncond_embeddings, text_embeddings])

接着,生成初始隨機噪聲。

latents = torch.randn(
    (batch_size, unet.in_channels, height // 8, width // 8),
    generator=generator,
)
latents = latents.to(torch_device)

如果此時檢查 latents,會看到其形狀為 torch.Size([1, 4, 64, 64]),遠小於我們想生成的圖像。模型稍後會把這個潛在表示(純噪聲)轉換成 512 × 512 圖像。

接着,使用選定的 num_inference_steps 初始化排程器。 這會計算去噪過程要使用的 sigmas 和確切時間步數值。

scheduler.set_timesteps(num_inference_steps)

K-LMS 排程器需要將 latents 乘以 sigma 值。我們在此進行這項操作:

latents = latents * scheduler.init_noise_sigma

現在可以編寫去噪迴圈了。

from tqdm.auto import tqdm

scheduler.set_timesteps(num_inference_steps)

for t in tqdm(scheduler.timesteps):
    # expand the latents if we are doing classifier-free guidance to avoid doing two forward passes.
    latent_model_input = torch.cat([latents] * 2)

    latent_model_input = scheduler.scale_model_input(latent_model_input, timestep=t)

    # predict the noise residual
    with torch.no_grad():
        noise_pred = unet(latent_model_input, t, encoder_hidden_states=text_embeddings).sample

    # perform guidance
    noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
    noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)

    # compute the previous noisy sample x_t -> x_t-1
    latents = scheduler.step(noise_pred, t, latents).prev_sample

現在使用 vae,把生成的 latents 解碼回圖像。

# scale and decode the image latents with vae
latents = 1 / 0.18215 * latents
with torch.no_grad():
    image = vae.decode(latents).sample

最後,把圖像轉換成 PIL 格式,以便顯示或儲存。

image = (image / 2 + 0.5).clamp(0, 1)
image = image.detach().cpu().permute(0, 2, 3, 1).numpy()
images = (image * 255).round().astype("uint8")
pil_images = [Image.fromarray(image) for image in images]
pil_images[0]

png

我們從使用 🤗 Hugging Face Diffusers 基本操作 Stable Diffusion,逐步進階到程式庫的更多用法,並介紹了現代擴散系統的各個組件。如你對這個主題感興趣並想了解更多,建議參閲以下資源:

引用:

@article{patil2022stable,
  author = {Patil, Suraj and Cuenca, Pedro and Lambert, Nathan and von Platen, Patrick},
  title = {Stable Diffusion with 🧨 Diffusers},
  journal = {Hugging Face Blog},
  year = {2022},
  note = {[https://huggingface.co/blog/rlhf](https://huggingface.co/blog/stable_diffusion)},
}

來源:Hugging Face Blog · huggingface.co