跳到正文
Hugging Face Blog·· 2025-01-27精選AI 評分69

Diffusers 中開源影片生成模型的現況

State of open video generation models in Diffusers

AI 導讀

Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。

推薦理由

文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。

正文 · 繁體中文

OpenAI 的 Sora 示範在去年為 AI 生成影片帶來矚目突破,讓我們一窺影片生成模型的潛在能力。其影響即時顯現;自該示範推出後,影片生成領域競爭日益激烈,主要業者和新創公司紛紛推出能力出眾的模型,例如 Google 的 Veo2、Haliluo 的 Minimax、Runway 的 Gen3 Alpha、Kling、Pika,以及 Luma Lab 的 Dream Machine。

開源影片生成模型亦迎來一波熱潮,當中包括 CogVideoX、Mochi-1、Hunyuan、Allegro 和 LTX Video。影片社羣是否正迎來自己的「Stable Diffusion 時刻」?

本文將簡介影片生成模型的現況、開放式影片生成模型的發展,以及 Diffusers 團隊計劃如何支援這些模型大規模普及。

具體而言,我們會探討:

  • 影片生成模型的能力與限制
  • 影片生成為何困難
  • 開放式影片生成模型
  • 使用 Diffusers 生成影片
    • 推論與最佳化
    • 微調
  • 展望未來

當今影片生成模型及其限制

以下是目前最受歡迎、用於 AI 生成內容的影片模型

供應商 模型 開放/封閉 授權條款
Meta MovieGen 封閉(附有詳細的技術報告) 專有
OpenAI Sora 封閉 專有
Google Veo 2 封閉 專有
RunwayML Gen 3 Alpha 封閉 專有
Pika Labs Pika 2.0 封閉 專有
KlingAI Kling 封閉 專有
Haliluo MiniMax 封閉 專有
THUDM CogVideoX 開放 自訂
Genmo Mochi-1 開放 Apache 2.0
RhymesAI Allegro 開放 Apache 2.0
Lightricks LTX Video 開放 自訂
Tencent Hunyuan Video 開放 自訂

限制:

  • 資源需求高:製作高質素影片需要大型預訓練模型,開發和部署的計算成本都很高。這些成本來自資料集收集、硬件需求、大量訓練迭代與實驗,也令製作開源且免費提供的模型難以獲得合理成本效益。雖然目前沒有詳細技術報告説明訓練所用資源,這篇文章提供了一些合理估算。
  • 泛化能力:多個開放模型的泛化能力有限,表現未如用戶預期。模型可能要求以特定方式提示,或需要類似 LLM 的提示;亦可能無法泛化至分佈外資料,阻礙廣泛採用。例如 LTX-Video 等模型往往需要非常詳細、具體的提示,才能生成理想品質的內容。
  • 延遲:影片生成需要大量計算和記憶體,因而造成顯著延遲。對本機使用而言,這往往是障礙。若沒有大量記憶體最佳化和量化方法,新推出的多數開放影片模型都無法在社羣硬件上使用;而這些方法亦會影響推論延遲和生成影片的品質。

影片生成為何困難?

我們希望在影片中呈現並控制多個因素:

  • 符合輸入條件(例如文字提示、起始圖片等)
  • 真實感
  • 美感
  • 動態效果
  • 時空一致性與連貫性
  • FPS
  • 片長

使用圖片生成模型時,我們通常只關注首三項。但到了影片生成,還要考慮動態品質、隨時間維持的連貫性與一致性,以及可能同時出現的多個主體。要在優質資料、合適的歸納先驗和訓練方法之間取得平衡,以滿足這些額外要求,證明比其他模態更具挑戰。

開放式影片生成模型

diagram

文字轉影片生成模型與文字轉圖片模型有相似的組件:

  • 文字編碼器,用來提供輸入文字提示的豐富表徵
  • 去噪網絡
  • 編碼器與解碼器,用於在像素空間和潛在空間之間轉換
  • 非參數式排程器,負責管理所有與時間步相關的計算及去噪步驟

新一代影片模型有一項共同核心特點:去噪網絡會處理同時擷取空間與時間資訊的 3D 影片 token。負責產生和解碼這些 token 的影片編碼器-解碼器系統,會同時進行空間和時間壓縮。解碼潛在表示通常最耗記憶體,不過這些模型提供逐影格解碼選項,以減少記憶體用量。

文字條件透過聯合注意力(由 Stable Diffusion 3 引入)或交叉注意力納入模型。大多數模型都採用 T5 作為首選文字編碼器;HunYuan 則是例外,會同時使用 CLIP-L 和 LLaMa 3。

去噪網絡本身以 William Peebles 和 Saining Xie 開發的 DiT 架構為基礎,並納入 PixArt 的多項設計元素。

使用 Diffusers 生成影片

使用影片模型時,大致可分為三種生成方式:

  1. 文字轉影片
  2. 圖片或圖片控制條件 + 文字轉影片
  3. 影片或影片控制條件 + 文字轉影片

只需幾行程式碼,就能將文字(及其他條件)轉成影片。以下示範如何使用 Lightricks 的 LTX-Video 模型進行文字轉影片生成。

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video

pipe = LTXPipeline.from_pretrained("Lightricks/LTX-Video", torch_dtype=torch.bfloat16).to("cuda")

prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage"
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=704,
    height=480,
    num_frames=161,
    num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)

記憶體需求

任何模型的記憶體需求,都可以將以下項目相加計算:

  • 儲存權重所需的記憶體
  • 儲存中間啟動狀態所需的最高記憶體

權重所需的記憶體可透過量化、降至較低 dtype,或卸載至 CPU 來減少。啟動狀態所需的記憶體亦可降低,但過程較複雜,超出本文範圍。

任何影片模型都可以在極低記憶體環境中執行,但代價是推論時間增加。若某種最佳化方法所需時間超出用戶可接受範圍,推論便不切實際。Diffusers 提供多種可選用的最佳化方式,亦可串接使用。

下表列出三款熱門影片生成模型在合理預設設定下的記憶體需求:

模型名稱 記憶體(GB)
HunyuanVideo 60.09
CogVideoX (1.5 5B) 36.51
LTX-Video 17.75

這些數值是在配備 80GB A100 的機器上,使用以下設定得出(完整程式碼):

  • torch.bfloat16 dtype
  • num_frames:121,height:512,width:768
  • max_sequence_length:128
  • num_inference_steps:50

上述需求相當驚人,令這些模型難以在消費級硬件上執行。使用 Diffusers 時,用戶可選擇不同最佳化方式以減少記憶體用量。 下表列出啟用各種最佳化後 HunyuanVideo 的記憶體需求;這些設定只會對品質和推論時間作出極小妥協。

我們選用 HunyuanVideo 進行這項研究,因為其規模足夠大,能逐步展示各項最佳化的效益。

設定 記憶體 時間
BF16 基準設定 60.10 GB 863s
BF16 + CPU 卸載 28.87 GB 917s
BF16 + VAE 分塊 43.58 GB 870s
8-bit BnB 49.90 GB 983s
8-bit BnB + CPU 卸載* 35.66 GB 1041s
8-bit BnB + VAE 分塊 36.92 GB 997s
8-bit BnB + CPU 卸載 + VAE 分塊 26.18 GB 1260s
4-bit BnB 42.96 GB 867s
4-bit BnB + CPU 卸載 21.99 GB 953s
4-bit BnB + VAE 分塊 26.42 GB 889s
4-bit BnB + CPU 卸載 + VAE 分塊 14.15 GB 995s
FP8 升精度處理 51.70 GB 856s
FP8 升精度處理 + CPU 卸載 21.99 GB 983s
FP8 升精度處理 + VAE 分塊 35.17 GB 867s
FP8 升精度處理 + CPU 卸載 + VAE 分塊 20.44 GB 1013s
BF16 + 羣組卸載(blocks=8)+ VAE 分塊 15.67 GB 925s
BF16 + 羣組卸載(blocks=1)+ VAE 分塊 7.72 GB 881s
BF16 + 羣組卸載(leaf)+ VAE 分塊 6.66 GB 887s
FP8 升精度處理 + 羣組卸載(leaf)+ VAE 分塊 6.56 GB^ 885s

*bitsandbytes 中的 8Bit 模型不能像 4Bit 模型一樣由 GPU 移至 CPU。
^記憶體用量不會再下降,因為峯值用量出現在計算注意力和前饋網絡時。使用 Flash Attention 和 最佳化前饋網絡,可協助將此需求降至約 5 GB。

我們使用與上述相同的設定得出這些數值。另請注意,量化會因數值精度損失而影響輸出品質;相較圖片,這種影響在影片中更為明顯。

下文會連同程式碼片段,進一步介紹這些最佳化。不過,如果你已經躍躍欲試,我們鼓勵你先看看我們的指南。

最佳化工具組

在資源受限的裝置上生成影片相當困難;即使使用效能更強的 GPU,過程也可能很耗時。Diffusers 提供一系列工具,協助最佳化這些模型的執行時間和記憶體用量。這些最佳化分為以下類別:

  • 量化:將模型權重量化至較低精度的資料類型,從而降低模型的 VRAM 需求。截至目前,Diffusers 支援三種不同的量化後端:bitsandbytes、torchao 和 GGUF。
  • 卸載:模型的不同層可在運算時按需載入 GPU,完成後再卸載回 CPU。這能大幅節省推論期間的記憶體。卸載可透過 enable_model_cpu_offload() 和 enable_sequential_cpu_offload() 支援。詳情請參閲此處。
  • 分塊推論:沿輸入潛在張量中非嵌入維度拆分推論,可減少中間啟動狀態帶來的記憶體開銷。編碼器/解碼器切片或分塊是常見用法。Diffusers 支援以前饋分塊、解碼器分塊與切片,以及分割注意力推論來進行分塊推論。
  • 重用注意力與 MLP 狀態:若特定演算法符合某些條件,可略過部分去噪步驟並重用先前狀態,以極少品質損失加快生成速度。

以下列出一些目前仍在開發中、預計很快合併的進階最佳化技術:

  • 逐層轉型:讓用戶以較低精度儲存參數,例如 torch.float8_e4m3fn,並以較高精度執行運算,例如 torch.bfloat16。
  • 羣組卸載:讓用戶將內部區塊層級或葉節點層級的模組分組,以進行卸載。這樣只會將運算所需的部分模型載入 GPU,因此更有效率。此外,我們支援使用 CUDA streams 重疊資料傳輸與運算,減少多次載入和卸載各層造成的大部分額外開銷。

以下示範如何將 4bit 量化、VAE 分塊、CPU 卸載和逐層轉型套用至 HunyuanVideo,將 121 x 512 x 768 解析度影片所需的 VRAM 降至僅約 6.5 GB。據我們所知,在不犧牲速度的前提下,這是所有現有實作中執行 HunyuanVideo 所需記憶體最低的方案。

從原始碼安裝 Diffusers,即可試用這些功能!部分實作不受所用模型影響,也能輕易套用至其他後端,歡迎親自試試。

pip install git+https://github.com/huggingface/diffusers.git
import torch
from diffusers import (
    BitsAndBytesConfig,
    HunyuanVideoTransformer3DModel,
    HunyuanVideoPipeline,
)
from diffusers.utils import export_to_video
from diffusers.hooks import apply_layerwise_casting
from transformers import LlamaModel

model_id = "hunyuanvideo-community/HunyuanVideo"
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16
)

text_encoder = LlamaModel.from_pretrained(model_id, subfolder="text_encoder", torch_dtype=torch.float16)
apply_layerwise_casting(text_encoder, storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.float16)

# Apply 4-bit bitsandbytes quantization to Hunyuan DiT model
transformer = HunyuanVideoTransformer3DModel.from_pretrained(
    model_id,
    subfolder="transformer",
    quantization_config=quantization_config,
    torch_dtype=torch.bfloat16,
)

pipe = HunyuanVideoPipeline.from_pretrained(
    model_id, transformer=transformer, text_encoder=text_encoder, torch_dtype=torch.float16
)

# Enable memory saving
pipe.vae.enable_tiling()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A cat walks on the grass, realistic",
    height=320,
    width=512,
    num_frames=61,
    num_inference_steps=30,
).frames[0]
export_to_video(output, "output.mp4", fps=15)

訓練期間亦可套用最佳化。影片模型最常用的兩種技術包括:

  • 時間步蒸餾:以遞迴方式訓練模型更快地對雜訊潛在表示進行去噪,減少推論步數。例如,若模型要經過 32 步才能生成優質影片,可進一步訓練它嘗試只用 16 步、8 步,甚至 2 步預測最終輸出。步數減少時,品質可能會下降。時間步蒸餾模型的例子包括 Flux.1-Schnell 和 FastHunyuan。
  • 引導蒸餾:無分類器引導是擴散模型廣泛採用、用來提升生成品質的技術。然而,每個推論步驟都要對模型進行兩次完整前向傳播,再進行插值,因此生成時間會加倍。若訓練模型以一次前向傳播,預測兩次前向傳播和插值的結果,便可大幅加快生成。引導蒸餾模型的例子包括 HunyuanVideo 和 Flux.1-Dev。

如欲深入瞭解影片生成,以及 Diffusers 目前可實現的功能,請參閲這份指南。

微調

我們建立了 finetrainers 儲存庫,讓你輕鬆微調最新一代的開放影片模型。以下示範如何使用 LoRA 微調 CogVideoX:

# Download a dataset
huggingface-cli download \
  --repo-type dataset Wild-Heart/Disney-VideoGeneration-Dataset \
  --local-dir video-dataset-disney

# Then launch training
accelerate launch train.py \
  --model_name="cogvideox" --pretrained_model_name_or_path="THUDM/CogVideoX1.5-5B" \
  --data_root="video-dataset-disney" \
  --video_column="videos.txt" \
  --caption_column="prompt.txt" \
  --training_type="lora" \
  --seed=42 \
  --mixed_precision="bf16" \
  --batch_size=1 \
  --train_steps=1200 \
  --rank=128 \
  --lora_alpha=128 \
  --target_modules to_q to_k to_v to_out.0 \
  --gradient_accumulation_steps 1 \
  --gradient_checkpointing \
  --checkpointing_steps 500 \
  --checkpointing_limit 2 \
  --enable_slicing \
  --enable_tiling \
  --optimizer adamw \
  --lr 3e-5 \
  --lr_scheduler constant_with_warmup \
  --lr_warmup_steps 100 \
  --lr_num_cycles 1 \
  --beta1 0.9 \
  --beta2 0.95 \
  --weight_decay 1e-4 \
  --epsilon 1e-8 \
  --max_grad_norm 1.0

# ...
# (Full training command removed for brevity)

我們使用 finetrainers 模擬「溶解」效果,並取得令人鼓舞的成果。詳情請查看該模型。

提示:PIKA_DISSOLVE 一個纖細的玻璃花瓶盛滿細小白色卵石,置於拋光的烏木高台中央。玻璃毫無預警地由邊緣開始向內溶解。縷縷半透明塵埃優雅地盤旋上升,照亮每顆落在高台上的卵石。飄浮的塵埃最終緩緩落定,只留下散落的石子,以及舞台上微弱閃爍的粉末痕跡。

展望未來

我們預期 2025 年影片生成模型將大幅進步,輸出品質和模型能力都會顯著提升。 我們的目標是讓這些模型更易用、更普及。我們會繼續擴展 finetrainers 程式庫,並計劃加入更多功能:控制 LoRA、蒸餾演算法、ControlNet、Adapters 等。與往常一樣,歡迎社羣貢獻 🤗

我們仍會積極與模型發布者、研究人員和社羣成員合作,確保每個人都能使用影片生成領域的最新創新。

資源

本文引用了多個連結。為免你錯過最重要的資源,以下整理出清單:

鳴謝:感謝 Chunte 為本文製作精美縮圖。感謝 Vaibhav 和 Pedro 提供寶貴意見。

來源:Hugging Face Blog · huggingface.co