Diffusers 中開源影片生成模型的現況
State of open video generation models in Diffusers
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。
文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
OpenAI 的 Sora 示範在去年為 AI 生成影片帶來矚目突破,讓我們一窺影片生成模型的潛在能力。其影響即時顯現;自該示範推出後,影片生成領域競爭日益激烈,主要業者和新創公司紛紛推出能力出眾的模型,例如 Google 的 Veo2、Haliluo 的 Minimax、Runway 的 Gen3 Alpha、Kling、Pika,以及 Luma Lab 的 Dream Machine。
開源影片生成模型亦迎來一波熱潮,當中包括 CogVideoX、Mochi-1、Hunyuan、Allegro 和 LTX Video。影片社羣是否正迎來自己的「Stable Diffusion 時刻」?
本文將簡介影片生成模型的現況、開放式影片生成模型的發展,以及 Diffusers 團隊計劃如何支援這些模型大規模普及。
具體而言,我們會探討:
- 影片生成模型的能力與限制
- 影片生成為何困難
- 開放式影片生成模型
- 使用 Diffusers 生成影片
- 推論與最佳化
- 微調
- 展望未來
當今影片生成模型及其限制
以下是目前最受歡迎、用於 AI 生成內容的影片模型
| 供應商 | 模型 | 開放/封閉 | 授權條款 |
|---|---|---|---|
| Meta | MovieGen | 封閉(附有詳細的技術報告) | 專有 |
| OpenAI | Sora | 封閉 | 專有 |
| Veo 2 | 封閉 | 專有 | |
| RunwayML | Gen 3 Alpha | 封閉 | 專有 |
| Pika Labs | Pika 2.0 | 封閉 | 專有 |
| KlingAI | Kling | 封閉 | 專有 |
| Haliluo | MiniMax | 封閉 | 專有 |
| THUDM | CogVideoX | 開放 | 自訂 |
| Genmo | Mochi-1 | 開放 | Apache 2.0 |
| RhymesAI | Allegro | 開放 | Apache 2.0 |
| Lightricks | LTX Video | 開放 | 自訂 |
| Tencent | Hunyuan Video | 開放 | 自訂 |
限制:
- 資源需求高:製作高質素影片需要大型預訓練模型,開發和部署的計算成本都很高。這些成本來自資料集收集、硬件需求、大量訓練迭代與實驗,也令製作開源且免費提供的模型難以獲得合理成本效益。雖然目前沒有詳細技術報告説明訓練所用資源,這篇文章提供了一些合理估算。
- 泛化能力:多個開放模型的泛化能力有限,表現未如用戶預期。模型可能要求以特定方式提示,或需要類似 LLM 的提示;亦可能無法泛化至分佈外資料,阻礙廣泛採用。例如 LTX-Video 等模型往往需要非常詳細、具體的提示,才能生成理想品質的內容。
- 延遲:影片生成需要大量計算和記憶體,因而造成顯著延遲。對本機使用而言,這往往是障礙。若沒有大量記憶體最佳化和量化方法,新推出的多數開放影片模型都無法在社羣硬件上使用;而這些方法亦會影響推論延遲和生成影片的品質。
影片生成為何困難?
我們希望在影片中呈現並控制多個因素:
- 符合輸入條件(例如文字提示、起始圖片等)
- 真實感
- 美感
- 動態效果
- 時空一致性與連貫性
- FPS
- 片長
使用圖片生成模型時,我們通常只關注首三項。但到了影片生成,還要考慮動態品質、隨時間維持的連貫性與一致性,以及可能同時出現的多個主體。要在優質資料、合適的歸納先驗和訓練方法之間取得平衡,以滿足這些額外要求,證明比其他模態更具挑戰。
開放式影片生成模型
文字轉影片生成模型與文字轉圖片模型有相似的組件:
- 文字編碼器,用來提供輸入文字提示的豐富表徵
- 去噪網絡
- 編碼器與解碼器,用於在像素空間和潛在空間之間轉換
- 非參數式排程器,負責管理所有與時間步相關的計算及去噪步驟
新一代影片模型有一項共同核心特點:去噪網絡會處理同時擷取空間與時間資訊的 3D 影片 token。負責產生和解碼這些 token 的影片編碼器-解碼器系統,會同時進行空間和時間壓縮。解碼潛在表示通常最耗記憶體,不過這些模型提供逐影格解碼選項,以減少記憶體用量。
文字條件透過聯合注意力(由 Stable Diffusion 3 引入)或交叉注意力納入模型。大多數模型都採用 T5 作為首選文字編碼器;HunYuan 則是例外,會同時使用 CLIP-L 和 LLaMa 3。
去噪網絡本身以 William Peebles 和 Saining Xie 開發的 DiT 架構為基礎,並納入 PixArt 的多項設計元素。
使用 Diffusers 生成影片
使用影片模型時,大致可分為三種生成方式:
- 文字轉影片
- 圖片或圖片控制條件 + 文字轉影片
- 影片或影片控制條件 + 文字轉影片
只需幾行程式碼,就能將文字(及其他條件)轉成影片。以下示範如何使用 Lightricks 的 LTX-Video 模型進行文字轉影片生成。
import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video
pipe = LTXPipeline.from_pretrained("Lightricks/LTX-Video", torch_dtype=torch.bfloat16).to("cuda")
prompt = "A woman with long brown hair and light skin smiles at another woman with long blonde hair. The woman with brown hair wears a black jacket and has a small, barely noticeable mole on her right cheek. The camera angle is a close-up, focused on the woman with brown hair's face. The lighting is warm and natural, likely from the setting sun, casting a soft glow on the scene. The scene appears to be real-life footage"
negative_prompt = "worst quality, inconsistent motion, blurry, jittery, distorted"
video = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
width=704,
height=480,
num_frames=161,
num_inference_steps=50,
).frames[0]
export_to_video(video, "output.mp4", fps=24)
記憶體需求
任何模型的記憶體需求,都可以將以下項目相加計算:
- 儲存權重所需的記憶體
- 儲存中間啟動狀態所需的最高記憶體
權重所需的記憶體可透過量化、降至較低 dtype,或卸載至 CPU 來減少。啟動狀態所需的記憶體亦可降低,但過程較複雜,超出本文範圍。
任何影片模型都可以在極低記憶體環境中執行,但代價是推論時間增加。若某種最佳化方法所需時間超出用戶可接受範圍,推論便不切實際。Diffusers 提供多種可選用的最佳化方式,亦可串接使用。
下表列出三款熱門影片生成模型在合理預設設定下的記憶體需求:
| 模型名稱 | 記憶體(GB) |
|---|---|
| HunyuanVideo | 60.09 |
| CogVideoX (1.5 5B) | 36.51 |
| LTX-Video | 17.75 |
這些數值是在配備 80GB A100 的機器上,使用以下設定得出(完整程式碼):
torch.bfloat16dtypenum_frames:121,height:512,width:768max_sequence_length:128num_inference_steps:50
上述需求相當驚人,令這些模型難以在消費級硬件上執行。使用 Diffusers 時,用戶可選擇不同最佳化方式以減少記憶體用量。 下表列出啟用各種最佳化後 HunyuanVideo 的記憶體需求;這些設定只會對品質和推論時間作出極小妥協。
我們選用 HunyuanVideo 進行這項研究,因為其規模足夠大,能逐步展示各項最佳化的效益。
| 設定 | 記憶體 | 時間 |
|---|---|---|
| BF16 基準設定 | 60.10 GB | 863s |
| BF16 + CPU 卸載 | 28.87 GB | 917s |
| BF16 + VAE 分塊 | 43.58 GB | 870s |
| 8-bit BnB | 49.90 GB | 983s |
| 8-bit BnB + CPU 卸載* | 35.66 GB | 1041s |
| 8-bit BnB + VAE 分塊 | 36.92 GB | 997s |
| 8-bit BnB + CPU 卸載 + VAE 分塊 | 26.18 GB | 1260s |
| 4-bit BnB | 42.96 GB | 867s |
| 4-bit BnB + CPU 卸載 | 21.99 GB | 953s |
| 4-bit BnB + VAE 分塊 | 26.42 GB | 889s |
| 4-bit BnB + CPU 卸載 + VAE 分塊 | 14.15 GB | 995s |
| FP8 升精度處理 | 51.70 GB | 856s |
| FP8 升精度處理 + CPU 卸載 | 21.99 GB | 983s |
| FP8 升精度處理 + VAE 分塊 | 35.17 GB | 867s |
| FP8 升精度處理 + CPU 卸載 + VAE 分塊 | 20.44 GB | 1013s |
| BF16 + 羣組卸載(blocks=8)+ VAE 分塊 | 15.67 GB | 925s |
| BF16 + 羣組卸載(blocks=1)+ VAE 分塊 | 7.72 GB | 881s |
| BF16 + 羣組卸載(leaf)+ VAE 分塊 | 6.66 GB | 887s |
| FP8 升精度處理 + 羣組卸載(leaf)+ VAE 分塊 | 6.56 GB^ | 885s |
*bitsandbytes 中的 8Bit 模型不能像 4Bit 模型一樣由 GPU 移至 CPU。
^記憶體用量不會再下降,因為峯值用量出現在計算注意力和前饋網絡時。使用 Flash Attention 和 最佳化前饋網絡,可協助將此需求降至約 5 GB。
我們使用與上述相同的設定得出這些數值。另請注意,量化會因數值精度損失而影響輸出品質;相較圖片,這種影響在影片中更為明顯。
下文會連同程式碼片段,進一步介紹這些最佳化。不過,如果你已經躍躍欲試,我們鼓勵你先看看我們的指南。
最佳化工具組
在資源受限的裝置上生成影片相當困難;即使使用效能更強的 GPU,過程也可能很耗時。Diffusers 提供一系列工具,協助最佳化這些模型的執行時間和記憶體用量。這些最佳化分為以下類別:
- 量化:將模型權重量化至較低精度的資料類型,從而降低模型的 VRAM 需求。截至目前,Diffusers 支援三種不同的量化後端:bitsandbytes、torchao 和 GGUF。
- 卸載:模型的不同層可在運算時按需載入 GPU,完成後再卸載回 CPU。這能大幅節省推論期間的記憶體。卸載可透過
enable_model_cpu_offload()和enable_sequential_cpu_offload()支援。詳情請參閲此處。 - 分塊推論:沿輸入潛在張量中非嵌入維度拆分推論,可減少中間啟動狀態帶來的記憶體開銷。編碼器/解碼器切片或分塊是常見用法。Diffusers 支援以前饋分塊、解碼器分塊與切片,以及分割注意力推論來進行分塊推論。
- 重用注意力與 MLP 狀態:若特定演算法符合某些條件,可略過部分去噪步驟並重用先前狀態,以極少品質損失加快生成速度。
以下列出一些目前仍在開發中、預計很快合併的進階最佳化技術:
- 逐層轉型:讓用戶以較低精度儲存參數,例如
torch.float8_e4m3fn,並以較高精度執行運算,例如torch.bfloat16。 - 羣組卸載:讓用戶將內部區塊層級或葉節點層級的模組分組,以進行卸載。這樣只會將運算所需的部分模型載入 GPU,因此更有效率。此外,我們支援使用 CUDA streams 重疊資料傳輸與運算,減少多次載入和卸載各層造成的大部分額外開銷。
以下示範如何將 4bit 量化、VAE 分塊、CPU 卸載和逐層轉型套用至 HunyuanVideo,將 121 x 512 x 768 解析度影片所需的 VRAM 降至僅約 6.5 GB。據我們所知,在不犧牲速度的前提下,這是所有現有實作中執行 HunyuanVideo 所需記憶體最低的方案。
從原始碼安裝 Diffusers,即可試用這些功能!部分實作不受所用模型影響,也能輕易套用至其他後端,歡迎親自試試。
pip install git+https://github.com/huggingface/diffusers.git
import torch
from diffusers import (
BitsAndBytesConfig,
HunyuanVideoTransformer3DModel,
HunyuanVideoPipeline,
)
from diffusers.utils import export_to_video
from diffusers.hooks import apply_layerwise_casting
from transformers import LlamaModel
model_id = "hunyuanvideo-community/HunyuanVideo"
quantization_config = BitsAndBytesConfig(
load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16
)
text_encoder = LlamaModel.from_pretrained(model_id, subfolder="text_encoder", torch_dtype=torch.float16)
apply_layerwise_casting(text_encoder, storage_dtype=torch.float8_e4m3fn, compute_dtype=torch.float16)
# Apply 4-bit bitsandbytes quantization to Hunyuan DiT model
transformer = HunyuanVideoTransformer3DModel.from_pretrained(
model_id,
subfolder="transformer",
quantization_config=quantization_config,
torch_dtype=torch.bfloat16,
)
pipe = HunyuanVideoPipeline.from_pretrained(
model_id, transformer=transformer, text_encoder=text_encoder, torch_dtype=torch.float16
)
# Enable memory saving
pipe.vae.enable_tiling()
pipe.enable_model_cpu_offload()
output = pipe(
prompt="A cat walks on the grass, realistic",
height=320,
width=512,
num_frames=61,
num_inference_steps=30,
).frames[0]
export_to_video(output, "output.mp4", fps=15)
訓練期間亦可套用最佳化。影片模型最常用的兩種技術包括:
- 時間步蒸餾:以遞迴方式訓練模型更快地對雜訊潛在表示進行去噪,減少推論步數。例如,若模型要經過 32 步才能生成優質影片,可進一步訓練它嘗試只用 16 步、8 步,甚至 2 步預測最終輸出。步數減少時,品質可能會下降。時間步蒸餾模型的例子包括 Flux.1-Schnell 和 FastHunyuan。
- 引導蒸餾:無分類器引導是擴散模型廣泛採用、用來提升生成品質的技術。然而,每個推論步驟都要對模型進行兩次完整前向傳播,再進行插值,因此生成時間會加倍。若訓練模型以一次前向傳播,預測兩次前向傳播和插值的結果,便可大幅加快生成。引導蒸餾模型的例子包括 HunyuanVideo 和 Flux.1-Dev。
如欲深入瞭解影片生成,以及 Diffusers 目前可實現的功能,請參閲這份指南。
微調
我們建立了 finetrainers 儲存庫,讓你輕鬆微調最新一代的開放影片模型。以下示範如何使用 LoRA 微調 CogVideoX:
# Download a dataset
huggingface-cli download \
--repo-type dataset Wild-Heart/Disney-VideoGeneration-Dataset \
--local-dir video-dataset-disney
# Then launch training
accelerate launch train.py \
--model_name="cogvideox" --pretrained_model_name_or_path="THUDM/CogVideoX1.5-5B" \
--data_root="video-dataset-disney" \
--video_column="videos.txt" \
--caption_column="prompt.txt" \
--training_type="lora" \
--seed=42 \
--mixed_precision="bf16" \
--batch_size=1 \
--train_steps=1200 \
--rank=128 \
--lora_alpha=128 \
--target_modules to_q to_k to_v to_out.0 \
--gradient_accumulation_steps 1 \
--gradient_checkpointing \
--checkpointing_steps 500 \
--checkpointing_limit 2 \
--enable_slicing \
--enable_tiling \
--optimizer adamw \
--lr 3e-5 \
--lr_scheduler constant_with_warmup \
--lr_warmup_steps 100 \
--lr_num_cycles 1 \
--beta1 0.9 \
--beta2 0.95 \
--weight_decay 1e-4 \
--epsilon 1e-8 \
--max_grad_norm 1.0
# ...
# (Full training command removed for brevity)
我們使用 finetrainers 模擬「溶解」效果,並取得令人鼓舞的成果。詳情請查看該模型。
展望未來
我們預期 2025 年影片生成模型將大幅進步,輸出品質和模型能力都會顯著提升。
我們的目標是讓這些模型更易用、更普及。我們會繼續擴展 finetrainers 程式庫,並計劃加入更多功能:控制 LoRA、蒸餾演算法、ControlNet、Adapters 等。與往常一樣,歡迎社羣貢獻 🤗
我們仍會積極與模型發布者、研究人員和社羣成員合作,確保每個人都能使用影片生成領域的最新創新。
資源
本文引用了多個連結。為免你錯過最重要的資源,以下整理出清單:
- 影片生成指南
- Diffusers 的量化支援
- Diffusers 的一般 LoRA 指南
- CogVideoX 記憶體最佳化指南(亦適用於其他影片模型)
- 用於微調的
finetrainers
來源:Hugging Face Blog · huggingface.co
