文字生成影片模型深入解析:技術演進、主要挑戰與 Hugging Face 工具
A Dive into Text-to-Video Models
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。

使用 ModelScope 生成的影片範例。
文字生成影片是生成模型一連串驚人進展中的下一步。顧名思義,文字生成影片是一項相當新的電腦視覺任務,根據文字描述產生一連串在時間和空間上均一致的影像。這項任務看似與文字生成影像非常相似,實際上卻出了名地困難。這些模型如何運作?它們與文字生成影像模型有何不同?我們可以期待它們達到甚麼表現?
本文會探討文字生成影片模型的過去、現況和未來。我們會先回顧文字生成影片與文字生成影像任務的分別,再討論無條件及文字條件式影片生成所面對的獨特挑戰。此外,我們會介紹文字生成影片模型的最新發展,探討這些方法如何運作及具備甚麼能力。最後,我們會介紹 Hugging Face 正在進行的工作,説明如何促進這些模型的整合與應用,並分享 Hugging Face Hub 內外一些有趣的示範和資源。

根據不同文字描述生成的影片範例,圖片取自 Make-a-Video。
文字生成影片與文字生成影像
近期發展眾多,要掌握文字生成影像生成模型的現況並不容易。我們先快速回顧一下。
就在兩年前,首批開放詞彙、高品質的文字生成影像模型面世。這第一波模型包括 VQGAN-CLIP、XMC-GAN 和 GauGAN2,全部採用 GAN 架構。其後很快出現 OpenAI 大受歡迎、以 Transformer 為基礎的 DALL-E(於 2021 年初推出)、DALL-E 2(於 April 2022 推出),以及由 Stable Diffusion 和 Imagen 開創的新一波擴散模型。Stable Diffusion 大獲成功,帶動多款擴散模型投入實際應用,例如 DreamStudio 和 RunwayML GEN-1,亦融入 Midjourney 等現有產品。
擴散模型在文字生成影像方面能力出色,但以擴散及非擴散方法為基礎的文字生成影片模型,生成能力仍然有限。文字生成影片模型通常以非常短的片段訓練,因此要產生較長影片,就必須使用運算成本高、速度慢的滑動視窗方法。結果是這些模型很難部署和擴展,而且可處理的脈絡和影片長度仍有限。
文字生成影片任務在多方面都面對獨特挑戰,主要包括:
- 運算方面的挑戰:確保不同影格在空間及時間上保持一致,會產生長距離依賴關係,運算成本高昂,令大多數研究人員難以負擔這類模型的訓練費用。
- 缺乏高品質資料集:用於文字生成影片的多模態資料集稀少,而且標註往往不足,令模型難以學習複雜的動作語意。
- 影片描述方式未有定論:如何描述影片,令模型更容易從中學習,仍是開放問題。要完整描述影片,單一簡短的文字提示並不足夠;生成影片必須以一連串提示,或敍述隨時間發生事件的故事為條件。
下一節會介紹文字生成影片領域的發展歷程,以及為分別解決這些挑戰而提出的各種方法。概括而言,文字生成影片研究會提出以下其中一種方案:
- 品質更高、較易供模型學習的新資料集。
- 毋須成對文字與影片資料即可訓練這類模型的方法。
- 以更高運算效率生成較長、高解像度影片的方法。
如何由文字生成影片?
現在來看看文字生成影片如何運作,以及這個領域的最新發展。我們會探討文字生成影片模型如何沿着文字生成影像研究的相似路徑演進,以及至今如何應對文字生成影片的特定挑戰。
與文字生成影像任務一樣,文字生成影片的早期研究也只始於數年前。早期研究主要採用 GAN 和 VAE 方法,根據文字描述以自迴歸方式逐格生成影格(例如 Text2Filter 和 TGANs-C)。這些研究為全新的電腦視覺任務奠定基礎,但生成解像度偏低、可處理的時間範圍短,而且只能產生單一、孤立的動作。

早期文字生成影片模型在解像度、脈絡和長度方面都非常有限,圖片取自 TGANs-C。
受到大型預訓練 Transformer 模型在文字(GPT-3)和影像(DALL-E)方面成功的啟發,下一波文字生成影片研究採用了 Transformer 架構。Phenaki、Make-A-Video、NUWA、VideoGPT 和 CogVideo 都提出以 Transformer 為基礎的架構;TATS 等研究則採用混合方法,結合用於影像生成的 VQGAN,以及用於按序生成影格、能處理時間資訊的 Transformer 模組。在這第二波研究中,Phenaki 尤其值得留意,因為它能根據一連串提示(換言之,就是故事情節)生成任意長度的影片。同樣地,NUWA-Infinity 提出「自迴歸之上的自迴歸」生成機制,根據文字輸入無限生成影像和影片,並可產生長篇、HD 品質影片。不過,Phenaki 和 NUWA 模型都未有公開提供。

Phenaki 採用以 Transformer 為基礎的架構,圖片取自此處。
第三波、亦即目前這一波文字生成影片模型,主要採用擴散架構。擴散模型在生成多元、超寫實且內容豐富的影像方面成績卓著,因而引起研究人員興趣,希望把它推廣至音訊、3D,近期更包括影片等其他領域。這一波由Video Diffusion Models(VDM)和 MagicVideo 開創:前者把擴散模型延伸至影片領域,後者提出在低維潛在空間生成影片片段的架構,並報告運算效率大幅勝過 VDM。另一項值得注意的研究是 Tune-a-Video,它以單一文字-影片配對微調預訓練文字生成影像模型,讓使用者可以改變影片內容,同時保留動作。其後文字生成影片擴散模型的名單不斷增加,包括 Video LDM、Text2Video-Zero、Runway Gen1 and Gen2,以及 NUWA-XL。
Text2Video-Zero 是一套文字引導的影片生成及編輯架構,運作方式與 ControlNet 類似。它可直接根據文字輸入生成或編輯影片,也可結合文字與姿勢或邊緣資料輸入。正如名稱所示,Text2Video-Zero 是零樣本模型,結合可訓練的動態模組與預訓練文字生成影像模型 Stable Diffusion,毋須使用任何成對文字-影片資料。Runway 的 Gen-1 和 Gen-2 模型也與 Text2Video-Zero 類似,能根據文字或影像描述的內容生成影片。大部分這類研究都以短片段訓練,並依靠滑動視窗進行自迴歸生成以產生長片,難免造成脈絡落差。NUWA-XL 為此提出「擴散之上的擴散」方法,讓模型能以 3376 個影格進行訓練。最後,亦有開源文字生成影片模型和架構,例如 Alibaba / DAMO Vision Intelligence Lab 的 ModelScope,以及 Tencel 的 VideoCrafter;這些項目尚未在經同行評審的會議或期刊上發表。
資料集
與其他視覺語言模型一樣,文字生成影片模型通常以大型成對資料集訓練,每組資料包含影片和文字描述。這些資料集的影片通常會切成固定長度的短片段,內容亦常限於少數物件的孤立動作。這部分源於運算限制,也與難以有意義地描述影片內容有關;因此,多模態影片-文字資料集和文字生成影片模型的發展往往互相牽連。有些研究着重開發更佳、泛化能力更強且較易學習的資料集;另一些研究,例如 Phenaki,則探索其他方案,例如在文字生成影片任務中結合文字-影像配對和文字-影片配對。Make-a-Video 更進一步,提出只使用文字-影像配對來學習世界的樣貌,再以單模態影片資料透過非監督方式學習時空依賴關係。
這些大型資料集也有文字生成影像資料集常見的問題。最常用的文字-影片資料集 WebVid 包含 10.7 million 組文字-影片配對(52K 小時影片),當中有不少雜訊樣本,影片描述與內容無關。其他資料集則聚焦特定任務或領域,嘗試解決這個問題。例如,Howto100M 資料集包含 136M 段影片片段及説明如何逐步完成烹飪、手工、園藝和健身等複雜任務的字幕。QuerYD 資料集則聚焦事件定位任務,其影片字幕會詳細描述物件和動作的相對位置。CelebV-Text 是大型人臉文字-影片資料集,包含超過 70K 段影片,可用來生成面孔、表情和手勢都逼真的影片。
Hugging Face 上的文字生成影片
使用 Hugging Face Diffusers,你可以輕鬆下載、執行及微調各種預訓練文字生成影片模型,包括 Text2Video-Zero 和由 Alibaba / DAMO Vision Intelligence Lab 開發的 ModelScope。我們正努力把其他令人期待的研究成果整合至 Diffusers 和 🤗 Transformers。
Hugging Face 示範
Hugging Face 的目標是讓大家更容易使用最先進的研究成果並在其基礎上繼續開發。歡迎前往 Hub,瀏覽並試玩由 🤗 團隊、眾多社羣貢獻者及研究作者提供的 Spaces 示範。目前我們提供 VideoGPT、CogVideo、ModelScope Text-to-Video 和 Text2Video-Zero 等示範,之後還會有更多。想看看這些模型的能力,不妨試試 Text2Video-Zero 示範。這個示範不只展示文字生成影片,還支援其他多種生成模式,可按文字指示編輯影片,亦可同時以姿勢、深度和邊緣輸入搭配文字提示,生成條件式影片。
除了使用示範試驗預訓練文字生成影片模型,你也可以使用 Tune-a-Video 訓練示範,以自己的文字-影片配對微調現有文字生成影像模型。想試用的話,先上載影片,再輸入描述影片的文字提示。訓練完成後,你可以把模型公開或私人上載至 Hub 上的 Tune-a-Video 社羣,或自己的用戶名稱之下。之後只需前往示範中的 Run 分頁,即可根據任何文字提示生成影片。
🤗 Hub 上所有 Spaces 都是 Git 儲存庫,可以複製到本機或部署環境執行。現在來複製 ModelScope 示範、安裝所需套件,並在本機執行。
git clone https://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
cd modelscope-text-to-video-synthesis
pip install -r requirements.txt
python app.py
就是這樣!Modelscope 示範現在已在你的電腦本機執行。請注意,Diffusers 支援 ModelScope 文字生成影片模型,你可以直接載入和使用模型,只需幾行程式碼便能生成新影片。
import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video
pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()
prompt = "Spiderman is surfing"
video_frames = pipe(prompt, num_inference_steps=25).frames
video_path = export_to_video(video_frames)
社羣貢獻和開源文字生成影片專案
最後,還有各種未在 Hub 上架的開源專案和模型。值得一提的包括 Phil Wang(又名 lucidrains)非官方實作的 Imagen、Phenaki、NUWA、Make-a-Video 和 Video Diffusion Models。另一個令人期待的專案由 ExponentialML 開發,以 🤗 diffusers 為基礎微調 ModelScope Text-to-Video。
總結
文字生成影片研究正急速發展,但現有成果仍受脈絡所限,並面對不少挑戰。本文介紹了文字生成影片生成模型的限制、獨特挑戰和現況。我們亦看到,原本為其他任務設計的架構範式,如何令文字生成影片取得巨大進展,以及這對未來研究有何意義。儘管進展令人矚目,與文字生成影像模型相比,文字生成影片模型仍有很長的路要走。最後,我們也展示瞭如何透過 Hub 上的示範或 🤗 Diffusers 管線,使用這些模型執行各種任務。
就是這樣!我們會繼續整合最具影響力的電腦視覺和多模態模型,亦期待收到你的意見。想掌握電腦視覺和多模態研究的最新消息,歡迎在 Twitter 關注我們: @adirik、 @a_e_roberts、 @osanseviero、@risingsayak 和 @huggingface。
來源:Hugging Face Blog · huggingface.co