Runway Gen-2：以文字、圖像或影片片段生成新影片

Gen-2 是一套多模態 AI 系統，可透過文字、圖片或影片片段生成全新影片。

Anastasis Germanidis 2023年2月

沒有燈光。沒有攝影機。只有動作。

以逼真且一致的方式合成新影片。你可以將圖片或文字提示詞的構圖和風格，套用到來源影片的結構上（影片轉影片）；也可以只靠文字生成影片（文字轉影片）。這就像拍攝全新的內容，卻完全無須拍攝。

引導提示詞：俯視冰山的無人機鏡頭，色調柔和

為電影創作重拾魔力。

進一步瞭解 Gen-2 如何透過不同方式，將任何圖片、影片片段或文字提示詞轉化為引人入勝的影片作品。

模式 01：文字轉影片

只需文字提示詞，即可合成任何你想像得到的風格影片。只要你能説出來，現在就能看見。

引導提示詞：午後較晚時分的陽光，從紐約市 loft 的窗戶透進來。

模式 02：文字＋圖片轉影片

使用一張引導圖片和文字提示詞生成影片

輸入圖片

引導提示詞：從低角度拍攝一名男子沿街行走，四周酒吧的霓虹招牌照亮了他

模式 03：圖片轉影片

只使用一張引導圖片生成影片（變化模式）

輸入圖片

輸出影片

模式 04：風格化

將任何圖片或提示詞的風格套用至影片的每一格。

輸入圖片

輸出影片

模式 05：分鏡板

將示意稿轉化為風格完整、帶有動畫效果的渲染圖。

輸入影片

生成影片

模式 06：遮罩

將風格化效果選擇性套用至影片的特定區域，其餘部分則維持不變。

輸入影片

生成影片

模式 07：渲染

透過套用輸入圖片或提示詞，將未貼圖的渲染圖轉化為逼真成品。

輸入影片

生成影片

模式 08：自訂

自訂模型以進一步提升成果的保真度，盡情發揮 Gen-2 的全部力量。

輸入影片

生成影片

影片生成的新標準

根據用戶研究，相較於現有的圖片轉圖片及影片轉影片轉換方法，用戶更偏好 Gen-2 的成果。

73.53%

比 Stable Diffusion 1.5 更受青睞

88.24%

比 Text2Live 更受青睞

動態（與）影像的新時代

Runway Research 致力於打造多模態 AI 系統，讓創意得以展現全新形式。Gen-2 是我們在這項使命上再邁出的重要一步。