Runway 與 Fabula 建立製作合作夥伴關係
Runway 與 Fabula 合作,把 Runway 的電影製作工具引入 Fabula 的全球製作流程,並供其創作人才使用。Fabula 正探索從概念構思、分鏡到可投入製作的 VFX 工作流程等用途;導演 Cutter Hodierne 亦正用 Runway 為電影 THE SHEPHERD 製作高保真預視效果。
Runway 與 Fabula 合作,把 Runway 的電影製作工具引入 Fabula 的全球製作流程,並供其創作人才使用。Fabula 正探索從概念構思、分鏡到可投入製作的 VFX 工作流程等用途;導演 Cutter Hodierne 亦正用 Runway 為電影 THE SHEPHERD 製作高保真預視效果。
Runway 與 Harmony Korine 創立的數碼 IP 工作室 EDGLRD 簽訂優先開發合作協議,雙方將運用 Runway 開發新媒體項目及形式。EDGLRD 過去曾以 Runway 製作品牌宣傳活動及製作項目,並將把 Runway 的產品應用於更多 IP 和新媒體製作。
Runway 宣佈擴展 Runway Studios,並取得超過 $300M 的 Series D 融資,以支持媒體生成研究及新媒體發展。這輪融資由 General Atlantic 領投,Fidelity Management & Research Company、Baillie Gifford、NVIDIA、SoftBank Vision Fund 2 等新舊投資者參與。
Runway 發佈 Gen-4,讓用戶可在不同場景中生成一致的角色、地點和物件,並維持連貫的世界環境,以及每一格畫面的風格、氣氛和電影元素。Gen-4 可結合視覺參考與指令生成風格、主體和地點一致的圖像及影片,也可從場景中的多個視角和位置重新生成相關元素,無需微調或額外訓練。
Hugging Face 發佈 SmolVLM2,提供 2.2B、500M 和 256M 三種影片理解模型,並從推出首日起支援 Transformers 和 MLX,後者提供 Python 及 Swift API。
推薦理由:文章同時列出 2.2B、500M、256M 規模及 Video-MME 表現,方便比較不同參數量下的影片理解能力取捨。
Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程,讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片,再以影格或全片指標篩選,並用 Florence-2 生成字幕、辨識物件及進行 OCR;也可用 Qwen2.5 為整段影片加字幕。
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由:文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
NYU Tisch 藝術學院將在虛擬製作專業研究課程中引入 Runway 工具,並於新開幕的 Martin Scorsese 虛擬製作中心開設相關課程。課程於 2025 年 1 月至 5 月舉行,學生可使用 Runway 的 AI 影片工具,探索生成式 AI 在電影製作各環節的應用。
Runway 推出學生大使計劃,歡迎有意在學習中使用 Runway 工具的學生參加。入選學生可獲 100k 免費點數、免費 Pro 計劃、交流機會及接觸 Runway 團隊的機會;計劃亦旨在降低學生使用 AI 影片工具的門檻,並促進學生與同儕及業界專業人士交流。
OpenAI 的影片生成模型 Sora 現已可在 sora.com 使用,支援生成最高 1080p、最長 20 秒的影片。影片可採寬屏、直向或正方形畫幅;用户可用自備素材延展、改編或混合影片,也可單憑文字生成全新內容。
推薦理由:Sora 的可用入口及生成規格清晰列出,涵蓋影片時長、解像度、畫幅選擇,以及文字生成和自備素材改編等方式。
動畫師 Lyndon Barrois 以 Sora 創造新世界,並分享如何把 Sora 作為説故事工具;內容聚焦其作為創作工具的使用方式。
電影製作雙人組 Vallée Duhamel 説明 Sora 如何協助他們建構新世界。
跨領域藝術家 Minne Atairu 分享 Sora 如何協助她實現創作願景。她談及 Sora 對實現其藝術構想的幫助。
Runway 展示一款以影片關鍵影格為核心的原型,透過圖結構探索生成模型的潛在空間。圖中的圖片節點代表探索路徑上的位置,連接節點的影片邊則呈現兩張圖片之間的轉換;用戶可建立分支、預覽非線性時間線,並匯出影片。
Runway 發佈 Act-One,這款整合於 Gen-3 Alpha 的工具可用演員的影片和聲音表演生成角色動畫。它無需額外設備,並能保留視線方向、微表情、節奏和演繹方式,也可將表演轉移至比例不同的角色。Act-One 現已在 Gen-3 Alpha 提供;Runway 同時加入偵測並阻止生成公眾人物內容、核實 Custom Voices 聲音使用權等安全措施。
Runway 推出 Hundred Film Fund,為處於前期或後期製作、需要資金的 AI 輔助電影項目提供資助。基金現有 $5M,並有可能增至 $10M;資助額由 $5K 至 $1M+,另將發放 $2M 的 Runway credits。所有電影形式均可申請,包括長片、短片、紀錄片、實驗作品及音樂影片等,申請現已開放。
Runway 與 Lionsgate 宣佈合作,將共同建立並訓練一款以 Lionsgate 專有片庫定製的 AI 模型,協助 Lionsgate Studios 及其創作團隊拓展工作流程。模型可生成電影感影片,並透過 Runway 的可控工具套件進一步迭代。Runway 亦正考慮以授權或其他方式,把這些模型作為模板提供予有意建立及訓練自有專有模型的個人創作者。
Runway 宣佈推出 Gen-3 Alpha Turbo API,讓開發者可將該模型整合至不同應用程式和產品。API 現正分階段開放予指定合作夥伴,包括 Omnicom,並預計在未來數週逐步開放予更多用戶。
Runway 公佈 Gen-3 Alpha,稱其相較 Gen-2 在模型保真度、一致性及動態表現方面有重大提升,並具備精細時間控制。
Tribeca Festival 與 Runway 合作呈現電影創作中 AI 工具的多種應用,並展映以 AI 製作的短片,探討科技如何改變敍事方式。節目涵蓋劇本創作、剪輯、視覺效果及聲音設計,並安排電影人參與延長問答環節。起用節目於 6 月 8 日中午 12:30 在 SVA 2 舉行,憑門票免費入場。
OpenAI 自上月向全球介紹 Sora 後,一直與藝術家合作,瞭解 Sora 如何在創作過程中為他們提供協助。
Runway 與 Musixmatch 合作,讓 Musixmatch 超過 1M 名藝術家組成的社羣可使用 Gen-2 及其他 Runway 模型,製作配合歌詞的影片。合作令歌詞音樂影片的生成更快捷、更具獨特性及更易使用,豐富藝術家和全球聽眾的音樂體驗。
Runway 與 Getty Images 合作開發企業級 AI 工具,結合 Runway 技術與 Getty Images 的全授權創意內容庫,推出 Runway - Getty Images Model(RGM)。企業可用自有專有數據集微調 RGM,建立影片生成自訂模型。RGM 預計於未來數月開放商業使用。
Runway 本週為生成工具加入 Motion Brush 和 Gen-2 Style Presets,並更新 Director Mode 及圖像模型,以增加影片控制、風格表現和圖像生成保真度。
Runway 與 Canva 合作,讓 Canva 用戶可直接透過新推出的 Magic Media 應用程式使用 Gen-2 影片生成模型。這項整合面向 Canva 每月 150 million 名用戶,讓他們可把影片加入設計作品。
Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。
Runway 宣佈與 AWS 建立多年期策略研究合作,並以 AWS 作為首選雲端供應商,以擴充高效能運算叢集。Runway 表示,合作後已把所有模型開發與訓練納入內部,以加快訓練及新模型和產品的部署。Gen-2 在 AWS 上與 NVIDIA 合作訓練,是可透過文字、圖像或影片片段生成新影片的多模態 AI 系統。
Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。
推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。
Runway 介紹 Gen-1,這項技術將圖像或文字提示詞的構圖與風格套用到來源影片的結構,生成新影片。Gen-1 提供風格轉換、分鏡、遮罩、渲染及模型自訂五種模式。用戶研究中,Gen-1 相對 Stable Diffusion 1.5 和 Text2Live 的偏好率分別為 73.53% 和 88.24%。
研究提出一種雙流方法,讓高頻特徵進行局部互動、低頻特徵進行全局互動,以改善關鍵影格向目標影格傳播細節的能力。應用於影片修補時,FID 和 LPIPS 評分分別提升 44% 和 26%。
Runway 正開發新一代創意工具,運用 AI 重新構想影像與影片的創作方式,讓更多創作者實現以往難以做到的事。平台用戶已訓練超過 50,000 個 AI 模型,並上載約 24 million 項素材;其工具涵蓋文字編輯影片及以影片生成影片。