Runway 藉助 NVIDIA Rubin 平台推進影片生成與世界模型
Runway 以 NVIDIA Rubin 平台推進影片生成與世界模型,Gen-4.5 從 NVIDIA Hopper 移植至 Vera Rubin NVL72,僅用一天,並成為首個在新一代 AI 基礎設施上運行的影片模型。Rubin 每張 GPU 提供 50 PF 推理算力;Runway 首個通用世界模型系列 GWM-1 可即時模擬具物理感知的環境,用於機械人訓練、可探索虛擬世界及互動化身。
Runway 以 NVIDIA Rubin 平台推進影片生成與世界模型,Gen-4.5 從 NVIDIA Hopper 移植至 Vera Rubin NVL72,僅用一天,並成為首個在新一代 AI 基礎設施上運行的影片模型。Rubin 每張 GPU 提供 50 PF 推理算力;Runway 首個通用世界模型系列 GWM-1 可即時模擬具物理感知的環境,用於機械人訓練、可探索虛擬世界及互動化身。
美團 LongCat 發佈 LongCat-Video-Avatar,統一支援 Audio-Text-to-Video、Audio-Text-Image-to-Video 及影片續接,並提供單人與多人角色動畫模式。
Runway 宣佈推出首個通用世界模型系列 GWM-1,支援即時生成及以動作互動控制。GWM-1 建基於 Gen-4.5,採用自回歸架構逐幀生成;三個變體分別為 GWM Worlds、GWM Avatars 和 GWM Robotics,面向可探索環境、對話角色及機械人操作。GWM Robotics 可根據機械人動作預測影片序列並生成反事實結果,支援機械人策略訓練與模擬評估。
The Walt Disney Company 與 OpenAI 達成協議,將逾 200 個 Disney、Marvel、Pixar 及 Star Wars 角色帶到 Sora,用於製作以粉絲創意為靈感的短片。協議強調在娛樂領域負責任地使用 AI,並包括 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API。
推薦理由:這項協議同時涵蓋粉絲創作短片中的角色使用,以及 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API,呈現合作涉及娛樂內容與企業工具兩方面。
Sequoia Capital 宣佈與生成媒體平台 fal 合作,並領投其 D 輪融資。fal 為企業及開發者提供 400+ 款開放及封閉權重模型的隨選服務,並在新模型發佈當日提供支援。平台亦提供高速推理、開發者 API、進階 Playground UI,以及模型微調、風格和協作等企業功能。
SGLang 團隊推出 SGLang Diffusion,支援多款開源圖像及影片生成模型,並稱不同工作負載的推理速度提升 1.2x - 5.9x。系統支援 Wan、Hunyuan、Qwen-Image、Qwen-Image-Edit 及 Flux,並提供 OpenAI-compatible API、CLI 和 Python engine API。
Runway 發佈 Gen-4.5 影片生成模型;該模型在 Artificial Analysis Text-to-Video 基準中以 1,247 Elo 排名第一。
推薦理由:文章以 Artificial Analysis Text-to-Video 的排名和多款模型分數作比較,並列出 Gen-4.5 在因果推理、物件持續性等方面仍有的限制。
Figma 收購 Weavy,並將其納入平台、命名為 Figma Weave,作為其 AI 原生創作願景的一部分。Weavy 把多個 AI 模型與專業編輯工具整合在瀏覽器畫布上,節點式流程可讓生成結果分支、混編及再修整。
美團 LongCat 發佈 13.6B 參數的影片生成模型 LongCat-Video,統一支援文字生成影片、圖片生成影片及影片延續。模型原生以影片延續任務預訓練,可生成長達數分鐘且不出現色彩漂移或畫質下降的影片;官方稱其採用沿時間與空間軸由粗至細的生成策略,可在數分鐘內生成 720p、30fps 影片。
OpenAI 提供基於 Sora Video API 和 OpenAI SDK 構建的 NextJS 範例應用,可透過文字提示詞及可選圖片生成或 remix 影片。
Google 在 Gemini API 公開預覽 Veo 3.1 和 Veo 3.1 Fast,並新增延長 Veo 生成影片、最多參考 3 張圖片生成影片,以及指定首尾影格生成影片的功能。Veo 3 輸出影片時長新增 4、6 和 8 秒選項。veo-3.0-generate-preview 和 veo-3.0-fast-generate-preview 將於 2025 年 11 月 12 日停用。
Sam Altman 宣佈推出 Sora App,結合新模型 Sora 2,並提供影片創作、分享和觀看功能。Cameo 功能可讓用户把自己和朋友加入影片,團隊為角色一致性投入大量工作。產品設有防止深偽肖像濫用、處理令人不安或違法內容的措施,並會定期檢視 Sora 對用户情緒和身心狀況的影響;作者亦提出長期用户滿意度、用户控制動態及優先創作等原則。
推薦理由:文章列出 Sora 在用户滿意度、動態控制和創作方面的原則,並交代深偽肖像濫用防護及定期檢視用户身心狀況的安排。
OpenAI 推出 Sora 2,這是一款可生成同步對白與音效的影片生成模型。材料並指出,Sora 產品已不再提供。
推薦理由:這則材料同時交代 Sora 2 的同步對白與音效生成能力,以及 Sora 產品已不再提供的狀態,讓讀者掌握模型能力介紹與產品供應情況。
OpenAI 發佈 Sora 2 系統卡,介紹這款基於 Sora 的影片與音訊生成模型。Sora 2 加入過往影片模型較難實現的能力,包括更準確的物理表現、更清晰的寫實效果、同步音訊、更強的可控性及更廣的風格範圍。
推薦理由:Sora 2 系統卡將其能力置於既有影片模型的比較脈絡中,並列出物理表現、同步音訊與風格範圍等變化。
Veo 3 和 Veo 3 Fast 已推出 GA,價格下調,並新增畫面比例、解像度及 seeding 選項。更多資訊可參閲 Veo 文件。
Hugging Face 介紹如何在 ZeroGPU Spaces 使用 PyTorch AoT 編譯,將模型預先編譯後在不同程序中載入,以減少即時編譯造成的冷啟動開銷。
推薦理由:文章拆解 ZeroGPU Spaces 的 PyTorch AoT 編譯流程,並展示量化、動態形狀與區域編譯等可遷移的優化做法。
Gemini API 的 Image to Video 生成現已在受限制地區提供 allow_adult 設定。詳情可參閲 Veo 頁面。
Google 為 Veo 3 Preview 推出圖像轉影片生成功能,並發佈 Veo 3 Fast Preview 模型。更多 Veo 3 資訊可參閲 Veo 頁面。
Runway 與 IMAX 將在美國 10 個指定地點獨家放映 2025 AI Film Festival 入圍影片,放映期為 8 月 17 日至 20 日,共 40 場,門票現已開售。
Runway 推出 Runway Aleph,一款上下文影片模型,支援多任務視覺生成與影片編輯。它可新增、移除或轉換輸入影片中的物件、生成場景的任意角度,以及修改風格和光線。Aleph 現已向所有付費用戶開放。
Hugging Face Blog 介紹開源基準 TimeScope,評估視覺語言模型對 1 分鐘至 8 小時影片的理解能力。基準在長影片中插入約 5–10 秒短片,分別測試局部檢索、資訊綜合和細粒度時間感知。結果顯示模型表現會隨影片變長而下降;Gemini 2.5-Pro 是唯一在超過一小時影片上仍維持良好準確率的模型,而千問(Qwen)2.5-VL 在文字資訊綜合較強、細粒度動態辨識較弱。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 及文字轉語音模型,將創意構想轉化為專業影片,製作速度快 10 倍。影片可在數分鐘內完成。
Gemini API 推出 veo-3.0-generate-preview,為 Veo 加入帶音訊的影片生成。更新亦提高 Imagen 4 Standard 和 Ultra 的速率限制。更新日誌:https://ai.google.dev/gemini-api/docs/changelog?hl=en#07-17-2025
Runway 與 AMC Networks 合作,把 Runway 的 AI 模型及工具融入 AMC Networks 的市場推廣和電視節目開發流程。合作涵蓋系列創作期間的視覺概念開發、市場推廣工作流程,以及特效構思。Runway 的工具亦將協助 AMC Networks 擷取精彩場景作宣傳用途、構思宣傳活動,並加快開發階段的預視製作。
Gemini API 更新多項 API 功能,並推出多款預覽及實驗模型。API 更新包括按裁剪區間及可設定影格率進行自訂影片預處理、多工具在同一 generateContent 請求中配置 code execution 和 Grounding with Google Search、Live API 非同步函數呼叫,以及實驗性 URL context 工具。
Runway 與 Fabula 合作,把 Runway 的電影製作工具引入 Fabula 的全球製作流程,並供其創作人才使用。Fabula 正探索從概念構思、分鏡到可投入製作的 VFX 工作流程等用途;導演 Cutter Hodierne 亦正用 Runway 為電影 THE SHEPHERD 製作高保真預視效果。
Runway 與 Harmony Korine 創立的數碼 IP 工作室 EDGLRD 簽訂優先開發合作協議,雙方將運用 Runway 開發新媒體項目及形式。EDGLRD 過去曾以 Runway 製作品牌宣傳活動及製作項目,並將把 Runway 的產品應用於更多 IP 和新媒體製作。
Gemini API 正式提供 veo-2.0-generate-001 文字及圖像轉影片模型,並開放 gemini-2.0-flash-live-001 公開預覽。
Runway 宣佈擴展 Runway Studios,並取得超過 $300M 的 Series D 融資,以支持媒體生成研究及新媒體發展。這輪融資由 General Atlantic 領投,Fidelity Management & Research Company、Baillie Gifford、NVIDIA、SoftBank Vision Fund 2 等新舊投資者參與。
Runway 發佈 Gen-4,讓用戶可在不同場景中生成一致的角色、地點和物件,並維持連貫的世界環境,以及每一格畫面的風格、氣氛和電影元素。Gen-4 可結合視覺參考與指令生成風格、主體和地點一致的圖像及影片,也可從場景中的多個視角和位置重新生成相關元素,無需微調或額外訓練。
Gemini API 於 2025 年 3 月 12 日推出支援圖片生成與編輯的實驗版 Gemini 2.0 Flash,並發佈 gemma-3-27b-it。gemma-3-27b-it 可在 AI Studio 及 Gemini API 使用,是 Gemma 3 發佈的一部分。API 同時新增以 YouTube URL 作為媒體來源的支援,並支援小於20MB的內嵌影片。
Hugging Face 發佈 SmolVLM2,提供 2.2B、500M 和 256M 三種影片理解模型,並從推出首日起支援 Transformers 和 MLX,後者提供 Python 及 Swift API。
推薦理由:文章同時列出 2.2B、500M、256M 規模及 Video-MME 表現,方便比較不同參數量下的影片理解能力取捨。
Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程,讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片,再以影格或全片指標篩選,並用 Florence-2 生成字幕、辨識物件及進行 OCR;也可用 Qwen2.5 為整段影片加字幕。
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由:文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
NYU Tisch 藝術學院將在虛擬製作專業研究課程中引入 Runway 工具,並於新開幕的 Martin Scorsese 虛擬製作中心開設相關課程。課程於 2025 年 1 月至 5 月舉行,學生可使用 Runway 的 AI 影片工具,探索生成式 AI 在電影製作各環節的應用。
Runway 推出學生大使計劃,歡迎有意在學習中使用 Runway 工具的學生參加。入選學生可獲 100k 免費點數、免費 Pro 計劃、交流機會及接觸 Runway 團隊的機會;計劃亦旨在降低學生使用 AI 影片工具的門檻,並促進學生與同儕及業界專業人士交流。
OpenAI 的影片生成模型 Sora 現已可在 sora.com 使用,支援生成最高 1080p、最長 20 秒的影片。影片可採寬屏、直向或正方形畫幅;用户可用自備素材延展、改編或混合影片,也可單憑文字生成全新內容。
推薦理由:Sora 的可用入口及生成規格清晰列出,涵蓋影片時長、解像度、畫幅選擇,以及文字生成和自備素材改編等方式。
動畫師 Lyndon Barrois 以 Sora 創造新世界,並分享如何把 Sora 作為説故事工具;內容聚焦其作為創作工具的使用方式。
電影製作雙人組 Vallée Duhamel 説明 Sora 如何協助他們建構新世界。
跨領域藝術家 Minne Atairu 分享 Sora 如何協助她實現創作願景。她談及 Sora 對實現其藝術構想的幫助。