Runway 發佈《AI 媒體報告:成本、速度與未來發展》
Runway 發佈一項分析數百家企業的縱向研究,報告稱企業使用 Runway 製作媒體後,製作成本通常下降兩至三個數量級,所需時間亦大幅縮短。節省金額由客戶自行提供,並與前一年同類工作的支出比較;一個金融服務品牌的廣告製作費由逾 $5M 降至 $3K-4K。一間代理控股集團亦把某美國保險品牌的社交內容製作流程由 2–3 個月壓縮至 3 小時,約為 720× 壓縮。
Runway 發佈一項分析數百家企業的縱向研究,報告稱企業使用 Runway 製作媒體後,製作成本通常下降兩至三個數量級,所需時間亦大幅縮短。節省金額由客戶自行提供,並與前一年同類工作的支出比較;一個金融服務品牌的廣告製作費由逾 $5M 降至 $3K-4K。一間代理控股集團亦把某美國保險品牌的社交內容製作流程由 2–3 個月壓縮至 3 小時,約為 720× 壓縮。
Runway 產品及工程團隊成員在訪談中説明 Agent 如何協助用戶由單一想法走向完成創作,並保留創作控制權。Agent 可把影片片段、音訊和圖像放進同一時間軸,並以視覺化方式呈現創作選項,讓用戶逐步調整。Runway Agent 2.0 已向所有用戶開放;獨立評測機構 Physion Labs 在 Arc 1.0 基準中比較六個 AI 影片智能體,Runway Agent 2.0 排名第一。
Runway 開源 AVTensor,一款以 Rust 編寫的媒體解碼器,可在單次解封裝中同步解碼音訊和影片,讓兩條串流共用時間起點。在訓練數據載入基準中,以直接從物件儲存串流取代先下載再解碼,令 100 batches 的處理時間由 176 秒降至 122 秒,約快 30%;生產音訊與影片模型訓練的 MFU 則較 torchcodec 流程高約 1.8 個百分點。
Google DeepMind 推出 Nano Banana 2 Lite,並首次向開發者開放 Gemini Omni Flash。
推薦理由:兩款模型分別面向高速批量圖像生成與影片生成、對話式編輯,文中列出成本、延遲及 API 限制,可供評估多媒體工作流的取捨。
Runway 與 MIXI 宣佈建立企業合作夥伴關係,MIXI 已在體育、生活風格及數碼娛樂等創作業務中部署 Runway。以往需時 21 天的《Monster Strike》繁體中文版影片製作,現由內部團隊在 3 天完成;品牌影片製作時間亦由 20 天縮短至 7 天。合作亦將探索遊戲、動畫及互動體驗的新創作應用。
Runway 已將 Aleph 2.0 接入 Figma Weave,讓用戶可按要求修改既有影片的指定部分。用戶可從影片抽取關鍵影格、調整風格,再以時間戳連接 Aleph 2.0 節點;模型會把編輯套用至主體出現的每一格,其他內容保持原樣。它可處理最長 30 秒、1080p 的片段,並跨多鏡頭序列套用修改,不必逐鏡處理。
Runway 推出 Runway MCP 伺服器,讓用戶可在現有智能體及編碼工具中生成圖像與影片,無須切換工作環境。用戶可提供產品網址、參考圖或文字提示詞,並使用 Gen-4.5、Seedance 2.0、GPT Image 2、Kling 3.0、Nano Banana Pro 等模型。
Runway在Project Luxo中表示,AI 生成影片正開始跨越恐怖谷,並以三部全 AI 生成短片和一支概念廣告測試觀眾能否投入故事。受邀的創意產業人士一致認為短片作為故事有效;三部短片均由一人製作,所列製作時間分別為 3 星期、7 小時和 4 小時。
Runway 推出影片編輯模型 Aleph 2.0,並同步推出 Edit Studio,支援編輯最長 30 秒的 1080p 影片。Aleph 2.0 可按指定影格控制修改外觀,只更改指定內容,並將編輯套用至相關鏡頭。Aleph 2.0 與 Edit Studio 現已在 Runway 桌面網頁版向所有付費方案用戶開放。
Google DeepMind 推出 Gemini Omni 系列首個模型 Gemini Omni Flash,可結合圖像、影片、文字及語音參考生成影片,並支援透過對話編輯。
推薦理由:材料把 Gemini Omni Flash 的多模態輸入、對話式影片編輯和分階段上線平台放在一起,便於理解新模型如何連接生成能力與實際使用入口。
Runway 推出 Runway Agent,讓用戶透過對話由構思概念、發展故事結構到生成可供發佈的多鏡頭影片。高解像度影片可在數分鐘內生成;用戶可上載參考圖片、選擇畫面比例及片長、設定音訊偏好,再透過對話修改方向,最後以時間軸編輯器作調整。
Runway 認為,網上互動將由文字輸入與結果回覆,轉向按用戶輸入即時生成並回應的影片體驗。其 GWM-1 系列可逐幀生成影片、即時運行並接受動作控制,目前分為 Runway Characters、GWM-Worlds 和 GWM-Robotics 三款後訓練模型。
Runway Characters 建立在 GWM-1 上,可把單張參考圖片轉化為具豐富表情的對話影片角色,並以 24fps 生成 HD 影片。模型每幀有效運算時間為 37 毫秒,伺服器端由用戶停止説話至角色開始回應需時 1.75 秒;系統透過逐幀生成及擴散 Transformer 與 VAE 解碼器並行處理,實現即時生成。
Overworld 推出 Waypoint-1.5 即時影片世界模型,提升視覺保真度並擴大可本地運行的硬件範圍。桌面硬件 RTX 3090 至 5090 可生成最高 720p、60 FPS 的即時環境;另有面向更廣泛消費級硬件(包括遊戲筆電)的 360p 版本,Apple Silicon Mac 支援即將推出。
推薦理由:Waypoint-1.5 分設 720p 與 360p 檔位,並列明 RTX 3090 至 5090 可達最高 720p、60 FPS,呈現其畫質與本地硬件覆蓋方案。
Runway 推出 Runway Builders,面向以生成式影片及即時對話式 AI 開發產品的 Seed 至 Series C 初創。計劃已與首批初創合作,現正擴大開放;參與者可獲最高 500k 免費 API 額度、Runway 最高速率限制、Runway Characters API 使用權,以及 Slack 社羣、培訓和直接支援。
OpenAI 開發 Sora 2 和 Sora app 時,以安全為根基,應對最先進影片模型及全新社交創作平台帶來的新安全挑戰。其安全方案以具體防護措施為核心。
AI 技術正推動虛擬歌手成為平台化創作工具及 IP 載體,並改變音樂、影視和內容創作模式。中國 AI 虛擬歌手 Yuri 的英文歌曲「Surreal」在全球串流平台累積超過 700 萬次播放;其唇形同步技術由 ByteDance 的 Jimeng OmniHuman 開發,可從單張照片和一首歌自動生成逼真的演唱影片。
AI 正把虛擬歌手由單一角色轉變為創作工具與 IP 載體,並重塑音樂、電影、電視及內容創作。中國 AI 虛擬歌手 Yuri 的英文歌曲《Surreal》在全球串流平台累積逾 700 萬次播放;Jimeng OmniHuman 可根據一張相片和一首歌曲自動生成寫實演唱影片。相關技術降低創作門檻,同時引發聲音權利、肖像權及 AI 合成內容標示等爭議。
Runway 發文探討如何負責任地打造 Runway Characters,這款於本週較早時候推出的產品,是可由單張圖片建立客製化對話角色的即時影片 Agent API。
Runway 宣佈成立內部孵化器 Runway Labs,探索生成式影片的下一代應用,以及模型如何支援新一代產品和體驗。Runway Labs 由共同創辦人兼首席創新官 Alejandro Matamala Ortiz 與團隊負責,將孵化 AI 影片及 General World Models 領域的實驗性產品。
Runway 推出 Runway Characters,即時影片智能體 API,可由單張圖片生成可自訂的對話角色,無需微調。API 可設定角色的語音、個性、知識和動作,並支援對話期間的面部表情、眼球移動、口形同步和手勢。企業團隊可在 dev.runwayml.com 開始建立角色,Runway 網頁應用程式亦推出預設角色供消費者體驗。
Runway 表示,GWM-Robotics 對八種機械人操作策略的模擬評分,與真實世界評分的 Pearson 相關係數為 0.95,可用於部署硬件前評估策略。
Sora 動態消息以激發創意、促進連結及保障使用體驗安全為設計理念。相關設計包括個人化推薦、家長控制及強力防護措施。
Runway 發佈研究,讓 1,043 名參與者辨認真實影片與 Gen-4.5 生成影片;逾九成參與者未能可靠分辨,整體辨識準確率為 57.1%。人類相關影片辨識準確率為 58-65%,動物及建築影片則為 45-47%,低於隨機猜測水平。Runway 同時推出網站,供任何人自行測試。
Overworld 發佈 Waypoint-1,這款即時互動影片擴散模型可透過文字、滑鼠和鍵盤控制,並按控制輸入逐影格生成。模型以 10,000 小時配有控制輸入及文字描述的多樣化遊戲影片訓練,並以 self-forcing 後訓練,令訓練更貼近逐影格推理。
推薦理由:Waypoint-1 從訓練之初便以互動體驗為目標,與常見的先用預訓練影片模型、再微調簡化控制輸入的做法形成對照。
Google DeepMind 推出 D4RT,這是一個統一的 AI 模型,可重建並追蹤跨越空間與時間的 4D 場景。測試中,D4RT 比此前方法快 18x 至 300x;在單顆 TPU 上,約 5 秒即可處理 1 分鐘影片,而舊方法最多需 10 分鐘。其查詢式 Transformer 架構支援點追蹤、點雲重建及相機姿態估計,應用方向包括機械人、擴增實境與世界模型。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,提升參考圖像生成影片的一致性與表現,並加入原生 9:16 直向輸出及 1080p、4K 升頻。
推薦理由:更新同時處理參考圖像影片中的角色、背景與物件一致性,並加入原生直向及高解像度輸出,可看出 Veo 3.1 如何覆蓋短片創作與專業製作需求。
NVIDIA 發佈 Cosmos Reason 2,稱其在 Physical AI Bench 和 Physical Reasoning 榜單位列視覺理解開放模型第一。
Runway 以 NVIDIA Rubin 平台推進影片生成與世界模型,Gen-4.5 從 NVIDIA Hopper 移植至 Vera Rubin NVL72,僅用一天,並成為首個在新一代 AI 基礎設施上運行的影片模型。Rubin 每張 GPU 提供 50 PF 推理算力;Runway 首個通用世界模型系列 GWM-1 可即時模擬具物理感知的環境,用於機械人訓練、可探索虛擬世界及互動化身。
Runway 宣佈推出首個通用世界模型系列 GWM-1,支援即時生成及以動作互動控制。GWM-1 建基於 Gen-4.5,採用自回歸架構逐幀生成;三個變體分別為 GWM Worlds、GWM Avatars 和 GWM Robotics,面向可探索環境、對話角色及機械人操作。GWM Robotics 可根據機械人動作預測影片序列並生成反事實結果,支援機械人策略訓練與模擬評估。
The Walt Disney Company 與 OpenAI 達成協議,將逾 200 個 Disney、Marvel、Pixar 及 Star Wars 角色帶到 Sora,用於製作以粉絲創意為靈感的短片。協議強調在娛樂領域負責任地使用 AI,並包括 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API。
推薦理由:這項協議同時涵蓋粉絲創作短片中的角色使用,以及 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API,呈現合作涉及娛樂內容與企業工具兩方面。
Runway 發佈 Gen-4.5 影片生成模型;該模型在 Artificial Analysis Text-to-Video 基準中以 1,247 Elo 排名第一。
推薦理由:文章以 Artificial Analysis Text-to-Video 的排名和多款模型分數作比較,並列出 Gen-4.5 在因果推理、物件持續性等方面仍有的限制。
OpenAI 推出 Sora 2,這是一款可生成同步對白與音效的影片生成模型。材料並指出,Sora 產品已不再提供。
推薦理由:這則材料同時交代 Sora 2 的同步對白與音效生成能力,以及 Sora 產品已不再提供的狀態,讓讀者掌握模型能力介紹與產品供應情況。
OpenAI 發佈 Sora 2 系統卡,介紹這款基於 Sora 的影片與音訊生成模型。Sora 2 加入過往影片模型較難實現的能力,包括更準確的物理表現、更清晰的寫實效果、同步音訊、更強的可控性及更廣的風格範圍。
推薦理由:Sora 2 系統卡將其能力置於既有影片模型的比較脈絡中,並列出物理表現、同步音訊與風格範圍等變化。
Hugging Face 介紹如何在 ZeroGPU Spaces 使用 PyTorch AoT 編譯,將模型預先編譯後在不同程序中載入,以減少即時編譯造成的冷啟動開銷。
推薦理由:文章拆解 ZeroGPU Spaces 的 PyTorch AoT 編譯流程,並展示量化、動態形狀與區域編譯等可遷移的優化做法。
Runway 與 IMAX 將在美國 10 個指定地點獨家放映 2025 AI Film Festival 入圍影片,放映期為 8 月 17 日至 20 日,共 40 場,門票現已開售。
Runway 推出 Runway Aleph,一款上下文影片模型,支援多任務視覺生成與影片編輯。它可新增、移除或轉換輸入影片中的物件、生成場景的任意角度,以及修改風格和光線。Aleph 現已向所有付費用戶開放。
Hugging Face Blog 介紹開源基準 TimeScope,評估視覺語言模型對 1 分鐘至 8 小時影片的理解能力。基準在長影片中插入約 5–10 秒短片,分別測試局部檢索、資訊綜合和細粒度時間感知。結果顯示模型表現會隨影片變長而下降;Gemini 2.5-Pro 是唯一在超過一小時影片上仍維持良好準確率的模型,而千問(Qwen)2.5-VL 在文字資訊綜合較強、細粒度動態辨識較弱。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 及文字轉語音模型,將創意構想轉化為專業影片,製作速度快 10 倍。影片可在數分鐘內完成。
Runway 與 AMC Networks 合作,把 Runway 的 AI 模型及工具融入 AMC Networks 的市場推廣和電視節目開發流程。合作涵蓋系列創作期間的視覺概念開發、市場推廣工作流程,以及特效構思。Runway 的工具亦將協助 AMC Networks 擷取精彩場景作宣傳用途、構思宣傳活動,並加快開發階段的預視製作。