Google Research 介紹長篇連貫影片生成研究與四套框架
Google Research 介紹 Co-Director、CANVAS、A²RD 和 VQQA 四套框架,聚焦長篇影片生成的多鏡頭敍事連貫性。它們分別涵蓋創意編排、視覺分鏡記憶、長時序分段生成及閉環提示詞優化,並以專項基準評估。AI video co-director 在 GenAD-Bench 取得 81.4 的峯值質量分數;各框架在相應測試中改善了敍事連貫性、角色持續性或影片品質。
Google Research 介紹 Co-Director、CANVAS、A²RD 和 VQQA 四套框架,聚焦長篇影片生成的多鏡頭敍事連貫性。它們分別涵蓋創意編排、視覺分鏡記憶、長時序分段生成及閉環提示詞優化,並以專項基準評估。AI video co-director 在 GenAD-Bench 取得 81.4 的峯值質量分數;各框架在相應測試中改善了敍事連貫性、角色持續性或影片品質。
Higgsfield AI 藉助 GPT-6 Astra 在一天內推出新影片功能,讓小型企業更容易製作影片廣告。這亦令 Higgsfield AI 能更快將新創作工具推向市場。
Google DeepMind 推出 Gemini 智能體影片理解功能,影片分析成本最多降低 66%、token 用量最多降低 88%,準確度最多提升 7%。
推薦理由:相較固定 FPS 靜態處理,Gemini 會動態檢視畫面、音訊與字幕,影片分析的 token 用量最多減少 88%、成本最多減少 66%。
Google DeepMind 推出 Gemini Omni 1.1 Flash,為影片生成加入場景延伸、首尾幀控制、影片參考輸入及 1080p 或 4K 輸出。
推薦理由:場景延伸可分析最多10秒的既有影片,並以10秒增量延長至累計40秒;配合首尾幀指定,呈現更長影片創作中的控制方式。
NVIDIA 發佈 Cosmos-H-Dreams,一款根據機械人動作即時生成手術場景影片的模擬器。它將 Cosmos-H-Surgical-Simulator 蒸餾為因果學生模型,並透過 FlashDreams 在單張 NVIDIA RTX PRO 6000 上達到約 160 fps。
Google DeepMind 推出 Nano Banana 2 Lite,並首次向開發者開放 Gemini Omni Flash。
推薦理由:兩款模型分別面向高速批量圖像生成與影片生成、對話式編輯,文中列出成本、延遲及 API 限制,可供評估多媒體工作流的取捨。
Google DeepMind 推出 Gemini Omni 系列首個模型 Gemini Omni Flash,可結合圖像、影片、文字及語音參考生成影片,並支援透過對話編輯。
推薦理由:材料把 Gemini Omni Flash 的多模態輸入、對話式影片編輯和分階段上線平台放在一起,便於理解新模型如何連接生成能力與實際使用入口。
Overworld 推出 Waypoint-1.5 即時影片世界模型,提升視覺保真度並擴大可本地運行的硬件範圍。桌面硬件 RTX 3090 至 5090 可生成最高 720p、60 FPS 的即時環境;另有面向更廣泛消費級硬件(包括遊戲筆電)的 360p 版本,Apple Silicon Mac 支援即將推出。
推薦理由:Waypoint-1.5 分設 720p 與 360p 檔位,並列明 RTX 3090 至 5090 可達最高 720p、60 FPS,呈現其畫質與本地硬件覆蓋方案。
OpenAI 開發 Sora 2 和 Sora app 時,以安全為根基,應對最先進影片模型及全新社交創作平台帶來的新安全挑戰。其安全方案以具體防護措施為核心。
Sora 動態消息以激發創意、促進連結及保障使用體驗安全為設計理念。相關設計包括個人化推薦、家長控制及強力防護措施。
Overworld 發佈 Waypoint-1,這款即時互動影片擴散模型可透過文字、滑鼠和鍵盤控制,並按控制輸入逐影格生成。模型以 10,000 小時配有控制輸入及文字描述的多樣化遊戲影片訓練,並以 self-forcing 後訓練,令訓練更貼近逐影格推理。
推薦理由:Waypoint-1 從訓練之初便以互動體驗為目標,與常見的先用預訓練影片模型、再微調簡化控制輸入的做法形成對照。
Google DeepMind 推出 D4RT,這是一個統一的 AI 模型,可重建並追蹤跨越空間與時間的 4D 場景。測試中,D4RT 比此前方法快 18x 至 300x;在單顆 TPU 上,約 5 秒即可處理 1 分鐘影片,而舊方法最多需 10 分鐘。其查詢式 Transformer 架構支援點追蹤、點雲重建及相機姿態估計,應用方向包括機械人、擴增實境與世界模型。
Google DeepMind 更新 Veo 3.1 Ingredients to Video,提升參考圖像生成影片的一致性與表現,並加入原生 9:16 直向輸出及 1080p、4K 升頻。
推薦理由:更新同時處理參考圖像影片中的角色、背景與物件一致性,並加入原生直向及高解像度輸出,可看出 Veo 3.1 如何覆蓋短片創作與專業製作需求。
NVIDIA 發佈 Cosmos Reason 2,稱其在 Physical AI Bench 和 Physical Reasoning 榜單位列視覺理解開放模型第一。
The Walt Disney Company 與 OpenAI 達成協議,將逾 200 個 Disney、Marvel、Pixar 及 Star Wars 角色帶到 Sora,用於製作以粉絲創意為靈感的短片。協議強調在娛樂領域負責任地使用 AI,並包括 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API。
推薦理由:這項協議同時涵蓋粉絲創作短片中的角色使用,以及 Disney 全公司使用 ChatGPT Enterprise 和 OpenAI API,呈現合作涉及娛樂內容與企業工具兩方面。
OpenAI 推出 Sora 2,這是一款可生成同步對白與音效的影片生成模型。材料並指出,Sora 產品已不再提供。
推薦理由:這則材料同時交代 Sora 2 的同步對白與音效生成能力,以及 Sora 產品已不再提供的狀態,讓讀者掌握模型能力介紹與產品供應情況。
OpenAI 發佈 Sora 2 系統卡,介紹這款基於 Sora 的影片與音訊生成模型。Sora 2 加入過往影片模型較難實現的能力,包括更準確的物理表現、更清晰的寫實效果、同步音訊、更強的可控性及更廣的風格範圍。
推薦理由:Sora 2 系統卡將其能力置於既有影片模型的比較脈絡中,並列出物理表現、同步音訊與風格範圍等變化。
Hugging Face 介紹如何在 ZeroGPU Spaces 使用 PyTorch AoT 編譯,將模型預先編譯後在不同程序中載入,以減少即時編譯造成的冷啟動開銷。
推薦理由:文章拆解 ZeroGPU Spaces 的 PyTorch AoT 編譯流程,並展示量化、動態形狀與區域編譯等可遷移的優化做法。
Hugging Face Blog 介紹開源基準 TimeScope,評估視覺語言模型對 1 分鐘至 8 小時影片的理解能力。基準在長影片中插入約 5–10 秒短片,分別測試局部檢索、資訊綜合和細粒度時間感知。結果顯示模型表現會隨影片變長而下降;Gemini 2.5-Pro 是唯一在超過一小時影片上仍維持良好準確率的模型,而千問(Qwen)2.5-VL 在文字資訊綜合較強、細粒度動態辨識較弱。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 及文字轉語音模型,將創意構想轉化為專業影片,製作速度快 10 倍。影片可在數分鐘內完成。
Hugging Face 發佈 SmolVLM2,提供 2.2B、500M 和 256M 三種影片理解模型,並從推出首日起支援 Transformers 和 MLX,後者提供 Python 及 Swift API。
推薦理由:文章同時列出 2.2B、500M、256M 規模及 Video-MME 表現,方便比較不同參數量下的影片理解能力取捨。
Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程,讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片,再以影格或全片指標篩選,並用 Florence-2 生成字幕、辨識物件及進行 OCR;也可用 Qwen2.5 為整段影片加字幕。
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由:文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
OpenAI 的影片生成模型 Sora 現已可在 sora.com 使用,支援生成最高 1080p、最長 20 秒的影片。影片可採寬屏、直向或正方形畫幅;用户可用自備素材延展、改編或混合影片,也可單憑文字生成全新內容。
推薦理由:Sora 的可用入口及生成規格清晰列出,涵蓋影片時長、解像度、畫幅選擇,以及文字生成和自備素材改編等方式。
動畫師 Lyndon Barrois 以 Sora 創造新世界,並分享如何把 Sora 作為説故事工具;內容聚焦其作為創作工具的使用方式。
電影製作雙人組 Vallée Duhamel 説明 Sora 如何協助他們建構新世界。
跨領域藝術家 Minne Atairu 分享 Sora 如何協助她實現創作願景。她談及 Sora 對實現其藝術構想的幫助。
OpenAI 自上月向全球介紹 Sora 後,一直與藝術家合作,瞭解 Sora 如何在創作過程中為他們提供協助。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。