GRACE: Generation-aware latent compression for efficient video generation
GRACE 提出兩階段框架,壓縮預訓練影片自編碼器,同時維持與預訓練 DiT 的相容性。該方法令 Wan2.1-I2V-14B 的 token 數減少 8x,在 480x832x81 下延遲降低 11.1x,並在 VBench 上達到壓縮前預訓練流程的生成品質。
GRACE 提出兩階段框架,壓縮預訓練影片自編碼器,同時維持與預訓練 DiT 的相容性。該方法令 Wan2.1-I2V-14B 的 token 數減少 8x,在 480x832x81 下延遲降低 11.1x,並在 VBench 上達到壓縮前預訓練流程的生成品質。
RLHND 利用影片基礎模型,從單目第一身影片同時估算手部姿態及觸覺資訊,支援機械人學習。模型以預訓練的 Cosmos 3 影片擴散模型為基礎,在多個姿態估算基準,以及接觸和力度估算方面達到最先進水平。研究亦展示了動作重定向及真實世界機械人實驗,程式碼將公開。
前字節跳動實習生田柯宇創辦世界模型初創公司,已融資近 3,000 萬美元,投後估值達 2 億美元;公司尚未公開名稱和產品。團隊稱其系統包含 20 萬個符號,用於協助模型處理影片。田柯宇稱,這種方法可把生成 1 秒影片的成本至少降至原來的十分之一,完整模型計劃於 2027 年正式發佈。
華為餘承東稱,華為自 2019 年以來克服多項困難,依靠芯片、鴻蒙操作系統及國內供應鏈等,基本擺脱對美國技術的依賴。小米宣佈澎湃 OS 4 全面兼容蘋果生態,支持重要信息雙向同步等功能。微軟 Surface Laptop Ultra 起價 21988 元,128GB 內存頂配售價 48388 元。
字節 Seed 正式發佈新一代影片創作模型 Seedance 2.5,單次生成時長由 15 秒提升至 30 秒,並支援多輪延長。模型支援單次輸入最多 30 張圖片、10 段影片和 10 段音訊作參考,並提供時間戳精準編輯。
字節 Seed 正式推出 SeedRealtime 音訊與影片全雙工大模型,透過統一架構原生融合音訊、影片與文字,支援連續多模態資訊流上的即時互動。端到端人工評測結果顯示,相比級聯模型,SeedRealtime 的音訊與影片對話節奏問題減少一半,單次對話順暢、完整交流的機率亦明顯提升。
ForcingBooster 按影片區塊的難度動態分配去噪步數,將區塊上的總去噪步數減少約 50%,並維持與 4 步基線相若的視覺質素。它兼容大部分現有的少步自回歸擴散模型,只需輕量級路由模組及適度訓練。
WorldCast 提出分散式多人世界模型,讓每名玩家使用本地用戶端生成影片及估算玩家狀態,協調共享環境中的多個視角。《Counter-Strike 2》實驗顯示,其玩家渲染速率較聯合生成方法提升逾一個數量級,並能維持整局遊戲的視覺一致性。各用戶端可即時運作,只交換玩家及場景狀態,無需集中式計算瓶頸。
Higgsfield 更新 AI 網紅工具,讓用戶更容易把自創角色加入現有影片。公司最近宣佈 run rate 達 $1 billion,並稱有 30 million 用戶。部分 AI 生成網紅已在各平台累積數百萬次觀看及數千名追蹤者,亦有用戶用它們推廣 memecoins。
亞利桑那州上訴法院裁定,一段在量刑聽證會播放的 AI 生成受害者影片造成「過度情感影響」,要求法官重新考慮被告刑期,但維持誤殺定罪。影片以 AI 生成 Christopher Pelkey 的形象,讓他表示原諒殺害他的 Gabriel Horcasitas;Pelkey 的姐姐 Stacey Wales 告訴 404 Media,她製作影片的目的就是影響法官。
推薦理由:案件呈現 AI 生成的受害者陳述如何進入量刑程序,以及上訴法院如何評估影片對刑期裁量的情感影響。
CtrlCache 提出無需重新訓練的控制感知快取框架,令 DiT 主幹加速 1.21x 至 1.41x。在 Matrix-Game 2.0 及 LingBot-World v1/v2 上,WBench Overall 評分均高於原始推理。
2026 年 AI 短劇以僅為真人短劇 1/10 的製作成本登上各大平台榜單,真人短劇開機量同比下跌約 75%。紅果熱播榜前 20 名中,真人劇僅 1 部;一季度上線微短劇中 AI 佔比超 95%,平均每 36 秒便有一部新劇誕生。AI 角色表情僵硬、眼神空洞且缺乏情緒張力,劇情高度套路化,超九成製作方處於虧損。
AI工具降低了漫劇把故事轉成畫面的成本與速度,但盈利門檻仍在,競爭重心轉向內容、發行及成本控制。DataEye統計,抖音端2026年上半年AI劇、漫劇新劇達22.19萬部,累計播放量約5157億次;其估算的400億元市場規模包含廣告消耗及資本投入,並非製作公司收入。文中以深圳一家設計公司製作11部、投入約20萬元而上線一個月僅獲幾百元為例,指出生成效率不等於作品符合觀看習慣或能收回成本。
ALIVE 是一個用於首幀引導影片編輯的框架,讓插入物件能與原影片內容協調互動,並保留原有動作。研究團隊整理了 35,800 組編輯配對,並推出 ALIVE-interaction 基準;在兩項基準上,沒有 VLM 指引時,ALIVE 的 Overall 分別較最強基線高 43.9% 和 4.4%。
World Models' Last Exam in Physics 提出一個以量度為基礎的影片世界模型基準,評估生成影片的物理一致性。基準涵蓋力學、光學、流體、熱與相變、電磁學及表面張力,共設 40 項受控任務;在 8 個影片生成模型的 1,280 段影片中,最佳模型總分為 57.76/100。評估器與人類判斷的一致性高於直接使用視覺語言模型的基線。
亞利桑那上訴法院裁定,量刑時播放的 AI 生成受害者影片造成不當情緒影響,要求法官重新考慮刑期,但維持被告的誤殺罪裁決。影片由受害者姊姊撰寫台詞,透過 AI 生成的弟弟形象表達原諒;法院認為影片並非呈現真實事件,且對法官造成影響,令量刑程序不公。姊姊表示,若需重新量刑,她準備親自宣讀同一份台詞。
推薦理由:裁決把生成式 AI 模擬死者發言與呈現真實事件的照片區分,並聚焦其對量刑公正的情緒影響,呈現法院處理 AI 內容的具體法律考量。
SAVER 提出由密集到稀疏的後訓練框架,以密集影片視角作為訓練參照,提升有限影格下的影片推理可靠性。模型只用 1,250 個隨機抽樣的時間定位例子訓練,無須影片問答標註。SAVER 在 3 個時間定位基準及 6 個影片問答基準上均有提升,使用大幅較少影格時仍可匹敵或超越密集影格 Qwen3.5 基線。
VIS-Ground 提出影片互動生成的上下文錨定方法,把異質輸入情境轉化為可執行的影片生成約束模型。方法透過結構化情境抽象、生成約束推導及受約束影片生成,處理來源、影片目前狀態與觀眾新意圖之間的依賴。在三種影片生成骨幹上,VIS-Ground 的整體綜合分數均最高,較各骨幹最強基線平均提升 10.3 分。
JoHan 是一種可直接從影片序列復原手部動作的生成框架,會聯合生成對齊的 2D 和 3D 局部手部姿態序列,毋須依賴逐幀姿態預測。基準測試顯示,該方法提升局部手部姿態和相機空間重建的準確度與速度,生成的動作亦較以往方法平滑,同時保持較高的逐幀姿態準確度。
HLA-WM 是一種免訓練的混合線性注意力框架,可在不額外訓練的情況下,提升基礎自回歸生成器在 SANA-WM-Bench 上的六項整體場景重訪一致性及鏡頭控制指標。
Reka 發佈 Rho-1 的研究預覽版,這款 19B 全模態推理模型以單一神經網絡理解及生成文字、圖像和影片,並對這些內容進行推理及輸出機械人動作。其兩條專家權重流共用 attention 和 KV cache;蒸餾版把去噪步數由 99 步減至 8 步,約 1 秒可生成 5.3 秒影片。Rho-1 目前僅提供研究預覽,尚無公開權重、API 或定價。
ElevenLabs 推出 Image & Video (Beta),在同一平台整合圖像、影片生成及音訊後製流程。用戶可透過 Nanobanana、Flux Kontext、GPT Image 和 Seedream 生成圖像,並以 Veo、Sora、Kling、Wan 和 Seedance 生成影片,再匯出至 Studio 加入語音、背景音樂及音效。
ElevenLabs 推出 Dubbing v2,直接以原始表演作為條件,將説話者的語調、語氣、節奏和情感意圖延續至 90+ 種語言。其同步感知翻譯系統會自動對齊內容的起始、結束位置和節奏,減少手動調整。
ElevenLabs 在 ElevenCreative 推出 Flows Agent,讓用戶以對話描述創作需求,由智能體建立、連接並執行工作流程。它會選擇合適模型、建立及連接節點,並在生成前確認影片長度、語氣和結構;啟用 Assist mode 後,高成本生成須經用戶確認。
ElevenLabs 在 ElevenCreative 推出 Ads Engine,首項功能可把廣告素材本地化並推回 Google、Meta 和 LinkedIn。
Suno 推出 Suno Scenes,讓用戶以照片或影片作為素材創作歌曲。功能先向 iOS 用戶開放,可在歌曲創作體驗的 Camera 模式中使用。
Black Forest Labs 與 mimic 以 FLUX 3 為骨幹開發 FLUX-mimic,這款影片動作模型從 FLUX 的世界表徵解碼機械人動作。
Black Forest Labs 的 FLUX 3 多模態基礎模型現已開放 Early Access,採用統一架構共同學習圖像、影片和音訊。它可按文字或圖像、影片參考生成內容,並生成最長 20 秒、帶音訊的影片;模型亦涵蓋動作預測。
Black Forest Labs 已透過 BFL API 及指定合作夥伴開放 FLUX 3 Video 初始版本,支援文字及圖像生成影片。片段最長 20 秒,可輸出 HD(720p)及經升頻處理的 Full HD(1080p),並同步生成原生音訊,另支援影片延續、多鏡頭生成及多語言對白與唇形同步。內部評測稱其文字生成影片表現優於現有 SOTA,圖像生成影片則與 Seedance 2.0 持平。
Black Forest Labs 推出 FLUX Video Upscale,可將 480p 起的影片重新生成至最高原生 4K。它原生支援 FLUX 3 輸出,並可修復模糊人臉和水、草等紋理上的網格瑕疵。
字節 Seed 正式發布新一代影片創作模型 Seedance 2.5,單次最長可生成 30 秒影片,並支援多輪延長、多模態參考及時間戳精準編輯。用戶單次最多可輸入 30 張圖片、10 段影片和 10 段音訊作參考,模型亦提升長影片連貫性及綠幕、視角和運鏡編輯能力。Seedance 2.5 正陸續於即夢 AI、豆包專業版上線,API 服務近期亦將上線火山方舟。
推薦理由:Seedance 2.5 將單次影片生成時長提升至 30 秒,並支援多輪延長、多模態參考及時間戳編輯,呈現影片創作由片段輸出走向完整流程的能力變化。
據彭博社報道,快手旗下可靈 AI 已選定承銷銀行,正籌備赴港 IPO,擬募資至少 10 億美元。可靈 AI 正與中金公司、高盛集團及瑞銀集團推進潛在股票發行,目標最早於明年完成上市;融資規模和上市時間仍可能變動。
PyTorch 在過去兩年整合媒體處理架構,由 TorchCodec 集中負責圖像、影片和音訊的解碼與編碼,TorchVision 和 TorchAudio 則專注處理媒體轉換。
WorldSonus 提出面向世界模型的互動式影片轉音訊框架,可即時合成具空間定位的聲音。其串流因果自回歸擴散架構的即時因子(RTF)為 0.41,並以按音訊片段索引的提示詞排程,支援生成期間動態操控聲音事件。在開放領域影片轉音訊基準測試中,WorldSonus 的聲學質素及空間對齊表現匹敵或勝過當前最先進的雙向模型。
MimicX以策略閉環監督精煉方法,進行影片驅動的人形機械人動作追蹤。展示內容包括網球揮拍、足球顛球、舞蹈和功夫四種技能,以及碰撞場景中的森林穿越和樓梯攀登執行畫面。頁面亦展示影片至策略的循環、HLoop Kung Fu 和跑酷執行片段。
SPW-Nav 是一種串流全景世界模型,可理解移動指令,並以單張全景圖即時串流輸出一分鐘的 2K 360 度影片。研究團隊同時建立 SPW-NavSet,收錄全景影片、相機軌跡及經核實的指令。SPW-Nav 在相機跟隨準確度及影片質素方面優於先前的全景生成器,並支援即時切換指令。
OpenMOSS 發佈開源影片與同步音訊生成模型 MOVA,模型可在單次推理中生成影片及同步音訊。程式庫提供模型權重、推理、訓練、LoRA 微調及評測流程,並列出不同推理及訓練設定的硬件資源與耗時數據。
瑞典滾珠軸承製造商 SKF 使用 AI 生成已故女星葛麗泰·嘉寶的虛擬形象拍攝廣告,呼應她曾參與推介瑞典產業的短片。
MC-Sparse 是一種免訓練的稀疏注意力框架,透過快取查詢分組、KV token 索引及稠密與稀疏注意力輸出的殘差,提升 Diffusion Transformer 長序列生成的速度與保真度。相較稠密注意力,它在 Minimax-H3-Base 上將去噪速度提升 1.80 倍,在 3D 資產生成上提升 2.32 倍,品質損失均可忽略。
S2PD 提出序列到並行擴散方法,先在高噪聲階段進行自回歸擴散,再於低噪聲階段切換至並行擴散,以提升影片生成對物理規律和符號規則的遵循能力。研究以從頭訓練的像素空間 diffusion transformer,以及透過 LoRA 微調並採用因果注意力改造的預訓練影片模型實作 S2PD。