跳到正文
目前篩選:論文
11月21日週六
  1. 新浪科技51

    VideoMemBench 評測 25 個大模型的影片對話記憶,Claude Opus 5 得分 45.7

    VideoMemBench 評測 25 個模型在影片多輪對話中的記憶能力,Claude Opus 5 綜合得分 45.7,位列第一。數據集包含 326 段影片及 2,476 輪問答,其中 1,387 輪需要依賴前文,評測分為場景依賴和答案依賴。依賴距離由 1 輪增至至少 5 輪時,受測模型的平均準確率由 30.2% 降至 23.1%;Claude Opus 5 的答案依賴指標為 35.7%。

11月20日週五
  1. HuggingFace Daily Papers(社區熱門論文)36

    指令條件式程序影片的即時錯誤偵測

    研究在第一人稱影片中進行即時、指令條件式錯誤偵測,模型根據已觀察影片、任務指令及先前預測,定位已完成的動作嘗試並判斷執行情況。聯合模型的二元錯誤偵測 F1@0.5 為 84.1%,高於模組化流程的 80.7%;在 slip 類錯誤上的分數為 56.4%,高於 37.5%。

  2. HuggingFace Daily Papers(社區熱門論文)38

    O²LaF 如何利用影片 Diffusion Transformer 進行自監督潛在動作學習

    O²LaF 將共享的預訓練影片模型重新用於自監督潛在動作學習,從無標註影片中學習逆向與正向動態。它在導航和機械人操作任務中,於少樣本動作探測取得最先進表現,並提升跨視覺情境及具身形式的零樣本動作遷移能力。研究亦將框架擴展至 V-JEPA2 等預測表徵先驗,取得具競爭力的表現。

  3. HuggingFace Daily Papers(社區熱門論文)40

    抑制 VideoLLM 微調收益背後的捷徑學習

    VETO 將監督式微調更新投影至僅文字激活子空間的正交補空間,抑制 VideoLLM 的捷徑學習,並改善分佈外影片推理。在七個 VideoLLM 上,VETO 保留訓練分佈內的微調收益;在分佈轉移下的六項基準測試中,表現優於 SFT,並令模型根據完整輸入作答。

  4. HuggingFace Daily Papers(社區熱門論文)44

    Coda-DaVinci:以 Code2Video 重新構想影片生成

    Coda-DaVinci 提出一套適應任務的 Code2Video 智能體框架,按實體調整建模粒度,並協調代理引導生成、直接生成、模擬及提示詞。在 VTR 的指令遵循及 R2M 的場景一致性方面取得領先表現,物理合理性及視覺真實感亦勝過對照基線。長影片評估顯示事件結構及連續互動一致性有所提升,但轉場穩定性和遵循場景設定仍有限制。

11月19日週四
  1. HuggingFace Daily Papers(社區熱門論文)50

    StrideWorld:互動影片世界模型的場景剛性與動作一致性基準評測

    StrideWorld 基準以運動前固定的參照,評測互動影片世界模型的場景剛性與動作一致性;結果顯示,多數模型會令場景變形,只有按估算場景深度縮放指令的兩個模型,能令大部分組合路線接近預測位置。研究測試了 140 個起始視角生成的影片,場景偏移最高達同一路徑剛性渲染的 7.3 倍。以少量渲染片段微調兩個模型,可消除大部分路線中途停滯。

  2. HuggingFace Daily Papers(社區熱門論文)40

    WorldRuler:可配置規則下的互動世界建模

    WorldRuler提出基於規則圖的生成式世界模型,可在儲存及載入時保留用戶定義的規則與世界狀態,並準確呈現規則對指定物件及屬性造成的視覺變化。研究以 GTA-V 和 Habitat 建立 RuleVerse 數據集,並透過動態物件綁定、屬性狀態替換及反事實重建訓練,提升規則執行與影片生成的一致性。

  3. DEV Community46

    LLM 回饋提升影片的物理一致性

    LLM 迭代分析生成影片並要求修正,可提升影片的物理合理性,無須重新訓練影片生成器。PhysLoop 在 PhysLoop-Gen benchmark 的任務成功率為 85%,高於 Seedance 2.5 的 73%;修復有缺陷影片的成功率則為 86.00%,高於獨立基線的 19.33%。其視覺真實感評分為 3.72,低於 Seedance 2.5 的 4.29。

  4. HuggingFace Daily Papers(社區熱門論文)49

    RoughCut-Bench:大型視覺語言模型自動影片粗剪基準測試

    RoughCut-Bench 為大型視覺語言模型自動影片粗剪建立基準,並提出引導模型生成結構化剪輯計劃的智能體工作流程。基準涵蓋 101 個視覺案例(831 段原始影片、1,476 個精彩片段標註)及 84 個語音案例;評測顯示,現有模型仍難以產生符合專家剪輯計劃的結果。

11月18日週三
  1. DoNews34

    智源研究院聯合推出首個物理資訊影片 Caption 評測基準 PhysCapBench

    北京智源人工智能研究院聯合逆矩陣、北大、清華及北航推出悟界·PhysCapBench,作為全球首個統一評測基準,涵蓋第三人稱場景、第一人稱操作與手持夾爪示範三類視角。基準從七個維度量化 Caption 質量,旨在支援描述策略優化、標註質量評估及高質量物理數據構建,並為世界模型訓練提供可度量的物理數據量尺。

  2. HuggingFace Daily Papers(社區熱門論文)61

    FastFrames 提出互動級延遲的自回歸影片擴散模型

    FastFrames 論文提出一系列快速自回歸影片擴散模型,目標是在不犧牲生成品質下達到互動級延遲。1.3B 版本在單張 B200 GPU 上每影格耗時 36 ms、達 28 RPS,生成品質媲美慢近 8x 的 SOTA 模型;14B 版本在 8x B200 GPU 節點上每影格耗時 45 ms、達 22 RPS,並呈現顯著更佳的視覺品質和真實感。

11月17日週二
  1. HuggingFace Daily Papers(社區熱門論文)41

    LynnReal-Hand:以手部控制實現世界互動

    LynnReal-Hand 是一款手部控制影片世界模型,結合精細互動建模與串流生成,讓用戶以手部動作探索及操控物件。模型在 HandBench 上取得 FVD 181.67 及 MANO Dice 93.02,三步因果模型的 MANO Dice 為 92.49;單張 H200 以 540p 串流可達 18.03 FPS,延遲為 741ms。研究團隊計劃公開數據集、模型權重及完整訓練與推理程式碼。

  2. HuggingFace Daily Papers(社區熱門論文)43

    MovieRoll:長時程影片生成的系統化框架

    MovieRoll 提出由基礎模型到蒸餾模型的框架,結合串流微調、長時程生成蒸餾與長上下文推理。HieraKV 最多減少 78% 快取記憶體用量,同時提升生成質素。在 HeliosBench 上,MovieRoll-Base 訓練影片長度最高為 15s,生成至 30s 時仍具競爭力;MovieRoll-Distilled 在最長 60s 的單事件及多事件評測中,總分均高於其他受比較方法。

  3. HuggingFace Daily Papers(社區熱門論文)50

    NexSight:面向細粒度智能體長影片理解的可驗證任務

    NexSight 建立可驗證任務,以評估及訓練智能體的長影片理解能力。其 SightLine 包含從 108 段長影片整理的 310 項可追溯證據任務;最強模型在 SightLine 的得分為 54.52%,獲提供標註證據時則為 79.35%。使用不足 6K 個例子,Sight-35B 的互動準確率由 21.29% 升至 42.26%。

  4. HuggingFace Daily Papers(社區熱門論文)45

    Decoding Without a Decoder:Diffusion Transformers 如何直接預測像素

    Decoding Without a Decoder(DWD)在微調後的 diffusion transformer 加入最終步預測頭,讓模型直接輸出像素,移除潛在擴散模型的解碼器,降低推理成本並維持或提升像素品質。在 Wan 影片生成中,DWD 將扭曲誤差降低 23%;在 ImageNet 上,FID 由 1.55 降至 1.43,成為像素 flow 模型中的新 SOTA。

  5. HuggingFace Daily Papers(社區熱門論文)43

    Code World Model 2.0:邁向無限可控影片生成

    Code World Model 2.0 提出 Invoker-Render,結合雙向創作模型與因果四步串流模型,支援可控影片生成。模型以約 200 小時的多粒度資料訓練,並透過 Progressive Forcing(ProForcing)訓練及蒸餾串流渲染器。實驗顯示,它可穩定生成 30 分鐘賽車影片,並保留場景及主體外觀。

11月16日週一
  1. HuggingFace Daily Papers(社區熱門論文)43

    VideoNexus:超越推理上下文的影片感知

    VideoNexus 是免訓練框架,將詳細影片感知與以證據為基礎的規劃和推理分開,由感知子智能體在獨立上下文中處理音訊及影片,並返回精簡、具時間定位的證據。在完整 LVBench 上,以 Gemini 3.8 Flash 作為規劃和感知的共用模型時,準確率達 88.6%,較靜態輸入高 3.6 個百分點,成本為內置智能體處理的 44%。

  2. HuggingFace Daily Papers(社區熱門論文)46

    WeVisForensics:用於全方位 AI 生成影片檢測的自我演進智能體

    WeVisForensics 提出自我演進的智能體框架,協調視覺及音訊取證檢查,以局部證據檢測 AI 生成影片,平均準確率達 95.2%。框架透過雙時間尺度強化學習優化調查智能體及取證檢查智能體,並整理出 ForenCue-30K。其準確率較最強的先前檢測器高 9.0%。

11月15日週日
  1. HuggingFace Daily Papers(社區熱門論文)44

    PanDWM:全景 4D 駕駛世界模型

    PanDWM將六個攝影機視角拼接成360°全景帶,並以蒸餾因果學生模型和前饋式3D Gaussian解碼器生成一致的4D駕駛場景。於nuScenes的單一拼接視角評測中,其FID和FVD均低於多攝影機基線,速度為基線的8-46倍。相比50步教師模型,PanDWM維持FID,並將FVD降低22-25%。

11月14日週六
11月13日週五
  1. HuggingFace Daily Papers(社區熱門論文)46

    PhysLoop:利用大語言模型的物理知識推動影片生成模型自我改進

    PhysLoop 以大語言模型引導影片生成、篩選及修正,協助影片生成模型生成符合物理規律的影片並自我改進。研究團隊公開了涵蓋室內及室外場景的 100K 段影片、生成工具,以及 PhysLoop-Gen 和 PhysLoop-Repair 兩個評測數據集。研究亦以 Physics-IQ Verified benchmark 評估影片的物理表現。

  2. HuggingFace Daily Papers(社區熱門論文)41

    WorldDraft:如果程式碼構建世界,影片模型能否只負責渲染?

    WorldDraft 評測基準用來衡量影片模型在程式碼構建 4D 世界後,能否保留世界運動並呈現指定視覺效果。基準包含 432 個測試案例,涵蓋 48 個可執行的 4D 世界類別;對 12 個代表性模型的評估發現,來源線索衝突可引發高達 64% 的來源洩漏。研究提出 WorldDraft-Primer,一種視覺提示策略,可提升凍結影片渲染器在兩項目標上的表現。

  3. HuggingFace Daily Papers(社區熱門論文)41

    JVT:以簡潔的大型 patch Transformer 簡化像素空間影片擴散

    JVT(Just Video Transformer)以簡潔的大型 patch DiT 式 Transformer 直接進行像素空間影片擴散,無需預訓練自動編碼器或 U-Net 跳接,生成品質媲美潛在擴散基線。JVT 亦支援相機條件控制的 RGB-視差聯合生成,相較只生成 RGB 的基線改善相機跟隨,並可在推理時毋須額外重建模型,產生明確的場景幾何。

11月12日週四
  1. DEV Community41

    Wave Forcing 以交錯去噪每輪串流生成一個影片區塊

    Wave Forcing 結合區塊式因果注意力與交錯去噪,在管線填滿後,每個並行前向輪次輸出一個影片區塊。於 Wan2.1-T2V-1.3B 上,五步版本的 VBench Total 為 81.64,高於 Rolling Forcing 五步版本的 81.15,測得的動態幅度亦大幅增加。方法透過重疊去噪階段與快取更新提升生成效率,同時保留每次去噪更新。

  2. HuggingFace Daily Papers(社區熱門論文)46

    PixVid:將潛在影片擴散模型轉至像素空間

    研究提出 PixVid,將預訓練的潛在影片模型改為直接在像素空間生成每一幀。PixVid 以 Wan2.1-14B 微調,在約 1.3M 訓練片段下表現可媲美潛在空間基線。它可在每幀 token 數相同的情況下生成 2 倍分辨率影片,並在每次動作後於下一幀回應。

  3. HuggingFace Daily Papers(社區熱門論文)48

    以參考影格為基礎的無人機影片穩定:動態城市場景基準評測

    這項基準評測量度動態城市場景中無人機影片穩定的「共識捕獲」問題,涵蓋靜態及動態場景。未遮罩 ORB 在 304 組即時配對中有 28 組出現捕獲,角點誤差中位數為 18.8 px;遮罩則令所有管線均不再出現捕獲,且領先管線維持不變。研究同時發布基準數據及 Songdo Vision OBB,包含 5,419 段 4K 無人機影片中的 274,190 個定向框。

11月11日週三
  1. HuggingFace Daily Papers(社區熱門論文)33

    EVAThink 如何按影片證據充足程度訓練自適應推理

    EVAThink 提出按視覺證據是否充足決定直接作答或進行推理的訓練方法,讓影片 VLM 自適應分配推理。方法以兩階段強化學習訓練,無需 SFT 冷啟動,並用首 token 優勢正則化穩定訓練。模型僅用 6.7K 個整理樣本訓練,在 32 和 64 幀設定下均提升影片理解基礎模型的表現,平均勝過強基線。