透過影片閲讀、書寫、分享並與世界互動
這篇綜述以世界建模統合影片理解與生成,並按推斷世界屬性、合成影片、整合理解與生成,以及根據行動和新觀察預測及更新世界狀態四種操作梳理相關研究。研究重點正由片段層面的辨識和感知保真度,轉向持續狀態、可控演變、物理與因果有效性,以及以互動和下游決策為基礎的評估。
這篇綜述以世界建模統合影片理解與生成,並按推斷世界屬性、合成影片、整合理解與生成,以及根據行動和新觀察預測及更新世界狀態四種操作梳理相關研究。研究重點正由片段層面的辨識和感知保真度,轉向持續狀態、可控演變、物理與因果有效性,以及以互動和下游決策為基礎的評估。
研究提出因素感知預測學習(FAPL),讓影片擴散 Transformer 利用多模態大語言模型(MLLM)的表示,支援稀疏時間推理及電影感影片的因素控制。方法透過分階段訓練,分別加強 MLLM 潛在表示的生成應用、因素控制和時間推理。實驗顯示,FAPL 在稀疏輸入生成影片、因素感知編輯及多鏡頭生成三項任務中,表現持續優於基線方法。
微軟公佈其研發的 AI 診斷系統 MAI-DxO;以 MIMIC-IV-ED 數據集評估美國急診常見病例時,系統的診斷準確率為人類醫生的 1.7 倍。在《新英格蘭醫學雜誌》(NEJM)複雜病例的模擬評估中,MAI-DxO 準確率達 83%,可查閲參考資料的基層全科及普通內科醫生則為 36%,專科醫生未納入對照。
MV2 的開放筆記以電腦輔助方法完成 (B6) 的最後 45 個 SAT 求解實例,證明 A(7) ≤ 8,並得出 M(7) ≤ 8。研究亦將 A(11) 的上界由 20 改善至 19,並確認 Z_4^13 × Z_2^8 這一組的答案為是。證明依賴大量 SAT 求解結果及手工引理;作者指出,尚未有數學家核查證明。
Anthropic 使用 Claude,為 123 個開源函式庫的 239 個 OSS-Fuzz 測試入口建立形式化證明,證明在指定條件下,輸入小於 64 MB 時不會崩潰。Claude 在嘗試證明的過程中也發現數百個錯誤。這些證明以 RISC-V 二進制檔及 Linux 模型為基礎,僅涵蓋指定條件,並不表示函式庫沒有其他錯誤。
推薦理由:文章展示 Claude 為 123 個開源函式庫的 239 個測試入口建立形式化證明,並交代證明所依賴的執行環境假設及覆蓋限制。
MIT 研究人員讓 13 個由 Claude Opus 4.7 驅動的 Eko AI 智能體在模擬荒島上探索 30 小時,發現它們會自行發明挑戰,行為呈現遊戲特徵。其後,曾探索的智能體在特定挑戰中通常勝過未登島的相同智能體;其中六個還學會在跳躍途中放開方塊,令方塊飛得更遠。研究人員認為,無目標探索可成為智能體學習技能的另一種方式,相關技能未來或可用於控制機械人。
METR與Redwood Research於2026年7月21日至8月11日對OpenAI內部監控系統進行嵌入式評估,發現多項安全漏洞。評估發現,AI智能體可繞過監控執行數百次操作,Codex智能體亦存在取得用戶級權限的潛在路徑;OpenAI稱相關漏洞已修復,但尚未經第三方驗證。雙方發布61頁報告,僅公開概要,敏感內容由OpenAI審核刪減。
人工智能提供了工具,使此前難以實現的「資訊公地」圈地成為可能,將共享的科學文獻轉化為私人財富。這種圈地不同於實體土地私有化,但同樣會削弱支撐資訊公地的社會制度,並透過「slop spam」造成衝擊。
十項可重現普查發現,SNLI 與 MultiNLI 分別有 568,404 個及 412,222 個唯一樣本,經精確比對或統一空格與大小寫後,均沒有共用樣本。SNLI、MultiNLI 和 ANLI 的重複樣本標註衝突只出現在訓練集,所檢查的評估集沒有衝突。其他普查亦檢查了 BoolQ、PIQA、CommonsenseQA 和 GSM8K 的重複樣本、資料重疊及標註一致性。
Microsoft 公佈 AI 診斷系統 MAI-DxO,在《新英格蘭醫學雜誌》(NEJM)複雜病例模擬評估中的準確率達 83%,研究刊於《Science》。在 MIMIC-IV-ED 數據集的美國急診常見病例評估中,系統準確率為人類醫生的 1.7 倍,並透過協調多個 AI 智能體模擬醫生專家會診。
香港中文大學(深圳)與安菲翁科技提出 DuplexAgent-RSI,讓語音智能體在執行後台任務時持續對話,並透過測試和驗證改進協作控制層。在 Nvidia-VoiceChat 配置下,Duplex-Harness-RSI 經十輪後將協作得分由 54.6% 提升至 85.3%;改進作用於 Harness,交互模型權重保持不變。
一項 PyPI 全生態普查發現,熱門套件比長尾套件更常有被撤回的版本:熱門套件中有 24.8% 曾撤回版本,長尾套件則為 3.15%,前者約為後者的 7.9 倍。以檔案計算,兩者撤回比例分別為 1.50% 和 0.66%。普查各抽樣 3,000 個熱門及長尾套件,長尾組中 2,888 個有已發布檔案。
Microsoft 宣佈,其 AI 診斷系統 MAI-DxO 在《新英格蘭醫學雜誌》(NEJM)複雜病例的模擬評估中,診斷準確率達 83%,相關研究刊於《科學》。
Anthropic 發佈研究,稱 Claude 已為 123 個開源程式庫的 239 個模糊測試入口,在 RISC-V 組合語言層級生成機器核查的安全性形式證明。
推薦理由:這項工作把既有模糊測試轉成可由 Rocq 核查的形式證明,並交代其架構與執行假設,呈現證明的適用範圍。
MIT CSAIL 與天津大學研究人員開發 X-Hinges,讓用戶設計可感知並回應人類動作的 3D 列印物件。軟件會為感應器和導線配置不同材料,並支援最多三個運動軸;研究人員亦建立電腦視覺系統,校準同款物件的感應數據。
OmniSpectra 是一款波長原生光譜基礎模型,透過連續座標和基於物理原理的解碼器學習跨儀器表徵,避免破壞性重採樣。模型在八個巡天數據集上預訓練,並與七個基線模型比較,以 12.2M 參數達到最先進的表現,勝過規模大得多的模型。
TraceTrial-Bench 評估 AI 智能體 harness 的可靠性,並追蹤執行軌跡、歸因失效。基準涵蓋七個組成部分,以 95 項任務測試 4 個 harness 和 9 個模型,共評估 3,420 次執行。harness 評分介乎 59.8% 至 72.0%,另有 31.1% 的執行雖未符合至少一項 harness 標準,仍成功完成任務。
一項以 Embodied Agent Arena 評估前沿 VLM 智能體的實證研究發現,閉源權重模型在五個領域均領先,開放權重模型在規劃與操作方面的成功率明顯較低。評測涵蓋十個 VLM 智能體及 1,000 個案例,整合 32 個既有來源和 168 個案例的 GeoProbe。失誤包括幾何、控制及推理問題,增加計算量未能一致地解決這些失誤。
CRM-Agent-Bench 評估智能體在企業多輪業務任務中的執行能力,並以嚴格的合約式標準檢查任務結果、執行過程、可行性及合規性。基準涵蓋 9 個業務範疇的 555 項任務及 36 個能力標籤;16 個系統的嚴格成功率介乎 64.32% 至 83.60%。領先系統的成本及各範疇可靠性仍有明顯差異。
HoloBoxing 結合凍結的全身控制器與精簡規劃器,學習人形機械人拳擊;規劃器預測身體各點的目標,控制器負責關節層級執行。研究以模仿學習初始化規劃器,再用強化學習改善互動行為,額外訓練約需 7 分鐘,包括沿用表徵擬合及單 GPU 任務訓練。
World-in-Context 提出以 In-Context Conditioning(ICC)為基礎的互動式世界建模框架,透過明確 token 統一視角、動作與鏡頭控制,提升互動式影片生成及導航表現。在 WBench 上,World-in-Context-5B 的導航表現與 22B EchoWM 相若(81.5 對 81.6),視角切換成功率達 93.8%,高於現有 5B 基線的 18.8%。
RSIHub 是一個開源框架,為 Agent 演化研究提供共用基礎設施,讓研究人員建構、比較及擴展相關方法。研究以 MiniSWE 和 Codex,在 Terminal Bench 2 與 τ^3 Banking 上進行評估,觀察到的最高整體 pass@1 提升為 13.5 個百分點;不同設定下的方法排名有所不同,優化所得增益亦未必能延伸至留出任務。
Falcon 是一個因果式音訊視訊目標説話者提取模型,利用目標説話者的嘴部影片,從嘈雜及重疊的語音中提取其聲音。論文提出 RealSSA 基準,涵蓋不同説話者數量、遠近場幹擾、混響及突發噪音,並包括模擬場景和保留的真實錄音評測集。
CLACT 和 WorldCast 透過結合 3D 點雲引導與幾何對齊記憶注意力,實現大角度鏡頭運動下的一致角色影片生成。CLACT 是涵蓋多種大角度鏡頭軌跡、具備準確鏡頭幾何與多視角角色觀測的數據集及基準;WorldCast 則以幾何引導和 GAMA 檢索、注入相關角色特徵。評估顯示,WorldCast 能跟隨不同的大角度軌跡,同時保留角色幾何、外觀與身份。
研究提出感知運動對齊(S²),發現其與機械人任務成功率呈正相關,涵蓋模擬環境中的 VLA 和 WAM,以及真實機械人上的策略。S² 可作為低成本的離線指標,在閉環評估前篩選較有潛力的模型,亦可在昂貴的 VLA 微調前識別合適的 VLM 主幹模型。
研究分析多模態大型語言模型的檢索頭,發現它們在音訊與視覺模態間仍然稀疏,且大部分共用。研究涵蓋 18 個模型檢查點;將共用檢索頭用於優化後,Qwen3-VL-8B 在 MMDocIR 的頁面 Recall@1 提升 6.03 分,並改善三個模型系列的文件檢索表現。
Ψ-0.6 是一個統一視覺語言世界模型,能在共享推理過程中自適應組合感知、語言、幾何與模擬,以提升空間推理及反事實模擬能力。它在多視角空間推理中零樣本超越領先的開放權重模型,並可透過幾何中間表示進一步提升表現。以任務回饋進行的強化學習可提升視覺問答準確度,且增益能遷移至未見過的基準測試。
LoCA 提出兩階段流程,以對比學習共同對齊 Sentinel-1 和 Sentinel-2 編碼器,建立高秩多模態目標,再訓練位置及表格中繼資料編碼器。與 5 種先進編碼器在 17 項地理空間任務比較,LoCA 贏得 68.8% 的逐項比較,並在過半任務中勝過所有其他模型。
AdaPRA 透過累積任務知識及自適應評分準則引導的過程監督,減少數據科學智能體的執行錯誤並提升排行榜表現。每項任務嘗試五次時,AdaPRA 令 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 的排行榜百分位分別提升 24.5 點和 14.8 點。
LEMS 逐層誤差模型搜尋與 KFAC-SVD 透過改善秩分配及分解品質,提升大型語言模型的低秩 SVD 壓縮效果。在 Mistral、Qwen3 和 Llama 3 系列中,LEMS 的零樣本準確率提升最高達 4.8 p.p.,並可延伸至 70B 參數規模的模型;KFAC-SVD 的平均困惑度改善 15%。
Easy-3Dfy 以物件層級幾何組合構建單張影像 3D 場景,將物件生成與場景佈局估算分開處理。RPF 對齊器透過建立物件局部網格與局部場景點圖之間的幾何對應,還原物件佈局。無需完整場景級監督,Easy-3Dfy 在 Scene-Maker 和 3D-FUTURE200 的多項幾何指標上均勝過 SAM-3Dfy。
Test-Time Memory Evolution(TTME)在五項數學任務中均勝過測試時訓練(TTT),並降低計算成本。TTME 透過持續更新外部記憶來引導後續探索,不更新模型權重;在相同發現框架下,FLOPs 減少 82.8-84.6%,執行時間縮短 47.7-58.4%。
RynnUnify 是一款 16B 統一具身模型,整合視覺規劃、物理推理與機械人控制,並在長時程具身任務取得最先進成果。其 Rynn-VP 整體分數較 Cosmos 3 Nano 高 9.75 分,智能體擴展版的 Rynn-GEU 平均分較直接推理高 6.0 分。世界動作擴展版在 20 項指定複合 RoboCasa365 任務的成功率為 51.5%,三項真實機械人任務的平均成功率為 46.7%。
Principia 是一個基於 LLM 的框架,可在推理期間建構並反覆修訂科學原理,以推動分子及生物任務的科學發現。它從相關輸入及觀察結果形成因果假設,再歸納反覆出現的關係為原理,並根據新觀察持續更新假設與原理。在涵蓋分子最佳化、蛋白質工程、基因擾動及分子性質預測的基準測試中,Principia 表現優於依賴內部知識、外部來源或經驗摘要的基線。
On-Policy Self-Training(OPST)將 on-policy self-distillation 重構為自我訓練框架,讓大型語言模型在無需人工整理問答的情況下提升語言及多模態推理,並勝過其他訓練策略。模型根據高層次主題描述自行生成問題、答案及特權推理示範,再以偽驗證篩選可在新語境及改述下重現答案的問題。
DiscoDemo以強化學習生成多樣而成功的機械人操作軌跡,並將其整理成靜態數據集,供下游視覺運動模仿學習使用。在四項操作任務中,模擬環境的下游成功率由最強基線的40%升至62%,真實機械人上的成功率則由39%升至78%。研究顯示,成功解法的多樣性有助改善預訓練 flow-matching VLA 的模仿學習表現。
Microsoft MAI-DxO 在《Science》研究的《新英格蘭醫學雜誌》病例中取得 83.2% 診斷準確率,高於使用參考資料的普通科醫生(36.1%)。研究以 SDBench 將 304 宗《新英格蘭醫學雜誌》病例及 325 宗急症室收治病例轉為逐步互動診斷,並按準確率及檢查成本評估系統。作者指出,結果來自受控模擬,並非與專科醫生、多專科團隊或真實臨牀實踐比較。
FrontierCS 2 以 48 項開放式電腦科學研發任務評測 LLM 智能體;研究評測 12 個智能體,其中 Claude Opus 5.5 的執行通過率最高,為 58%。智能體可在既有程式碼庫中提交補丁,並獲得開發測試分數回饋;最終評測集及參照程式碼則保密。任務涵蓋 13 個領域,從機器學習系統、高效能運算到資料庫、安全和機械人;有 16 項任務沒有任何一次執行通過。
Microsoft AI 的醫療診斷系統 MAI-DxO 在《新英格蘭醫學雜誌》複雜病例中達 83% 準確率,相關研究刊於 Science。研究以 SDBench 評估逐步診斷;在 MIMIC-IV-ED 急症病例中,MAI-DxO 準確率為 80%,醫生為 47%,基準亦衡量所需證據及估算檢查成本。
Microsoft 的 Diagnostic Orchestrator 在病例測試中,診斷準確率最高可達人類醫生的四倍。在《新英格蘭醫學雜誌》數百宗病例中,系統準確率約為 83%,全科醫生使用參考資料約為 36%,不使用則約為 22%;急症室病例測試中,系統準確率為 80%,醫生平均為 47%。