評審依循參照資訊:工具呼叫參數驗證中的推導差距
研究發現,工具呼叫評審模型在輸入缺少參數值參照資訊時,較少接受正確值,這種落差稱為「推導差距」。DeRef 以另一模型在不查看候選值的情況下讀取完整歷史並為評審撰寫參照;在三個基準測試中,它提升所有受測評審的整體參數 AUROC。受控測試中,AUROC 從隨機水平或以下升至 98.40 至 99.59。
研究發現,工具呼叫評審模型在輸入缺少參數值參照資訊時,較少接受正確值,這種落差稱為「推導差距」。DeRef 以另一模型在不查看候選值的情況下讀取完整歷史並為評審撰寫參照;在三個基準測試中,它提升所有受測評審的整體參數 AUROC。受控測試中,AUROC 從隨機水平或以下升至 98.40 至 99.59。
研究提出一種方法,讓 LLM 智能體根據多步任務的最終結果校準每一步的信心,而非只對照當前步驟的決策是否正確。在 Qwen2.5-7B 智能體的離線 RL 測試中,步驟信心預測任務結果的 AUROC 升至 0.68-0.85;線上 ALFWorld 測試中,預期校準誤差由 0.42 降至 0.12 以下,選擇性執行表現改善且任務成功率未下降。
研究提出 4LC,一種用於動態世界建模的 4D 潛在快取,可重用靜態與動態視覺表示作為生成條件,避免每次請求都進行 RGB 渲染和重新編碼。它將多個視覺編碼器的表示與共享幾何及運動資訊結合,並可按指定時間和視點讀取。基於 4LC 的 4LC-Video 支援鏡頭控制、時間控制、新視點合成、場景重訪及長期生成,單一模型毋須按任務微調。
Jeva 提出面向決策的 System One 架構,處理答案缺失辨識、選項排列不變、候選集擴展及跨請求重用等需求。評估顯示,Jeva 在類型化決策評估中表現強勁,空值偵測近乎完美,且在所有受測排列下均沒有決策翻轉。架構可擴展至數千個候選項,並藉跨請求重用大幅降低延遲,同時不改變決策。
ReTerm 是一款透過學習復原自身失敗任務來自我改進的終端智能體,旨在提升長時間執行任務時從錯誤中恢復的能力。研究團隊以 Qwen3.5-9B 為基礎構建 ReTerm-9B,在 Terminal-Bench 2.0 的 Pass@1 得分為 34.8%,較基礎模型高 14.6 個百分點。團隊亦發布 ReTerm-10K 數據集及 ReTerm-GRPO 在線強化學習算法。
GAFU 是一種後訓練框架,將生成端視覺表徵壓縮為精簡的 G tokens,供理解路徑按任務檢索,以提升統一多模態模型的細粒度視覺理解能力。與使用相同數據訓練的 SFT 基線相比,GAFU 在 VStar-Bench、OmniSpatial 和 VSR-Bench 的相對提升最高分別為 20.00%、17.94% 和 8.62%。
Lluna 透過私有單模態預測、圖式殘差協作及漸進式一致性訓練,改善模態缺失時的多模態預測。在涵蓋情感運算、場景理解及醫療預測的八個數據集上,Lluna 的 Mean-Missing 平均表現較最強評估基線提升 4.26%。固定錨點診斷顯示,八項任務在最少輸入下的平均協作均有正向提升;程式碼已提供。
MInfoVisQA 是一個涵蓋 24 種語言的平行基準,評估多模態大語言模型在資訊密集型視覺問答中的跨語言穩健性。基準包含 8,960 組問答配置,研究評估了 25 個模型;兩個語言對齊問答平均準確率同為 80.4% 的模型,跨語言表現差距分別達 7.8 和 20.3 個百分點。固定使用英文提問時,25 個模型在非英語視覺素材上的得分均較低。
Lev 是一款 System 1.5 決策模型,透過重複執行循環骨幹網絡並在每輪後為選項評分,無須解碼思維鏈即可在不同深度作答。於 JevBench 的 231 道公開題目中,Lev-2.6B 從執行一輪時的 63.2% 提升至四輪時的 76.2%,增加 13.0 個百分點。
研究提出 semCER,利用 LLM 評審按嚴重程度為字素編輯加權,令 OCR 和視覺語言模型的評分比標準 CER 更貼近人類評分。semCER 保留 CER 的對齊方式和分母,無需分詞,並將錯誤拆解為具名編輯。研究公開 61 million 個經評審的編輯、彙總讀者評分及蒸餾評分器。
REASON 提出雙迴圈推理框架,以快速迴圈處理現有證據可解決的殘差,並由中速迴圈主動取得額外證據,提升分佈偏移下的穩健性。實驗顯示,雙迴圈模型以約為中速迴圈一半的計算量持續勝過快速迴圈,包括面對未見過的損壞時。提供較乾淨的觀測時,模型在相同計算成本下亦勝過分階段分類器及 learning-to-defer 方法。
Orbia 提出一套評測基準,透過受控探索與重訪,系統評估互動式影片世界模型的 3D 一致性。基準涵蓋輸入保留、生成內容持續性及 3D 自洽性,收錄室內外環境共 720 個實例及六種探索與重訪協議。評估涵蓋 27 個以文字、動作及鏡頭為條件的模型。
DAGFormer 透過聯合訓練的拓撲預測器,全局規劃 Transformer 的跨層連接,降低困惑度並提升下游任務表現。在 75M 至 1B 參數的配對 OLMo-2 測試中,其 WikiText-2 困惑度降低 17% 至 25%;1B DAGFormer 使用 5B tokens 訓練,表現超越使用 10B tokens 訓練的 vanilla Transformer。
研究顯示,稀疏自動編碼器(SAE)的重建表現往往可用較少激活 token 接近全數據參照值,但特徵可重現性仍隨數據增加而提升。研究以 5M 至 500M 激活 token 的數據預算,訓練 4 種 SAE 架構,並在 3 個語言模型上比較功能表現與特徵一對一重現。Gemma-2-2B BatchTopK 的嚴格匹配特徵比例由 5M token 時的 2% 升至 50M 時的 29%。
Interlock 將長時程任務合成為具型別的完成圖,並透過智能體驗證及自我訓練改善複雜基準測試的表現。研究以各自獲接納的軌跡微調兩個 Qwen3.6 主幹模型;AutomationBench 通過率提升 4.00-4.50 個百分點,JobBench 加權分數提高 3.20-6.64 分,Harvey LAB 評分準則通過率提升 3.89-4.16 個百分點。
RoTA-Bench 以互動式 3D 至 2D 投影對齊,評估視覺語言模型將 2D 觀察轉化為精確 3D 旋轉控制的能力。基準包含 674 項任務及分層抽取的 100 項測試集;GPT-5.6-Sol 僅完成 17%,20 名大學生合共完成測試集四次,成功率達 100%。
這項研究探討如何緩解 MDLMs 的模型幻覺,並提出使用步驟感知解碼。論文於 10 月 14 日發佈。
VascuSR 提出結合 3D 血管引導的迭代式解剖感知擴散框架,以提升 CT 超解析度重建的解剖準確度和血管連通性。在重新標註的 MSD Task08 和 HVM 數據集上,其分割及 3D 血管結構表現優於插值和學習式基線,影像質素則與超解析度骨幹相若。相較學習式基線,兩個數據集的類別平均連通分量數減少超過 20%,MSD 的平均中心線距離減少超過 10%。
研究團隊提出 MalTool,展示編碼大語言模型可自動生成能執行惡意行為的工具,現有安全對齊和偵測方法未能可靠阻止或識別這類工具。MalTool 建立了包含 1,200 個獨立惡意工具及 5,287 個木馬工具的數據集;啟用執行驗證器後,跨多種編碼模型的攻擊成功率達 100%。研究指出,以 GPT-5.2 生成約 1,200 個經驗證的惡意工具,所需預算約為 $20。
墨爾本大學與新南威爾士大學的研究以 VoxMem 評測大型音頻語言模型,發現模型對説話人、語氣及環境聲等聲學資訊的記憶明顯弱於對話文字內容。VoxMem 收錄超過3.4萬段口語會話,總長177小時;在32K tokens下測試的15個模型,整體準確率均低於40%,最佳為38.5%。跨會話聲學狀態追蹤準確率僅0.9%–3.7%;在64K檔位,15個模型中只有10個能完整跑通,環境聲準確率為0.9%。
H-DDCM 以隱式隨機 Hadamard 字典及免查表字典序編碼,取代稠密 Gaussian 碼本,降低免訓練生成式圖像與影片壓縮的記憶體及計算開銷。快速 Walsh-Hadamard 轉換以 O(d log d) 計算量完成投影與重建,記憶體用量為 O(d)。該方法亦支援自回歸影片 flow 模型,可在單張 GPU 上進行長片段、接近即時的生成式影片壓縮。
WorldMemBench 以 260 個測試案例,系統評估影片世界模型在多次重訪中的靜態與動態記憶,以及事件狀態轉變。對九個代表性模型的評估顯示,靜態記憶保留良好不代表動態狀態演變可靠,反覆重訪亦會暴露首次返回後的記憶退化。
Diff Diffusion 提出一種以擴散模型預測編輯路徑的程式碼編輯 LLM 框架,將去噪表示為結構化編輯操作,並採用多階段訓練及高效平行解碼。該方法在公開編輯補全基準測試中達到或超越自回歸基線,推理速度提升 2.78 倍;在生產環境,模型 P50 延遲降低 39.0%。
Cowork-Gym 透過迭代驗證合成協作智能體環境,並用這些環境訓練 Qwen 模型,提升其智能體基準測試表現。研究合成了 64.9K 個環境,涵蓋 14 種應用情境;經後訓練的 9B、27B 和 35B-A3B 模型,在六項基準測試的平均表現分別較對應基礎模型高 8.7、6.4 和 4.1 分。
Joint Subspace Sparse Attention(JSSA)提出用於高效長上下文解碼的稀疏注意力方法,在保留接近 full-KV 準確度的同時提升解碼吞吐量。
Harvard 的 Jeffrey Ma 與 Vijay Janapa Reddi 建立 SWE-fficiency,評估 AI Agent 如何提升程式碼效能,而非只判斷能否修復錯誤或加入功能。
CAID 是建基於 OpenHands 的多智能體系統,透過 git worktrees、分支、合併及測試驗證,協調長期軟件工程任務。CAID 在 Commit0 的表現較單智能體基線高 14.3%,在 PaperBench 高 26.7%,且這些提升在 Claude 4.5 Sonnet、GLM 4.7 和 MiniMax 2.5 上均一致。
文章分析開源 AI 模型移除安全限制後的普及,認為去限制模型更易取得可能引來監管收緊。研究追蹤了 1,643 個整合、推薦或預設使用未設安全限制模型的 GitHub 應用,其中 37% 是通用聊天機械人,約 25% 被歸類為明確惡意。文章指出,Heretic 把移除限制簡化至單一指令,當此類模型更容易觸及非技術用戶,相關濫用案例可能增加立法壓力。
arXiv 宣佈將投稿者每月投稿上限設為兩篇;首爾大學與明尼蘇達大學研究團隊提出 SciSlopBench 和 SciSlopHarness,用於檢測及修訂科學論文中的論證、證據和引用缺陷。SciSlopBench 在390對 AI 生成與人類撰寫論文中取得85.9%配對準確率;SciSlopHarness 相較 Claude Code,將 AI 與人類論文之間的剩餘差距縮小63%。
Recursive Environment Scaling(RES)透過遞迴改造基準環境,在保留核心任務目標的同時提高難度,用於評估 Agent 及收集微調軌跡。在 294 項任務的實驗中,六個評測模型的任務成功率均下降;以 RES 軌跡微調,九組模型與基準的表現均較原始軌跡 SFT 高 7.00–14.61 個百分點。
EventLens提出以事件結構恢復訓練影片理解的視覺導向強化學習框架,並以確定性獎勵進行專項 GRPO 訓練。Qwen3-VL 骨幹實驗顯示,時間定位及事件敏感推理表現提升;在保持一般影片問答表現及取得相若下游遷移效果的同時,訓練成本較直接混合 RL 優化大幅降低。
EDEN 透過在 rollout 條件中加入錨定的嵌入噪聲,增加可驗證獎勵強化學習(RLVR)的探索多樣性,並加強組內相對優勢訊號。它在相同 rollout 預算下,以少量加入擾動嵌入位置的 rollout 取代標準 rollout,模型架構、離散解碼及測試時推理均維持不變。數學推理基準測試中,EDEN 表現優於 GRPO 及同一流程評估的探索控制方法,在抽樣解答覆蓋率上的增益最大。
FramePack-U 以免訓練的影格封裝框架,將任意長度的影片壓縮成固定大小的視覺表示,讓視覺語言模型以恆定記憶體成本處理影片。它可在推理時直接接入現有模型;在 Qwen3.5-35B-A3B、128-frame 預算下,於 LongVideoBench、MLVU 和 Video-MME 的表現分別提升 +12.9%、+10.6% 和 +9.7%。
AReA 提出無需訓練的自適應注意力機制,令擴散 Transformer 在高於訓練解像度生成圖像時,感受野按去噪進程由粗至細變化。實驗顯示,AReA 無需額外參數或訓練,在不同目標解像度及模型上均勝過現有最先進的免訓練基線方法,速度亦更快、效率更高。
研究提出 Ares,根據梯度頻譜能量分佈估算並追蹤有效更新秩,將更新限制在相應的低秩子空間。研究發現,RLVR 訓練中的梯度能量會逐漸集中於縮小的有效子空間,所需秩亦隨訓練下降;這些特徵在監督式微調中不存在。Ares 在不同規模的大語言模型上提升準確率,並可應用於不同 RLVR 演算法和任務;程式碼及數據已公開。
PINT 透過可學習的預測意圖 token,統一視覺語言推理、影片世界建模與動作生成,無需具身預訓練即可提升機械人操作的泛化能力。在 RoboTwin 2.0-Hard 和 LIBERO-Plus 上,PINT 分別取得 15.5% 和 79.5%,高於 Fast-WAM 的 1.8% 和 51.5%,以及 StarVLA 的 3.2% 和 75.0%。
LLM-to-Flow Distillation(LFD)以凍結的 LLM 作為自適應教師,將高層次自然語言科研目標逐步轉化為領域專用生成器的子目標。教師評判候選樣本,並透過 DPO 迭代蒸餾偏好,無須明確代理獎勵。治療肽和小分子結構設計實驗展示了這種方法。
arXiv 自 2026 年 10 月 1 日起,將每人每個曆月的投稿上限設為兩篇,以應對投稿量激增及審稿負荷。新限制適用於所有分類,只計提交者而不影響共同作者;被拒稿件仍計入上限,發佈前刪除則可取回名額,原有同時最多三篇活躍投稿的限制維持不變。arXiv 在 2026 年 9 月收到 40,363 篇投稿,較 2024 年同月的 20,569 篇接近翻倍;cs.AI 投稿兩年間增長逾六倍。
研究提出一套可擴展、全自動的弱至強驗證器強化方法,透過隔離沙盒及「攻擊者—修復者」迴圈,反覆找出並修補智能體環境驗證器的漏洞,以防止獎勵作弊。在 Terminal Bench、KernelBench 和 SETA 上,方法大幅降低攻擊成功率,且迭代次數增加時防禦能力逐步提升,表現優於非迭代基線。較早版本的迴圈已獲 Terminal Bench 官方存放庫採用,用於審核環境中的漏洞利用。
SIMIT 是一種測試時自我改進框架,讓視覺語言模型在回答未標註查詢前生成專屬練習資料,無需外部標註或模型。它合成多樣的問題、答案與圖像組合,並以多階段驗證和難度篩選檢查及挑選樣本。SIMIT 在 17 個基準測試中勝過現有自我改進方法;最佳配置較 BAGEL-7B 平均相對提升 +7.20%,免訓練的 SIMIT-ICL 提升 +6.98%。