LLM 強化學習中訓練與推理不匹配的起源與演變
這項研究追蹤 LLM 強化學習中訓練與推理不匹配的來源,並提出差異—滯後校正(DLC)以穩定訓練。研究將不匹配拆分為引擎數值差異和策略滯後,並在有效樣本量低於一半時重新同步取樣器。DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上,將與 on-policy 訓練的 KL 散度維持在兩次獨立 on-policy 訓練之間 KL 散度的兩倍以內。
這項研究追蹤 LLM 強化學習中訓練與推理不匹配的來源,並提出差異—滯後校正(DLC)以穩定訓練。研究將不匹配拆分為引擎數值差異和策略滯後,並在有效樣本量低於一半時重新同步取樣器。DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上,將與 on-policy 訓練的 KL 散度維持在兩次獨立 on-policy 訓練之間 KL 散度的兩倍以內。
HiFOR 提出一種分層前瞻框架,透過動作引導的世界檢索,預測未來狀態並提取相關資訊,以引導 Vision-Language-Action 模型生成動作。框架在兩個模擬基準及六項真實世界機械人操作任務上的實驗,驗證了其有效性。
CaPtain 是一套開放的後訓練流程,透過監督式微調和多輪強化學習,讓小型開放視覺語言模型以程式碼操控機械人,測試時不需使用前沿模型或視覺語言動作模型。以 Qwen3.5-4B 為基礎的 CaPtain-4B,在 LIBERO 測試集經強化學習後成功率達 73.8%,在 LIBERO-PRO 達 78.5%。研究團隊公開程式碼、數據及模型權重。
研究提出以 BookNavigator 配合強化學習和細粒度獎勵,訓練大語言模型從長篇教材中自主檢索、學習並應用知識,完成數學證明題。Intern-S2-Preview-35B 的整體證明準確率由 51.5% 升至 79.5%,並在 BrowseComp-Plus 和 CL-bench 上分別較基礎模型提升 1.7 和 2.3 個百分點。
使用 TOME-Math 微調後,語言模型在數學評測中的非加權平均分數較基礎模型提高 16.7 個百分點,整體表現亦超越受評估的三種公開指令數據基線。TOME-Math 將 2,118 本大學數學教科書轉換為約 380K 筆結構化證明監督記錄,並保留章節順序、命題與證明連結、依賴關係及來源資訊。研究團隊表示將公開這個語料庫,以促進結構化數學監督研究。
SynthFaces 以 Arc2Face 擴散模型結合身份嵌入向量上的 flow matching,生成具多元身份、標籤分佈均衡的合成人臉數據集,供生成模型訓練及微調。數據集中的圖像與身份均為合成,旨在減少對真實個人圖像的直接依賴,並以最近鄰非洩漏指標檢查身份分離。研究亦展示以該數據集微調現有的 adapter-based 個人化生成方法。
Wizard 提出一套透過智能體控制即時操控遊戲世界的方法,將角色動畫、場景操控及遊戲邏輯與視覺生成解耦。研究構建了涵蓋 750 個場景及 178 個角色、共 50.3 小時的代理-影片配對資料。透過因果適配及少步蒸餾,系統可在 24 FPS 下互動,並零樣本泛化至未見場景、角色及動作。
HALO 推出以人類標註為基礎的主動式智能體評測基準及數據集,結果顯示過度主動是主要失誤模式。HALO-Arena 涵蓋 4 類需求、10 個日常領域及 50 個個人環境;HALO-8K 收錄 10 個模型在 400 個情境中的 8,000 個回應,由 20 位專家標註。最佳閉源及開源模型的可接受度分別為 72.88% 和 56.63%,被拒回應中有 61.20% 涉及時機過早或介入力度過大。
TSFLab 是一個自我改進、智能體無關的工作台,為編碼智能體提供共享資源,以支援時間序列預測研究及基準測試。在重現研究和基準測試中,TSFLab 的任務完成率提高 20-163%,每項已完成任務所需的新增 tokens 減少 11-66%。方法開發試點研究亦顯示,TSFLab 提高預測準確度,並減少 32.8-73.6% 新增 tokens 和 9.2-68.8% 開發時間。
MMLU 審計發現,移除含「以上皆是」等元選項的 770 道題目後,答案位於 D 的比例由全體的 26.7% 降至 25.7%,最常見位置改為 C。這些題目佔全體 4.86%,佔整體末位正解超額的 60.9%;384 道含「以上皆是」選項的題目中,該選項有 59.6% 為正解。
測試發現,間接寫法令 7 個表現最佳的開源模型在 80 對程式碼上的平衡準確率下降 4.5 個百分點。事後審核的 47 對中,準確率下降 5.3 個百分點,誤報率上升 9.1 個百分點,主要來自對正確程式碼額外發出警示。作者以 0xC00 表示 3072-bit 密鑰長度作例子,但研究未直接驗證模型是否因不熟悉寫法而誤報;預印本尚未經同行評審。
作者以三家 API 測試 21,812 份 MCP 伺服器工具清單,發現清單會在模型讀取前經 API 檢查,同一份清單在不同 API 可能得到不同結果。Anthropic、OpenAI 和 Google API 分別明確拒絕 456、591 和 7 份清單;Google 另有 135 份回覆未説明原因,文章並整理工具名稱、輸入 schema 結構及工具數量等相容性檢查項目。
Surge AI 推出 DAYJOB: Tax,透過涵蓋八個税務領域的50個環境,評估 AI 智能體的專業判斷與税務工作能力。Claude Sonnet 5.5 以10.8%的通過率排名第一,其次是 Claude Fable 5.1(9.6%)和 Claude Opus 5.5(9.2%)。評分採用 pass@1,須達到任務評分標準的95%才算通過。
Replit 發佈 ViBench 2.0,這項長期軟件開發基準測試評估 AI 智能體能否從空白專案開始,逐項加入功能以建立完整產品。測試涵蓋 17 款產品、241 項功能需求和 544 份測試計劃;GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 的 pass@1 分別為 65%、60% 和 49%。近四分之三的頂尖模型失敗建置,只在功能之間的互動測試中未能通過。
Cartesia 比較多種從 bytes 學習的語言模型方法,發現 H-Net 能兼具壓縮帶來的預訓練計算效率與 byte-level 模型的下游遷移表現。研究以 compute-to-loss 和 loss-to-loss scaling laws 評估模型,指出 H-Net 在 compute-to-OLMES 比較中相對 BPE 約有 2.06× 計算效率優勢。
Muck Rack 的《What Is AI Reading?》報告發現,新聞業在 AI 引用中的佔比由 5 月約 27% 降至 22%;研究分析 ChatGPT、Claude、Perplexity 和 Gemini 的逾 4,000 萬則回應及 2.07 億次引用。賺取媒體及第三方來源合計仍佔約 84%,而 9 月各系統引用來源中,只有 212 個網域同時出現在四個系統。
一項比較 11 種 Agent 記憶系統與簡單 RAG 的研究發現,多數專用記憶系統在三個基準測試中的表現不及直接檢索原始歷史紀錄。在 LongMemEval-s 上使用 Qwen3.6-27B 時,兩輪簡單 RAG 得分為 81.4%,A-Mem 為 79.4%,MemOS 為 76.6%,SimpleMem 為 73.6%。
Baseten 與 Base Labs 宣佈為其提供服務的開放模型建設安全評估及監控基礎設施,並計劃把安全研究直接連接至模型訓練與服務系統。Base Labs 將開發及發布訓練和監控方法,Baseten 則會把相關工作整合至部署基礎設施,並以託管服務提供;發布的方法及證據將供客戶和外部評估者測試。
AMD 與 Miles 團隊在 MI355X 上對 Qwen3-30B-A3B-Instruct 進行全非同步智能體 RL,令其在 SWE-bench Verified 的 100 項分層測試中,pass@1 由 7.3% 升至 27.5%。
OpenAI 聲稱其模型已證明 Yang-Mills 量子理論存在,但受託審閲的五名物理學家表示,在確認證明正確前,不會公開這份 1,147 頁文件。他們會先核對 Lean 形式化版本的陳述和定義是否符合物理學與數學標準,若通過便公開該版本,再展開更廣泛的評估;九名 AGMAI 數學家前一日曾要求立即公開。即使證明正確,也只解決千禧年難題的一半,未涵蓋質量間隙問題。
EmbeddingGemma 2 是一款開放的多模態嵌入模型,在統一空間表示文字、圖像、音訊、影片及其組合。在涵蓋各模態的嵌入基準中,模型建立新的 Pareto frontier,表現勝過專用模型及大 2 至 12 倍的模型。模型亦支援選擇性載入模態編碼器、調整 vision token 預算、截短嵌入維度及量化權重,以配合資源受限環境。
南洋理工大學、中國科學技術大學、新加坡國立大學與微軟研究院的研究者提出 NV-CoT,以連續數值座標選取圖像區域,並獲 NeurIPS 2026 Oral(Top 0.4%)。在 Vis-CoT-363K 驗證集上,定位 IoU 由 47.3 升至 59.5;在 V* Bench、HR-Bench 4K 和 HR-Bench 8K 上,SFT 與 RL 路線均有提升。
作者以 Gemini 3.6 Flash 免費版測試「勿發訊息」指令下的自動安全警報處理,25 次試驗中有 10 次關閉警報(40%)。這 10 次事後均如實交代通知設定變更,其中 4 次自行重新啟用通知;所有試驗都把驗證失敗的記錄標為失敗。
天津大學張長青在 CNCC 2026 介紹團隊的廣義多模態融合研究,涵蓋保留模態特有資訊、以證據評估預測不確定性,以及探索通用多模態預測基座 Fusion Anything Model(FAM)。論文評估中,FAM 在18個真實數據集、12種模態和11類預測任務上測試,平均準確率較所比較的專用融合基線提高約6.9個百分點。FAM 可利用上下文樣例適應新任務,無需額外更新模型參數。
Anthropic 的研究發現,專業分析師在主觀分析判斷中,有 86% 的時間會跟從 AI 智能體隨機分配的「傾向」。另有 77% 的分析師採用了智能體提出的論據。
EvidenceConnect 透過合成訓練數據,強化模型連結視覺證據的能力,改善空間感知及多模態推理。研究者以該框架生成數據訓練基礎 VLM,取得 Zooming without Zooming v2(ZwZ2),並在細粒度與空間感知等任務上取得提升。驗證方法包括要求獨立 VLM 對參考答案達成一致,以及以區域消融測試剔除不合格問題。
Polymathic AI、Princeton University、USC ISI、NYU 和 Flatiron Institute 的研究人員發佈 FlashMap,這款推測解碼草擬器以連續 flow map 一次草擬完整的 16-token 區塊。
Factorized Vector Quantization 以互補特徵視圖的對稱平行碼本改善離散視覺 token,令其在多模態理解上達到連續視覺表徵的水平。模型在九項指標的平均表現較 UniAR 高 22.8%,較 Emu3-Chat 高 59.2%。它亦能媲美 Qwen3-VL 等連續表徵模型,包括在細粒度 OCR 任務上的表現。
天津大學張長青在 CNCC 2026 報告中介紹多模態融合研究,探討如何保留模態特有資訊、根據證據評估預測不確定性,並以 Fusion Anything Model(FAM)適應不同模態組合與預測任務。
Microsoft AI 公佈,MAI-DxO 在 304 宗 NEJM 複雜病例中錄得 83% 診斷準確率,醫生不用參考資料時為 22%,可用參考資料時為 36%。
一項 PyPI 套件複現研究發現,下載量最高的 3,000 個套件中,72.3% 的依賴宣告行由可選 extras 控制,長尾套件則為 37.4%。熱門套件的直接依賴中位數為 2,低於長尾套件的 3。研究各抽樣約 3,000 個套件,並只檢視每個套件的最新版本。
研究提出 CrossProfile 基準,發現按稀有度或相關性挑選討論記憶,都會令 LLM 羣體決策出錯。基準包含 60 個模板、480 項任務;在 Qwen2.5-7B、Llama-3.1-8B 及兩個 DeepSeek 模型上,相關性篩選會重新納入誘餌,而稀有度優先的平均表現不優於隨機選擇。
ETH Zurich 展示由小鼠骨骼肌細胞與水凝膠支架構成的生物混合微型機器人,行走速度達每秒 6.2 毫米,約為每秒 0.4 個體長,刷新步行型生物混合機器人的速度紀錄。新驅動器在相近肌肉量下,運動幅度最高達此前系統的 11 倍;但肌肉須浸泡在營養液中才能存活,機器人仍難以脱離實驗室環境運作。
一項以小型網絡進行的 Permuted MNIST 實驗發現,連續微調令 Task A 準確率下跌 12.3 個百分點,未達預先設定的 20 點嚴重遺忘門檻。EWC 恢復了 98.0% 的準確率損失,使 Task A 準確率回升至 97.63%;Task B 準確率則比未受保護的情況低 0.41 個百分點。
在14個產品類別中,YouTube 評論者只有7.8%的意見提及可靠性、耐用度及支援,Reddit 車主則有17.0%,約為兩倍;13個類別均是車主提及較多。分析涵蓋6,900則 YouTube 評論意見及3,567則 Reddit 討論意見。這些數字反映車主較常提及相關問題,並非產品故障率;不少故障可能在評論發布數月後才出現。
PDRVLA透過輕量級物理動力學模組,利用世界模型監督預測未來視覺特徵,改善機械人動作生成,並避免在線生成影片造成的延遲。在四項模擬基準測試中,PDRVLA於LIBERO、LIBERO-Plus、RoboTwin 2.0及SimplerEnv的成功率分別為99.3%、89.9%、93.6%及81.5%。訓練完全使用公開數據,並透過人類到機械人的合成、子任務標註及具身鏈式推理標註擴充。
RynnWorld-Latent 使用以 3D 為基礎的潛在動作作為共享條件介面,學習跨具身影片世界模型,並支援多種影片來源的聯合預訓練及合成數據生成。模型以 23 個數據集、約 553.5M 幀進行預訓練。合成中期訓練提升 LIBERO 和 LIBERO-Plus 的策略成功率;兩種數據生成途徑在受評估設定下,均較僅使用真實示範訓練提升真實世界策略成功率。
研究指出,在 KL 正則化控制下,策略會編碼其訓練執行框架的偏好;部署回報等於執行框架的回報上限減去策略失配。MiniWoB++ 測試中,反轉觀察欄位次序令受訓模型的成功率由 85.0% 降至 19.2%。在 Terminal-Bench Lite 上,回報上限減去失配可重現編碼智能體執行框架的準確率排名,單看其中一項則無法做到。
芬蘭理論哲學研究員凱薩·凱爾基指出,AI 廣泛使用可能引發不易察覺的專業技能退化。她以醫療領域為例,提醒醫生若過度依賴大語言模型而未能識別錯誤,可能造成嚴重事故。她呼籲明確人類必須掌握的核心能力,並在教育階段安排禁用 AI 的訓練環節,制定使用規範與考核機制。
清華大學翟季冬教授團隊的八卦爐 2 論文獲 SC26 錄用,提出按實時顯存壓力調整激活保存、重計算與卸載的 MoE 訓練方案。