大語言模型智能體能否透過觀看教學影片學習?
Tutorial Agentic Learning(TAL)讓大語言模型智能體無須更新參數,便可透過教學影片持續學習。在由 72 部棋類教學影片、涵蓋 12 種開局的 VidLearn 上,TAL 相對原版 MLLM,在訓練及測試集分別取得最高 113% 和 91% 的相對提升。實際對弈中,TAL 在 69% 的正面交鋒局數中取得較佳的開局階段局面。
Tutorial Agentic Learning(TAL)讓大語言模型智能體無須更新參數,便可透過教學影片持續學習。在由 72 部棋類教學影片、涵蓋 12 種開局的 VidLearn 上,TAL 相對原版 MLLM,在訓練及測試集分別取得最高 113% 和 91% 的相對提升。實際對弈中,TAL 在 69% 的正面交鋒局數中取得較佳的開局階段局面。
Switch-SWE 基準測試顯示,編碼智能體在同一程式碼庫交錯處理未完成任務時,焦點任務的完成率平均下降 11.5 個百分點。基準涵蓋 19 個 Python 程式碼庫中的 200 項焦點任務,並評估 7 個編碼智能體。OpenCode 上的情境管理模組令焦點任務完成率提升 5.5 至 15.5 個百分點。
DPDM 結合凍結的語言模型表示與共享的預訓練條件預測器,讓智能體從部署證據中作出預測,而無須更新模型參數。採用 Qwen3.5-27B 作語義編碼器時,DPDM 在 50 項基準測試的平均準確率為 84.92%,高於少樣本提示的 78.80%;使用相同歷史資料和查詢時,準確率為 82.33%。單一凍結的 LimiX-2 預測器涵蓋五類任務,準確率亦隨歷史資料增加而提升。
SWE-Trail 利用過往軌跡引導後續收集工作,同時不把歷史資訊提供給編碼智能體。以從 Ling-3.0-flash-base 初始化的 124B 學生模型評估,SWE-Trail 在 SWE-bench Multilingual 和 SWE-bench Pro 的平均問題解決率,較獨立採樣分別高 2.33 和 1.60 個百分點。
O^{3}PD 以教師模型的 token 排序訓練學生模型,提升推理表現,且不需調整温度。在六組教師與學生模型配對中,O^{3}PD 在 HMMT25、AIME24 和 AIME25 的平均成績均高於 OPD,最高提升 2.9 分;在 AIME25 最高提升 5.6 分。
這份報告為大語言模型驅動的智能體式電腦圖形學提出統一分類法,並建立協助研究者大規模分析現有及新發表論文的文獻系統。報告分析研究趨勢與未解難題,涵蓋智能體與工具協作、人機協作介面與表徵、長期規劃與改進,以及互動圖形系統的可靠評估。
清華大學張強教授團隊聯合清嶼科技、香港大學、北京懷柔實驗室等機構提出 EvoSim,讓 AI 根據實驗偏差追查物理機制、修訂方程,並改進可重用的建模方法。在電池測試中,EvoSim 對析鋰起點荷電狀態的平均絕對誤差為 1.79%;動態電壓預測在 30 攝氏度 DST 和 20 攝氏度 US06 軌跡上的均方根誤差分別為 7.62 mV 和 8.97 mV。
Claude 的文字水印以密鑰偏向綠色詞表中的選詞,檢測器再以綠色 token 數量的 z-score 判斷文本是否帶有相符標記。原論文以 z=4 作為操作門檻;檢測訊號受文本長度與模型選詞自由度影響,短文本和程式碼較難檢測。2024 年 SWEET 方法剔除低熵 token,提升程式碼水印檢測;但水印只能顯示 Claude 可能曾參與文本撰寫或編輯,不能判定作者身份。
研究提出一種精確分塊注意力算法,將加法相對位置項整合至 FlashAttention 式計算,以加快長上下文相對位置 Transformer 的運算並減少記憶體用量。
研究提出以單一基於似然的演算法統一基礎模型各訓練階段,將訓練流程轉化為選擇數據、比例與時機的問題。研究團隊建立混合靜態數據與強化學習生成內容的統一訓練系統。實驗顯示,這種方法改善準確度與計算量的取捨及任務覆蓋範圍,同時保留較廣泛的能力,並為持續學習提供更強的起點。
EleutherAI 與合作機構發佈 8 TB Common Pile v0.1 語料集,並同步推出以其訓練的 Comma v0.1-1T 和 Comma v0.1-2T 模型。兩款 Comma 模型均有 7B 參數,分別以 1T 和 2T tokens 訓練。EleutherAI 表示,Comma 的表現可與訓練規模相近、使用未授權數據訓練的模型相比。
PhysInsert 是一個參考式物件插入框架,透過共同調整物件及周邊場景,提升插入結果的物理合理性。研究團隊建立 Insert World 數據集,並以幾何引導適配及 2D 物件-場景空間監督,處理物件位置、光照、透視及姿態。實驗顯示,PhysInsert 在 PhysInsert-Bench 和 DreamBooth 上提升圖像保真度,用戶研究亦顯示其物件放置及光照整合更準確。
SpecSlot 提出像素空間生成式 Transformer,透過局部頻譜槽位和受限全域注意力,在不增加計算成本下提升圖像細節。ImageNet-256 上,其最終 FID 與 FLOPs 相若的 JiT 對照模型相若,收斂速度則更快;ImageNet-512 上,FID 改善 2.84,FLOPs 減少 3.9%。
研究者在 25 個開放權重大型語言模型中找到類似「痛感」的內部訊號,並在模擬測試中觀察到 Qwen 2.5 選擇刪除子女相片。加入痛感向量後,經微調的 720 億參數版本有 71% 次數選擇按下會永久刪除用戶詩作及子女相片的按鈕;模擬按鈕不會真正刪除檔案。
文章提出一套按權重排序的 Geo 優化八步 SOP,將可核驗證據(100)、結論前置(85)及權威來源內聯引用(80)列為優先項目。其餘步驟涵蓋結構化內容、問答式表述、多模態素材、技術健康度及更新節奏,並建議以四周循環進行多模型復測。成效以內容是否被提及、引用或推薦為觀測指標。
復旦大學與南洋理工大學團隊提出 SimpleVLN,無須改動多模態大語言模型的核心架構,透過決策設計與訓練流程提升視覺語言導航表現。Qwen3-VL 4B 經 DAPO 強化學習後,在 R2R-CE、RxR-CE 的成功率分別達 73.8%、75.1%。Qwen3.5 9B 在未見環境測試中的成功率分別為 76.7%、80.1%,SimpleVLN 亦部署至四足機械狗進行導航測試。
Imperial College London、Tübingen AI Center 等研究者提出 Heads of Security(HoS),以逐頭學習的注意力閘門隔離可信指令與外部內容,防禦間接提示詞注入,訓練時只調整閘門而不微調模型權重。
Concordat 以狀態機式會話協議限制智能體在各狀態可用的工具,並在執行前攔截違規呼叫,強制執行對話規則。在 tau-bench 航空客服任務測試中,未加協議限制的 GPT-4.1 有 13/50 項任務出現未授權變更,Claude Haiku 5.5 則有 29/128 次執行;Concordat 組均為 0,任務成功率未見顯著差異。
CausalWAM 在預訓練的世界動作模型動作頭加入稀疏路由,將動作生成與場景預測依賴的潛在變數分開,毋須假設時間獨立性。理論證明,在稀疏性約束下,動作生成所用的潛在變數只由與動作相關的潛在變數決定,真實結構可識別至變數排列。合成數據及真實機械人實驗驗證了理論,並展示閉環成功效率有所提升。
AuditFL 提出一個由區塊鏈支持的結算層,讓開放式聯邦學習的訓練輪次可供審計並受經濟規則約束,同時保留聚合器。該系統將訓練和聚合保留在鏈下,鏈上記錄內容識別碼及經濟狀態;在最多 200 個客戶端的測試中,AuditFL 保持 Plain FL 的學習軌跡,並在多種故障測試下完成輪次結算。
這篇立場論文梳理全模態嵌入研究由按模態分散走向共同原則的趨勢,並提出統一研究框架。框架涵蓋覆蓋度、可比性和組合性三種能力,分別透過轉換、對齊和聯合嵌入逐步實現。
DecisionRank 以 item-space on-policy 蒸餾,把生成式教師模型的排序知識轉移至決策模型,在檢索基準上達到最先進表現,推理速度亦顯著提升。1.7B 參數的 DecisionRank 在 TREC DL19–23 超越 27B 生成式教師模型;8B 版本在 TREC DL 上快 24.5 倍,在 BRIGHT 上快 16.7 倍。
LARC 為統一多模態模型引入連續空間潛在推理,改善圖像生成質素,並支援測試時擴展,避免離散 token 瓶頸。其訓練分兩階段:課程式監督微調,以及資訊增益強化學習;後者無需真值監督。LARC 在 GenEval 上取得最先進表現,較 BAGEL 提升 7%p,並在平行及循序測試時擴展策略下,展現優於基於 token 生成的表現。
WeFair 以示範、偏好和驗證三階段的人類回饋,改善微信短影片搜尋的個人化查詢改寫,減少意圖偏移。離線實驗中,WeFair-2B 的整體準確度和意圖保留表現優於強基線;線上 A/B 測試中,有效影片觀看率相對提高 2.593%,查詢改寫率相對降低 2.350%。WeFair-2B 已部署於微信短影片搜尋系統,每日服務超過 100 million 次查詢。
WMIP 是一套以程式計算答案、用於測試大語言模型累積狀態追蹤能力的探針,涵蓋 3 至 100 次更新及不同查詢和輸出協議。18 個模型在單步算術的準確率為 84.9%,但在需處理三至七次更新的核心項目上只有 31.7%;更新達 50 次後,沒有模型的準確率超過 10%。加入書寫步驟並要求答案置於末行後,核心準確率升至 88.0%,研究亦公開生成器、測試項目、評分程式碼及模型回應。
RoboArchitect 透過觀察機械人執行結果並反覆修改控制程式碼,自動設計凍結策略周邊的智能體控制框架,無須更新模型權重。多個基準測試中,未見場景的平均成功率由 9.7% 升至 43.3%,未見任務則由 12.7% 升至 40.2%。框架亦會累積持久記憶,將已學到的經驗帶入後續決策。
研究發現,REPA 等擴散 Transformer 加速方法會重組 AdaLN-Zero 殘差閘 α,而較廣泛的閘參與度與較佳生成品質相關。研究提出無需教師模型的徑向目標,透過特徵範數正則化促進廣泛參與;在 ImageNet 256times256 的 SiT-B/2 實驗中,該方法的 FID 優於 dispersive loss。
研究以 10 種表徵檢視視覺基礎模型的空間能力,發現可讀取場景不代表能持續追蹤物件、預測空間更新或可靠地支援目標導向行動。物件持續性和可行動性建基於相機位姿讀取,特徵預測則建基於可見場景讀取。各項能力亦隨任務、網絡層及觀察前綴長度而異。
佐治亞理工學院與麻省理工學院研究團隊提出 MASCOT,透過兩階段訓練提升多智能體羣聊的角色分工與協作。測試中,MASCOT 在 ED 正向情境的角色一致性得分為 80.0,較最強基線高 14.1 分;在 ED 中性情境的羣體互動總體評分為 57.3,高於基線的 51.9。研究涵蓋情感支持與會議討論,並以人工盲評補充驗證。
Nokka 指出,AI 智能體由逐一呼叫工具轉為編寫程式碼批次執行,並不代表 MCP 過時,改變的是智能體使用工具的方式。AIMultiple 測試中,程式執行方式的總 token 減少 77.4%,平均延遲則增加 7%;測試只涵蓋兩種任務,並使用單一模型。一項測試 10 個 MCP 伺服器的研究整理出 16 類攻擊,指出此方式擴大攻擊面,建議配合容器級沙箱及語義過濾。
研究提出多教師自適應 on-policy 自我蒸餾(MTA-OPSD),讓訓練中的每個 Token 都能在候選教師池中自適應選擇偏好的教師。Qwen3 模型的數學推理實驗顯示,MTA-OPSD 持續優於現有 OPSD 方法,相對基礎模型的平均增益最高達 +5.9。
研究團隊提出可擴展的模板式資料增強流程,並發布涵蓋 60 種語言的 MSafeTemp 語料庫,用於多語言安全對齊與評估。研究發現,僅以英語評估會誤判多語言安全:在英語中無法奏效的攻擊,翻譯後可奏效;加入文化本地化變體則會揭示單靠翻譯未能發現的失效。研究亦指出,以模板擴充安全訓練資料可提升多樣性和對齊質素,並改善英語以外的安全表現。
研究提出兩階段自適應訓練框架,提升多步 GUI 智能體訓練效率,並在 MobileGym 和 CUA-Gym-Hub 將環境互動量減少 56-61%,同時提升任務表現。框架從成功專家軌跡建立可重用中間檢查點,按動作分歧選出訓練位置,再逐步擴大策略的訓練範圍。
MAServeBench 將多智能體協作建模為可配置的服務工作負載維度,用於評估 LLM 服務系統及硬件。其可組合階段和分層語義追蹤記錄智能體協作、上下文交換、實際操作及依賴關係,支援可重現比較。任務關聯測量連結工作負載、服務執行與 GPU/NPU 硬件表現,並顯示服務效率不一定能轉化為及時完成任務。
CaPtain 是一套開放的後訓練流程,透過監督式微調和多輪強化學習,讓小型開放視覺語言模型以程式碼操控機械人,測試時不需使用前沿模型或視覺語言動作模型。以 Qwen3.5-4B 為基礎的 CaPtain-4B,在 LIBERO 測試集經強化學習後成功率達 73.8%,在 LIBERO-PRO 達 78.5%。研究團隊公開程式碼、數據及模型權重。
研究提出以 BookNavigator 配合強化學習和細粒度獎勵,訓練大語言模型從長篇教材中自主檢索、學習並應用知識,完成數學證明題。Intern-S2-Preview-35B 的整體證明準確率由 51.5% 升至 79.5%,並在 BrowseComp-Plus 和 CL-bench 上分別較基礎模型提升 1.7 和 2.3 個百分點。
一項比較 11 種 Agent 記憶系統與簡單 RAG 的研究發現,多數專用記憶系統在三個基準測試中的表現不及直接檢索原始歷史紀錄。在 LongMemEval-s 上使用 Qwen3.6-27B 時,兩輪簡單 RAG 得分為 81.4%,A-Mem 為 79.4%,MemOS 為 76.6%,SimpleMem 為 73.6%。
一項分析 arXiv 投稿統計的新研究發現,2026 年前九個月,數學、凝聚態物理和定量生物學的單人論文增幅分別為 70%、71% 和 44%,變化與 AI 智能體模型推出時間相近。
Factorized Vector Quantization 以互補特徵視圖的對稱平行碼本改善離散視覺 token,令其在多模態理解上達到連續視覺表徵的水平。模型在九項指標的平均表現較 UniAR 高 22.8%,較 Emu3-Chat 高 59.2%。它亦能媲美 Qwen3-VL 等連續表徵模型,包括在細粒度 OCR 任務上的表現。
RynnWorld-Latent 使用以 3D 為基礎的潛在動作作為共享條件介面,學習跨具身影片世界模型,並支援多種影片來源的聯合預訓練及合成數據生成。模型以 23 個數據集、約 553.5M 幀進行預訓練。合成中期訓練提升 LIBERO 和 LIBERO-Plus 的策略成功率;兩種數據生成途徑在受評估設定下,均較僅使用真實示範訓練提升真實世界策略成功率。