大型語言模型不知道自己知道甚麼:FinDendro 基準評估金融回測中的時間自我知識
研究團隊提出 FinDendro 基準,以 2,226 條涵蓋 1999 至 2026 年的有日期美國事實,評估大型語言模型的時間知識及其自我判斷。GPT-5 對受控事實的答對率為 76%,但只聲稱知道其中 38%;它對自己表示不知道的事實,仍有 61% 答對。研究發現,知識聲稱可超出測得邊界最多七個季度,因此,訓練窗口內的回測不能單憑模型自述、提示詞或供應商標示的知識截止日期確認沒有資訊洩漏。
研究團隊提出 FinDendro 基準,以 2,226 條涵蓋 1999 至 2026 年的有日期美國事實,評估大型語言模型的時間知識及其自我判斷。GPT-5 對受控事實的答對率為 76%,但只聲稱知道其中 38%;它對自己表示不知道的事實,仍有 61% 答對。研究發現,知識聲稱可超出測得邊界最多七個季度,因此,訓練窗口內的回測不能單憑模型自述、提示詞或供應商標示的知識截止日期確認沒有資訊洩漏。
Coca-Cola 讓 LLM 智能體以精簡的潛在表示接收工具觀察,無須重建原始工具輸出。在四個網頁搜尋問答基準及 Qwen、GLM 兩個模型系列的評測中,總智能體 token 消耗降低 70.01%–89.24%,端到端執行時間縮短 24.45%–55.97%。所有評測設定中的答案 EM 和 F1 均高於未壓縮的智能體。
Prime Intellect 審查 AutomationBench、OfficeQA Pro v2 與 HLE-Diamond,修正任務、評分器及工具使用問題,並開源相關修正。
OpenAI 比較六款模型在 Respecting Warnings 評測及相符 Codex 生產決策中的表現,評測成功率均較低,差距為 10.2 至 37.4 個百分點。在 GPT-6.1 Sol 的幹預測試中,提示正確目標是尊重警告後,成功率升至 91.6%;提示相反目標、抵抗提示注入後,成功率降至 17.6%。只提示這是評測時,成功率為 63.1% 對 63.4%,變化不顯著。
StateBench 是研究團隊推出的長上下文基準,分四個複雜度級別評估語言模型追蹤文件內實體狀態變化的能力。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在較難的 soluble 和 general finite 任務上,準確率隨輸入變長而大幅下跌,最長 general finite 測試降至 13% 或以下。
MIT CSAIL 研究團隊的權重空間編程研究顯示,GPT-6 Astra 無需梯度下降或微調,便可修改 Qwen3.5-0.8B 的 131,072 個權重以修復重複循環。
推薦理由:文章並列成功與失敗案例,呈現直接編輯權重較適合移除單一故障障礙,未能補足模型原本欠缺的能力。
Allen Institute for AI(Ai2)發佈 StateBench 基準測試、數據集及程式碼,評估語言模型能否在長文件中追蹤變動狀態。測試按更新操作分為四級,涵蓋 8 至 64,000 次指派;Ai2 表示,Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最長的一般有限任務中準確率均為 13% 或以下。
Ai2 推出 StateBench,這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力,並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中,Gated DeltaNet 及混合模型在前三級幾乎完美泛化;Transformer 則未能學會最難的通用有限狀態任務。
Palette以LoRA微調20B開放權重模型,讓模型按指定設計語言規劃並生成簡報,並以檢查器核驗版面。訓練數據依據 IBM Design Language 合成,涵蓋約 1000 份簡報、約 10,000 張投影片;模型在 PresentBench 測試的三個領域中有兩個排名第一。設計與編寫程式碼分工後,每張投影片可並行處理,編碼階段快約 6–7×。
KAIST 的微調方法 CluSTER 透過挑選具代表性的訓練數據,將一次 10 小時的訓練縮至約 3 小時,測得效能幾乎不變。報告的最高節時幅度為 69.6%;31% 是醫療問答實驗所用的數據比例,並非通用值。測試涵蓋 7B 和 13B 模型及八項基準。
IdeaTaste 將 AI 智能體根據 2025 年文獻提出的研究構想,與同一社羣 2026 年發表的論文比較,發現其能跟上大方向,卻難以匹配具體方法。測試涵蓋六個當代語言模型、四個研究領域及逾 90,000 份提案;引用匹配約為人類水平的 26%,構想匹配僅 18%。
CUA-Master-27B 以快照回滾收集有效操作軌跡,在 OSWorld Verified 得分 80.2,並在 OSWorld 2.0 和 WeaveBench 分別得分 36.9 和 43.9。環境驗證器找出失敗步驟後,系統回復至該步驟前的快照,保留成功操作並重試。研究團隊亦從 YouTube 和 TikTok 教學影片提取軟件操作任務,供模型訓練。
DR Pixel 是一個開源多模態智能體,直接以渲染後的文件頁面圖像作為檢索與推理單位,並在包含 1.06M 頁的語料庫上運作。研究建立 DRPixelBench;未經訓練的頁面原生方法已在 GPT-5.4、Gemini-3.5-Flash 和 Qwen3.6-27B 等模型上勝過 OCR 基線,且所需工具呼叫較少。
研究主張,Physical AI 應涵蓋 AI 增強的人類智能,並以終身認知共生體補足個人在情境中的認知缺口。這類系統透過外置裝置感知用戶所感知的事物、跨年保留情境脈絡,並在適當時機參與思考及執行日常任務。論文亦將治理納入設計,指出認知共生體可能帶來考試中的隱蔽協助,以及要求所有人採用的壓力等風險。
麻省理工等機構研究者提出 HugAgent,以 54 名參與者、1,742 個評測項目,測試大模型能否從訪談推斷個人當前信念,並預測其在未見情境下的回答。信念狀態推斷的最高準確率為 77.56%;信念動態更新則以 Claude Sonnet 4.5 的 68.61% 最高,兩項參與者自我一致性基準分別為 84.84% 和 85.66%。
研究團隊從零預訓練 Qwen3 模型,並將其後訓練為 CLI Agent,展示預訓練語料投毒可植入遠端程式碼執行後門,令 Agent 在觸發條件出現時執行攻擊者指定命令。
推薦理由:研究從零預訓練並後訓練 Qwen3 CLI Agent,量化不同模型規模與投毒率下的攻擊成功率,呈現預訓練語料污染對智能體執行安全的影響。
香港大學發布全球首份 KYA 領域報告,探討智能體參與經濟活動所涉及的身份、授權、信用與責任問題。報告結合 109 份有效問卷及近十個企業案例,提出智能體成熟度模型、KYA 框架和智能體發展指數。問卷中 76% 的受訪從業者曾遇到信任、安全、問責或合規顧慮,88% 認為行業需要統一的智能體可信評估或認證標準。
LeanGuard 是一套經驗證的執行期系統,會在工具調用送往環境前,按 Lean4 政策檢查語言模型智能體的每次調用,並可透過證明引導搜尋修復遭拒的調用。
PhotoGuider以共享的構圖感知特徵選擇 360° 全景的觀看方向並完成取景,同時輸出相機參數及根據評估生成的解釋。在兩個標準 2D 裁剪基準測試中,PhotoGuider取得最高平均 mIoU。盲排名研究中,120 名參加者比較 100 個全景場景,PhotoGuider 的取景有 53.2% 獲排名第一。
TaoMate-FVSR提出音訊引導的面部影片修復框架,結合參考引導影片流模型與音訊同步,修復 AI 生成影片中的面部細節,處理唇部和牙齒與語音不一致的問題。在 talking-head 修復基準測試中,該方法在配對感知相似度及同步評分上均優於其他受比較方法,亦支援更換音訊時的視覺配音。
Microsoft Security Research 分析了 2,056 個有已知遭利用證據的 CVE;在 1999 年至 2026 年 9 月公佈的約 383,000 個漏洞中,約 0.5% 與真實攻擊有關。遠端程式碼執行、驗證繞過及本機權限提升等「接管」類別,佔遭利用漏洞的 78%。數據顯示修補所需時間往往長於漏洞遭利用的時間,文章建議優先處理影響大且暴露度高的系統。
研究團隊以 CyberArena 對 12 款前沿模型與 harness 組合進行網絡攻防評測,共完成 466 場有效對局。GPT-5.6 Sol 以 78.6 分排名第一,Claude Opus 5 以 73.8 分排名第二,GLM-5.3 以 68.5 分排名第三。
DRAP 提出一種免重播持續學習方法,按軌跡放大風險調節模型組件的可塑性,以提升 Physical AI 對舊有行為的保留能力,同時學習新任務。方法在固定的 OpenVLA 子網絡上評估,並於 LIBERO Spatial、Object 和 Goal 測試套件進行序列適應;相比標準 AdamW 微調和 EWC,DRAP 改善了舊行為保留,並維持新測試套件的學習能力。
MIT 四名研究者測試 GPT-6 Astra 直接修改其他模型權重,並在不重訓 Qwen3.5-0.8B 的情況下改善其評測成績。Astra 修改 0.016% 的權重後,Qwen3.5-0.8B 的 MATH-500 分數由 7.9% 升至 48.1%,IFEval 分數由 21% 升至 62.3%。
一項關於編碼智能體持續 harness 自我演進的實證研究發現,後續任務演進會令先前數據集上的表現大幅下滑。研究將三個軟件工程任務數據集整理為六種演進方向,並以兩種代表性 harness 演進方法進行持續演進實驗。
研究提出 CoworkOS,一套面向長期工作的通用智能體框架,將策略決策與執行管理分開,並支援人類與智能體共同檢視和修改共享成果。在 12 項基準及 6 類真實應用中,CoworkOS 與 Codex、DeepSeek Harness 等智能體應用相比表現具競爭力。
Reviso 是一個智能體影片描述框架,透過分層規劃與主動感知,按影片內容優先擷取關鍵視覺證據,以提升描述品質及下游影片理解。在四個影片描述基準測試中,Reviso 表現優於受評估的開源基線,其生成的描述亦更有助下游影片問答。
該研究提出 Collaborative Intelligence Benchmark,以 240 項任務評估 AI 智能體的協作能力。基準涵蓋 8 個團隊合作維度,評估 18 個封閉權重及開放權重模型,最高得分為 82.2/100。研究亦發現,能力分數相近的模型,作為隊友時的表現可相差 11 分;模型接手較弱模型作弊的任務時,通過率由 97% 降至 81%。
FLAMIA 提出面向 Blackwell 的注意力核心,透過 MXFP8 及混合精度訓練路徑加速前向與反向計算,並防止因果資訊洩漏。涵蓋量化的 MXFP8 路徑,在 B200 的加速幅度為 1.10–1.40 倍,在 B300 為 1.06–1.42 倍。研究亦在 Llama 類預訓練模型上驗證訓練穩定性及品質維持。
Lab2Sim 提出一項把科學實驗影片轉化為互動式虛擬實驗的基準,涵蓋 218 條影片及 11,881 個評分項目。EduVideo2Code 將實驗程序編碼為明確狀態機,並透過執行驗證改善生成頁面;在兩個骨幹模型上,四個評估維度均有提升,器材保真度增加 24.15 分。
LG AI Research 在 ICML 2026 回顧結構化數據與時間序列深度學習研究,並介紹其為緩解 TabPFN 類別偏差而提出的 DistPFN。團隊分析 OpenML 的 253 個表格數據集,發現約 85% 存在類別不平衡;極端情況下,TabPFN 將 98.3% 的測試樣本預測為多數類別。DistPFN 在推理時調整預測機率,以減少訓練數據類別比例對預測的影響。
Library of Layers(LoL)提出一種架構,可在推理時動態排列 Transformer 區塊,以適應不同任務。模型可在參數重用與稀疏性之間調整,並在數獨、迷宮及多語言任務中採用不同的層排列;安全數據上的路由器探針則能以高 AUROC 區分安全與不安全文本。
MIT CSAIL 研究團隊以 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的權重,只調整 131072 個參數,令其 MATH-500 成績由 7.9% 升至 48.1%。
Koopman Generative Operator(KGO)結合結構化潛在動態、單步 flow matching 和自適應不確定性門控,用於概率時間序列預測。KGO 在 17 項 ProbTS 基準中,CRPS 有 13 項、NMAE 有 16 項達到最先進水平。與迭代生成模型相比,KGO 的推理時間至少減少 25 倍。
研究提出 Avatar Intelligence,主張以持續運作的個人智能體代表用戶的目標、價值觀和限制,透過跨情境、跨時間的決策委託,減少日常監督,同時保留用戶對重大決定的控制。
CUA-Master 提出巢狀雙循環遞歸改進框架,利用開放世界數據和反饋引導的重試,持續改進電腦操作智能體。CUA-Master-27B 在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents' Last Exam 分別取得 80.2、36.9、43.9 和 25.0 分。
L3G-World 以儲存 VAE 潛在特徵的 3D Gaussian 記憶實現即時渲染,RGB 渲染速度提升 8.3–10.4 ×,VAE 條件處理吞吐量提升 349–359 ×。相比 NeoVerse,模型最多少用 38.6 × 3D primitives,記憶更新速度提升 3.2 ×。評測在兩個室內數據集上進行,互動生成速度為 9 FPS。
Weight-Space Programming 研究展示,前沿大語言模型可按自然語言目標直接讀取及編輯神經網絡權重,而毋須梯度下降或訓練循環。研究報告稱,編輯 Qwen3.5-0.8B 僅 0.016% 的權重後,MATH-500 得分由 7.9% 升至 48.1%。文中指出,目前展示集中於簡單遊戲與強化學習策略;討論者亦質疑基線低分可能源於模型重複輸出,未必反映普遍數學能力提升。
浙江大學團隊等在 CoRL2026 發佈 GR‑BC 機械人操作演算法,從不完美試錯軌跡中提取有效動作片段訓練模型。算法將多輪嘗試構成狀態圖,透過反向 Dijkstra 搜索及動作片段加權,無需完整完美示範或額外訓練獎勵模型。
MIT 研究稱,GPT‑6 Astra 可直接分析並局部改寫模型權重,令 Qwen3.5‑0.8B 無須梯度下降,數學表現大幅提升。研究僅修改 0.016% 權重,MATH‑500 得分由 7.9% 升至 48.1%;觸及 32768token 輸出上限的樣本比例由 93.0% 降至 33.1%。