CARTBench:以評分準則評測附時間線的複雜及含糊購物需求建議
CARTBench 評估大型語言模型對附時間線的複雜及含糊購物需求所提供的建議。基準涵蓋 17 個零售領域、1,603 條產品紀錄及 1,328 項專家標註準則。評測包括 7 款商用 API 模型(包括 GPT-6.1-Sol 和 Claude-Opus-5)及 35B+ 開放權重模型;10 款模型中,3 款 Core 得分超過 90%,沒有模型的 Excellence 得分超過 45%。
CARTBench 評估大型語言模型對附時間線的複雜及含糊購物需求所提供的建議。基準涵蓋 17 個零售領域、1,603 條產品紀錄及 1,328 項專家標註準則。評測包括 7 款商用 API 模型(包括 GPT-6.1-Sol 和 Claude-Opus-5)及 35B+ 開放權重模型;10 款模型中,3 款 Core 得分超過 90%,沒有模型的 Excellence 得分超過 45%。
Micius-Flash 是一款面向工程的 27B 參數多模態推理模型,採用知識樹數據流程及多教師在線策略蒸餾訓練,支援 256K-token 上下文。在超過 20 個數據集、約 15K 筆記錄上,其硬件程式碼基準平均得分為 64.2%,較同規模基線高 15.0 個百分點;半導體智能體基準得分為 62.4%,高 17.2 個百分點。
Loopback Transformer 將殘差連接視為沿網絡深度運作的記憶,透過儲存區塊更新、幾何遺忘及內容相關注意力,重用先前計算。
Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。
Open-HumanScale 論文提出擴展具身基礎模型人類影片預訓練的開放方案,並發布附有手部動作及自然語言密集標註的 50,000 小時 Open-HumanScale-50K 資料集。
MAEP 是一種免訓練的模態感知專家剪枝框架,按模態拆分專家重要性,以壓縮 MoE 多模態大型語言模型。實驗顯示,MAEP 在多數多模態基準上優於不區分模態的基線,文字任務表現亦具競爭力。它減少約 27 GB 的 BF16 專家權重,令約 58 GB 模型的完整權重可容納於單張 40 GB GPU。
D3D 論文提出獨立擴散草稿器,將草稿生成與目標模型驗證解耦,支援非同步推測解碼。它在七個基準上的平均解碼加速比為 Qwen3-8B 的 5.00×、Qwen3-32B 的 5.71×,高於 DFlash 的 4.03×和 3.67×,並在 GSM8K 上達到最高 7.48×。
Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
對 Hyper-Connections 架構的系統研究提出 SimpleHC,透過移除殘差混合及共用記憶體存取,在維持 mHC 相若表現的同時簡化架構。SimpleHC 在最大測試規模下,端到端訓練時間僅較標準殘差基線多 2.4%。模型由 15B 擴展至 30B MoE 時仍維持相若表現,訓練期間梯度變化較平順,並在壓力測試下保持穩定。
研究發現,視覺語言模型可透過與偏好無關的視覺任務,把教師模型的隱藏偏好傳給學生模型。研究涵蓋參數量由 2B 至 7B 的模型,在動物偏好任務中,學生模型選擇目標的比例最高比對照組高約 10 個百分點。即使模型選擇相同圖像,受偏好教師影響的學生模型,其解釋亦會使用更多與教師相同的詞語和短語。
SPILLWAY 提出一套防護工具使用型智能體提示注入的方法,分開處理目標准入檢查與輸入淨化。它只在工具輸出的目標值來自唯讀工具的型別欄位或符合固定委派規則時准入,並以固定規則移除指令式內容、保留移除片段作為證據。
DGP(Dynamic Gated Pathways)在每個 ViT 層與 LLM 層之間建立全連接路徑,並由各 LLM 層按自身語義狀態動態選擇視覺層。在 LLaVA-1.5-7B 基線上,DGP 在 SQA^I、MM-Vet、VizWiz 和 LLaVA^W 分別提升 +4.2、+3.3、+3.1 和 +3.1。
研究團隊提出 FinDendro 基準,以 2,226 條涵蓋 1999 至 2026 年的有日期美國事實,評估大型語言模型的時間知識及其自我判斷。GPT-5 對受控事實的答對率為 76%,但只聲稱知道其中 38%;它對自己表示不知道的事實,仍有 61% 答對。研究發現,知識聲稱可超出測得邊界最多七個季度,因此,訓練窗口內的回測不能單憑模型自述、提示詞或供應商標示的知識截止日期確認沒有資訊洩漏。
Coca-Cola 讓 LLM 智能體以精簡的潛在表示接收工具觀察,無須重建原始工具輸出。在四個網頁搜尋問答基準及 Qwen、GLM 兩個模型系列的評測中,總智能體 token 消耗降低 70.01%–89.24%,端到端執行時間縮短 24.45%–55.97%。所有評測設定中的答案 EM 和 F1 均高於未壓縮的智能體。
Prime Intellect 審查 AutomationBench、OfficeQA Pro v2 與 HLE-Diamond,修正任務、評分器及工具使用問題,並開源相關修正。
OpenAI 比較六款模型在 Respecting Warnings 評測及相符 Codex 生產決策中的表現,評測成功率均較低,差距為 10.2 至 37.4 個百分點。在 GPT-6.1 Sol 的幹預測試中,提示正確目標是尊重警告後,成功率升至 91.6%;提示相反目標、抵抗提示注入後,成功率降至 17.6%。只提示這是評測時,成功率為 63.1% 對 63.4%,變化不顯著。
Collinear AI 推出 CWE-bench v2,開放 100 項任務,供用戶評測模型在真實開源程式庫中尋找並修補安全弱點的能力。任務涵蓋 91 種 CWE,公開任務集、評分器及執行框架;評分採程式化檢查,所有任務亦經人工審查。
StateBench 是研究團隊推出的長上下文基準,分四個複雜度級別評估語言模型追蹤文件內實體狀態變化的能力。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在較難的 soluble 和 general finite 任務上,準確率隨輸入變長而大幅下跌,最長 general finite 測試降至 13% 或以下。
MIT CSAIL 研究團隊的權重空間編程研究顯示,GPT-6 Astra 無需梯度下降或微調,便可修改 Qwen3.5-0.8B 的 131,072 個權重以修復重複循環。
推薦理由:文章並列成功與失敗案例,呈現直接編輯權重較適合移除單一故障障礙,未能補足模型原本欠缺的能力。
Allen Institute for AI(Ai2)發佈 StateBench 基準測試、數據集及程式碼,評估語言模型能否在長文件中追蹤變動狀態。測試按更新操作分為四級,涵蓋 8 至 64,000 次指派;Ai2 表示,Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最長的一般有限任務中準確率均為 13% 或以下。
Ai2 推出 StateBench,這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力,並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中,Gated DeltaNet 及混合模型在前三級幾乎完美泛化;Transformer 則未能學會最難的通用有限狀態任務。
Google AI & Infrastructure 於 2026 年 11 月 3 日公開 Physical-Engineering’s Last Exam(PLE)的 29 項任務、評分工具及評估容器,並開放智能體競賽與排行榜。
Palette以LoRA微調20B開放權重模型,讓模型按指定設計語言規劃並生成簡報,並以檢查器核驗版面。訓練數據依據 IBM Design Language 合成,涵蓋約 1000 份簡報、約 10,000 張投影片;模型在 PresentBench 測試的三個領域中有兩個排名第一。設計與編寫程式碼分工後,每張投影片可並行處理,編碼階段快約 6–7×。
KAIST 的微調方法 CluSTER 透過挑選具代表性的訓練數據,將一次 10 小時的訓練縮至約 3 小時,測得效能幾乎不變。報告的最高節時幅度為 69.6%;31% 是醫療問答實驗所用的數據比例,並非通用值。測試涵蓋 7B 和 13B 模型及八項基準。
IdeaTaste 將 AI 智能體根據 2025 年文獻提出的研究構想,與同一社羣 2026 年發表的論文比較,發現其能跟上大方向,卻難以匹配具體方法。測試涵蓋六個當代語言模型、四個研究領域及逾 90,000 份提案;引用匹配約為人類水平的 26%,構想匹配僅 18%。
CUA-Master-27B 以快照回滾收集有效操作軌跡,在 OSWorld Verified 得分 80.2,並在 OSWorld 2.0 和 WeaveBench 分別得分 36.9 和 43.9。環境驗證器找出失敗步驟後,系統回復至該步驟前的快照,保留成功操作並重試。研究團隊亦從 YouTube 和 TikTok 教學影片提取軟件操作任務,供模型訓練。
CUGA 團隊以同一 GLM-5.3-flash 比較 CUGA、Hermes 和 Deep Agents,三者在 90 項 AppWorld 任務中的完成率分別為 81.1%、46.7% 和 30.0%。
Hugging Face 官方基準測試排行榜的每日快照列出 58 個官方基準測試及 1,280 項排行榜紀錄。
DR Pixel 是一個開源多模態智能體,直接以渲染後的文件頁面圖像作為檢索與推理單位,並在包含 1.06M 頁的語料庫上運作。研究建立 DRPixelBench;未經訓練的頁面原生方法已在 GPT-5.4、Gemini-3.5-Flash 和 Qwen3.6-27B 等模型上勝過 OCR 基線,且所需工具呼叫較少。
研究主張,Physical AI 應涵蓋 AI 增強的人類智能,並以終身認知共生體補足個人在情境中的認知缺口。這類系統透過外置裝置感知用戶所感知的事物、跨年保留情境脈絡,並在適當時機參與思考及執行日常任務。論文亦將治理納入設計,指出認知共生體可能帶來考試中的隱蔽協助,以及要求所有人採用的壓力等風險。
作者以固定的 mutant 集合比較 3 個 Python 專案中 LLM 生成與人工撰寫的 pytest 測試套件,衡量它們偵測植入錯誤的能力。27 次生成中有 9 次未產出可執行程式碼,另有可執行套件通過原始程式碼測試卻未殺死任何 mutant。
麻省理工等機構研究者提出 HugAgent,以 54 名參與者、1,742 個評測項目,測試大模型能否從訪談推斷個人當前信念,並預測其在未見情境下的回答。信念狀態推斷的最高準確率為 77.56%;信念動態更新則以 Claude Sonnet 4.5 的 68.61% 最高,兩項參與者自我一致性基準分別為 84.84% 和 85.66%。
研究發現,題目旁加上紅色愛心後,模型在二叉樹遍歷題中會由迭代寫法轉用遞迴。論文記錄 GPT-5.4 有高達 74.7% 的樣本出現不忠實歸因,即推理解釋與實際行為明顯脱節。文章指出,可在其他條件不變下替換疑似無關元素,累積足夠樣本比較輸出,以檢查其是否造成系統性偏移。
研究團隊從零預訓練 Qwen3 模型,並將其後訓練為 CLI Agent,展示預訓練語料投毒可植入遠端程式碼執行後門,令 Agent 在觸發條件出現時執行攻擊者指定命令。
推薦理由:研究從零預訓練並後訓練 Qwen3 CLI Agent,量化不同模型規模與投毒率下的攻擊成功率,呈現預訓練語料污染對智能體執行安全的影響。
香港大學發布全球首份 KYA 領域報告,探討智能體參與經濟活動所涉及的身份、授權、信用與責任問題。報告結合 109 份有效問卷及近十個企業案例,提出智能體成熟度模型、KYA 框架和智能體發展指數。問卷中 76% 的受訪從業者曾遇到信任、安全、問責或合規顧慮,88% 認為行業需要統一的智能體可信評估或認證標準。
LeanGuard 是一套經驗證的執行期系統,會在工具調用送往環境前,按 Lean4 政策檢查語言模型智能體的每次調用,並可透過證明引導搜尋修復遭拒的調用。
TokenCap 團隊撤回 v1.6 宣稱可減少 12.2× tokens 且答案相同的基準結果,指出原評測有五項問題,並以 benchmarks/fair/ 取代。
PhotoGuider以共享的構圖感知特徵選擇 360° 全景的觀看方向並完成取景,同時輸出相機參數及根據評估生成的解釋。在兩個標準 2D 裁剪基準測試中,PhotoGuider取得最高平均 mIoU。盲排名研究中,120 名參加者比較 100 個全景場景,PhotoGuider 的取景有 53.2% 獲排名第一。
TaoMate-FVSR提出音訊引導的面部影片修復框架,結合參考引導影片流模型與音訊同步,修復 AI 生成影片中的面部細節,處理唇部和牙齒與語音不一致的問題。在 talking-head 修復基準測試中,該方法在配對感知相似度及同步評分上均優於其他受比較方法,亦支援更換音訊時的視覺配音。