Astra 6.2 和 Sol 6.2 在 Simple Bench 測試中表現不佳
SimpleBench 涵蓋 200 多條問題,測試空間與時間推理、社交智能及語言對抗穩健性;9 名參與者的小樣本非專業人類基準得分為 83.7%,高於所有受測 LLM。Claude Fable 得分為 81.9%,是受測模型中的最高分。
SimpleBench 涵蓋 200 多條問題,測試空間與時間推理、社交智能及語言對抗穩健性;9 名參與者的小樣本非專業人類基準得分為 83.7%,高於所有受測 LLM。Claude Fable 得分為 81.9%,是受測模型中的最高分。
Sarath Kavuru 以同一個附有 Google 風格 docstring 的 Python 函數,比較 14 個 AI Agent 框架於 2026-11-21 預設生成的工具定義;只有 5 個把六項參數描述寫入 JSON Schema,8 個將 Args 區塊留在工具描述中,AutoGen 則以參數名稱代替描述。
一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。
作者在隔離 VM 中以 20 個隱藏評分案例比較兩種 AI 編碼智能體修 bug 流程,先復現門檻以 20/20 通過,推測式修補則為 17/20。先復現門檻將累計輸入 token 由 49,801 降至 2,323(減少 95.3%),模型呼叫由 3 次減至 1 次。該流程先要求 5 項最小 bug 復現斷言在原有程式碼上全部失敗,才開放修改;這些斷言涵蓋零金額授權及多餘鍵處理等邊界問題。
Agent Skills Hub 按 43 條靜態規則評級逾 138,000 個開源 AI 智能體技能及 MCP 伺服器,發現 GitHub 星數少於 20 的倉庫嚴重安全風險旗標率約高 9 倍。
GitHub 開源的 ReviewBench 是 AI 程式碼審查離線基準,以 219 個公開 PR 建立黃金集;未參與建集的資深工程師重新標註真實發現,與基準判斷的一致率為 96.6%。
研究者以相同流程,在 10 個 CVE 案例上測試 agnes-3.0-flash、agnes-2.5-pro 和 sensenova-ds,發現三個模型分別命中 10/10、9/10 和 9/10。兩個漏報案例沒有重疊,但每格只測試一次,命中率仍不能視為穩定比率。跨模型的風險分數中位差為 30,同一模型跨次測試則為 21。
OpenAI 推出 MedChemBench 基準測試,評估 AI 模型在藥物化學研究中的推理能力;基準包含 99 道題目,取自 117 篇論文與專利,涉及 761 個分子結構。
OpenAI 發佈 MedChemBench,評估 AI 模型在藥物化學領域的推理能力。基準包含 99 道題目,涵蓋 761 個分子結構;GPT-6.2 Astra 在 xhigh 檔取得 84.5% 可用分,結構重建得分為 95.4%,化合物篩選與數值預測則僅約 50%。OpenAI 指出,基準反映模型應用歷史知識的能力,不等同於真實新藥發現能力。
tappers 在 VM221 以 gemini-3.8-flash 比較兩種編碼智能體 linter,附帶具體修復提示的方案在隱藏評分套件同樣取得 20/20(100%),並將累計輸入 token 減少 69.6%。該方案令規則手冊查閲由 1 次降至 0 次、模型呼叫由 3 次減至 2 次,執行時間由 21.60s 降至 14.86s。
Monomem 與 agentmemory 在 LongMemEval-S 評測中的分數差異未達統計顯著,作者將結果視為平手。作者以同一數據檔重跑 agentmemory 自行發佈的評測,重現 84.7%;Monomem 得分 86.0%(470 題中答對 404 題),exact McNemar test 的 p = 0.29。
METR 更新時間跨度圖,加入判斷要求較高的任務。更新後的分析發現,部分 AI 能力仍呈指數增長,但模型在設計 AI 評測方面仍落後。
METR 發佈的最新時間跨度圖顯示,自 2021 年起,AI 在軟件工程基準上可自主完成的任務時長約每七個月翻一倍;判斷類任務的時間跨度則較短,改善也較慢。該圖只追蹤有明確正確答案的任務,不能直接用編碼任務的增長趨勢推斷判斷類工作的進展。文中建議採用任務專屬基準評估模型,並在需要細緻判斷的工作中保留人工參與。
PlaceBench 在 150 條有關真實地點的日常問題中,選取 20 條向 6 款 AI 助手各提問三次,測試答案能否保持一致。Dots 有 17 條問題三次全答對,且從未答錯;Instinct 則有 15 條問題的評分在多次作答間改變。測試指出,單次答對不足以確認答案可靠,20 條問題的樣本亦較小。
Arm 提出面向智能體 AI 的 CPU 性能測評新框架,經 Signal65 獨立驗證,對比 AMD EPYC 9755/9965 的平均性能達 1.99 倍。沙箱場景的性能為 1.7~2.2 倍;框架涵蓋從單個智能體到整個機架的測評。
RocketMQ-Rust 與 Apache RocketMQ 5.5.0 的基準測試顯示,單一請求的同步傳送吞吐量為後者的 1.79 倍;256 個非同步請求共用一條連線時,則為後者的 0.96 倍。
Gemini 4 Neon 在 Models Engineering Index 排名第一,得分為 68.0。該指數評估語言模型在工程任務上的實際表現。
Databricks 以虛構保險公司和零售商測試 Genie One,發現經配置的智能體結合治理層可提升回答準確度。保險測試中,兩者結合的準確率為 93–95%,單用智能體或治理層均為 83%;零售測試則由 54% 升至 82%。研究指出,治理層提供一致的業務定義,而 Genie One 未必會把問題轉交智能體,因此需要透過 Genie One 一併測試兩者。
Frontier Design Benchmark 排行榜新現兩款隱形模型,排名均高於《Fable 5.2》。這項基準以 Contra 市場的真實設計委託作盲測,由 68 位專業設計師進行 4,311 次投票,涵蓋 33 項設計委託。評分量表設有 35 個維度,分數與設計師評分的相關係數為 0.94。
ParseBench-2 將文件解析評測分為六個維度,並透過嚴重程度政策設定不同錯誤對分數的影響。六個測試套件涵蓋330種錯誤及良性變化,基準包含4,317個頁面案例。Metric Lab 允許用戶調整維度權重、錯誤嚴重度及錯誤分類;作者指出,符合預設政策不代表評分與所有用戶的判斷一致,也不能證明可泛化至未見文件。
J.D. Power| 君迪聯同同濟大學人車關係實驗室(HVR Lab)和蜂火智能實驗室(XAI Lab)公佈2026華輿獎中國典範智能座艙評選結果,共10款車型和1家供應鏈企業上榜。50款參評車型中,智能座艙平均得分為753分,部分車型超過800分;座艙體驗推薦者同時推薦整車的比例為83%,座艙體驗貶損者則為26%。
StrideWorld 基準以運動前固定的參照,評測互動影片世界模型的場景剛性與動作一致性;結果顯示,多數模型會令場景變形,只有按估算場景深度縮放指令的兩個模型,能令大部分組合路線接近預測位置。研究測試了 140 個起始視角生成的影片,場景偏移最高達同一路徑剛性渲染的 7.3 倍。以少量渲染片段微調兩個模型,可消除大部分路線中途停滯。
AI Labo Benchmark Series 的 E11 實驗比較長系統提示詞與提交前 AST Hook,結果顯示只有確定性 Hook 能在通過功能測試之餘守住全部架構規則。
Europe PMC 和 PubMed API 的 7 條紀錄顯示,日期精確到日不代表該日已獲證實;期刊資料可能只標示月份。作者以 24 項虛構證據測試 6 個模型,每項重複 3 次;加入日期窗口規則及佔位日期提示後,答案與作者答案鍵的匹配率由 17% 升至 48% 和 96%。這是小型測試,答案鍵包含作者的假設;作者建議保留每個日期的來源精度。
一項 Airfoil Self-Noise 實驗比較兩個各用 843 行資料訓練的模型池:納入測試條件其他頻率資料的 B,平均測試 MAE 為 2.323152 dB,低於未納入的 A(2.644575 dB)。603 組配對比較中,B 有 237 組絕對誤差較大;由於替換資料亦改變資料覆蓋範圍及正規化結果,實驗不能證明改善是由看過測試條件造成。
marxfinance以 alternative.me 的 Crypto Fear & Greed 指數和 Kraken 的 BTC/USD 日收市價進行樣本外測試,Hermes再以相同數據和方法重做,核實計算結果一致。
AI Labo 的 E10 基準測試以 gemini-3.8-flash 比較單智能體自我審查與對抗式 Maker-Checker,兩者均通過 20 項功能測試,但突變體擊殺率分別為 0% 和 100%。自我審查測試套件因缺少 pytest 而執行失敗;對抗式評論者以額外 $0.0052 和 6.92 秒,擊敗全部 6 個突變體。
FINAL-Bench 的混淆 Shell 安全度排行榜評測 20 個模型,GPT-6.1 Terra 以 99.5 平衡準確率排名第一,Kimi K3.1 Pro 是開源模型之首,得分 97.9。評測使用 221 條保留命令,每條評分 3 次並以多數決定結果,沒有 AI 評審。榜單指出,各模型的差距主要在正常命令通過率;穩健性測試中,Kimi K3.1 Pro 以 99.3 居首。
MultiO 以相同的 24 條問題測試 GPT、Claude、Gemini、Grok 和 Llama,總計花費 $0.87,並公開逐項費用收據。研究發現 52 項重大分歧,模型只在 24 題中的 8 題達成重大共識。判讀模型分歧的 Council runs 花費 594,750 micro-USD,高於模型回答問題的 177,440 micro-USD。
一項檢查 eBay 寶可夢卡牌刊登的工具,透過對照官方卡圖並量度實際裁切邊緣,評估卡牌正面的置中度。可可靠量度的卡牌中,約四分之一在兩個方向均達到 53/47 以內;近半數刊登照片無法可靠量度。Illustration Rare 照片有約 59% 無法量度,高於 Ultra Rare 的約 39% 和 Hyper Rare 的約 37%。
Vow 與 TypeScript 在硬任務基準測試中均完成所有執行,但 Vow 的 18 次執行有 19 次判定提交,TypeScript 則有 18 次。另一項壞數據測試中,Claude Haiku 5.5 下 Vow 啟用 vow test 探測功能標記了 68% 的壞輸入,高於 Python 的 53% 和 TypeScript 的 20%;測試規模有限。
veraPDF 對 774 份來自 .gov 和 .edu 網站的 PDF 進行 PDF/UA-1 驗證,771 份(99.61%)未通過,累計有 3,891,504 項檢查失敗;595 份已有結構標籤的 PDF 中,592 份仍未通過。
作者以 EfficientNet-B0 在 APTOS 2019 訓練糖尿病視網膜病變分級模型,五折集成在保留測試集的 QWK 為 0.909。只用檔案屬性的 RandomForest 未讀取視網膜像素,仍得 QWK 0.652;同一模型在 IDRiD 與 Messidor-2 的 QWK 分別為 0.805 和 0.493。
團隊比較數據分析智能體與單次生成程式基線,後者在 DABench 的 40 道評測題中得分 0.70,高於智能體的 0.55。智能體使用的模型是 qwen2.5-coder 1.5B,耗用約 5.6 倍 token 和 3.3 倍時間;差距未達 5% 顯著水平。
SuperCLUE 公佈新一輪中文通用能力測評結果,Qwen4-Max、Hy4 與 KimiK3.1Pro 按測評規則並列國內榜首,得分分別為 61.61、61.01 和 61.46。
Python 主機端參考模型在 CPU 上測試 10,000,000 次提案,1,401,041 次注入提案均未提交,且主機保存的圖狀態與獨立參考結果比對時沒有差異。測試亦發現長數字會引發錯誤、服務座標可能互相解除頁面映射、提交中斷會令分頁器未能通過審核,以及未加鎖的多執行緒會出錯。測試沒有呼叫語言模型,亦未測試 Rust crate。
測試以 Qwen2.5-14B-Instruct 比較六種智能體記憶方式,在三組各 600 步的工作中,主機檢查及修正回覆後,各組每一步的狀態均準確無誤。主機保存狀態每步耗時 0.3034 秒、消耗 21.8 焦耳,是成本最低的方式;但模型自行回覆正確率為 81.89%,低於檢索方式的 93.83%。
Epoch AI 更新 Epoch Automation Reports,評估六個模型的實際工作能力,發現沒有模型在任何任務達到 Epoch 員工標準。GPT-6.2 Astra 平均得分 65%,比 Fable 5.2 低 17 個百分點,兩者在 Epoch Capabilities Index(ECI)的成績則大致持平。
Headron 公佈其基準結果,Claude 三種配置在 138 項任務中使用 Headron 答對 137 項,未使用時答對 78 項。另一次路由測試記錄的提示詞 token 比整棵程式碼樹路由少 89%;驗證紀錄共 17,397 項,涵蓋 PASS、REUSED、FAIL 與 NOT RUN。文中指出各數據來自不同測試套件,並非合併的整體準確率,也不是獨立業界基準。
智源研究院聯合逆矩陣、北京大學、清華大學及北京航空航天大學推出悟界·PhysCapBench,評測第三人稱場景、第一人稱操作與手持夾爪示範中的影片描述物理資訊。