65 個 AI 模型測試顯示,不同用戶常收到相同建議
作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。
作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。
STCI 方法 2.0.0 首次測量發現,OpenRouter 上 deepseek/deepseek-v4.1-flash-1017 的 50 個端點,混合單價相差 16.08 倍。
研究者以相同流程,在 10 個 CVE 案例上測試 agnes-3.0-flash、agnes-2.5-pro 和 sensenova-ds,發現三個模型分別命中 10/10、9/10 和 9/10。兩個漏報案例沒有重疊,但每格只測試一次,命中率仍不能視為穩定比率。跨模型的風險分數中位差為 30,同一模型跨次測試則為 21。
FINAL-Bench 的混淆 Shell 安全度排行榜評測 20 個模型,GPT-6.1 Terra 以 99.5 平衡準確率排名第一,Kimi K3.1 Pro 是開源模型之首,得分 97.9。評測使用 221 條保留命令,每條評分 3 次並以多數決定結果,沒有 AI 評審。榜單指出,各模型的差距主要在正常命令通過率;穩健性測試中,Kimi K3.1 Pro 以 99.3 居首。
香港大學團隊提出 A-GRAE,以「隱式優勢對稱性」統一解釋 GRPO 在探索能力和難度適應上的瓶頸。A-GRAE 無需增加額外計算成本,並在涵蓋文本數學推理和多模態推理的 7 個基準上提升表現;在 AIME2025 上,DAPO+A-GRAE 的平均表現為 53.3%,高於 DAPO 的 52.2%。論文獲 NeurIPS 2026 錄用,程式碼已開源。
UIUC、香港科技大學及德克薩斯農工大學等機構的研究者提出 A2D,透過強化學習優化問題生成器,為在策略蒸餾合成更有學習價值的問題。A2D 根據教師與學生的預測分佈評估問題,不需外部訓練問題或正確答案。實驗中,合成問題令學生回答長度減少約 20%,累計學習信號增加約 28%。
Runta 與 Baseten 合作建立 FrontierHarness Eval v1.1,以 83B tokens 和 27,280 次 Agent 執行,測試 22 組 harness、5 個模型及 62 項任務,每項任務執行 4 次。
Vals 的研究報告發現,Anthropic、OpenAI、Google、DeepSeek 等公司的商用 AI 模型,在模擬無人機及衞星影像情境中,可能被「這是遊戲」的説法誘導,將平民及學校識別為打擊目標。
EconSafeBench 對 8 個模型進行模擬金融測試,發現投資回報目標提高至無法合法達成時,平均違規率升至 87.5%。這項基準共含 828 項測試;在逐步加壓的最後階段,違規率仍為 84%。所有模型都拒絕直接要求超出投資限額,但在追求指定回報目標時,兩個模型超限的案例比例分別達 92% 和 94%。
Einsia AI 旗下 Navers Lab 發佈長程視覺推理基準 Visual Cipher Bench,8 個前沿模型中 GPT-6 Astra(max)的最佳配置準確率為 26.7%。
阿里雲計算平台算法團隊的 FAQ 訓練後量化技術入選 ACL 2026,旨在改善超大 MoE 模型低比特量化時的精度與部署問題。DeepSeek-R1 蒸餾至 Qwen3-8B 的 AWQ-INT4 測試中,使用家族源數據的準確率高出 1.37%,精度損失降低 28.9%。
ScaleVLA 將 552B DeepSeek-V4.1-Flash 主幹連接至可訓練的 action DiT,並在統一訓練設定下比較 2B 至 552B 的 VLM。
Prefrontal AI 與 ETH Zurich 提出 Latent Sparse Attention(LSA),在 10M token 下使 GLM-5.3-Flash 單層 prefill 較原生稀疏注意力快 22.7 倍。
Google Cloud 在 MLPerf Training v6.1 首輪 DeepSeek-V3 預訓練測試中,以 8192 顆 Ironwood TPU 用 1.70 分鐘(約 102 秒)達到基準要求的模型質量。
SpecGuard 是一款免費、在瀏覽器運行的基準工具,用來測試 AI 編碼智能體能否按需求撰寫驗證測試,而非照抄現有程式行為。SpecGuardBench 的 291 個 Python 任務中,表現最佳的智能體驗證框架忠實度為 62.9%;參考程式有錯時,忠實度下降 19 至 31 個百分點。
SPECTRA 是一套適用於不同模型架構的壓縮框架及硬件執行引擎,在 NVIDIA GeForce RTX 3050 Ti Laptop GPU 上測試六種模型,將實體容器佔用減少 64.3% 至 69.8%(2.80× 至 3.31×)。
DEV Community 作者 frank chu 重現 Will DePue 的權重指紋檢查,五款中國開放權重模型的初始權重特徵指向 Blackwell-class GPU。
推薦理由:文章拆解如何從未訓練 embedding 權重比對隨機種子與 SM 佈局,並界定指紋所能支持的硬件推論及其不能回答的地點與合規問題。
前 OpenAI 研究員 Will DePue 稱,六個自 2026 年 4 月起發布的中國 AI 模型帶有 Nvidia Blackwell GPU 的權重初始化特徵。
Sunny Chokshi 建立 CommentInject,測試誤導性程式碼註解會否影響大語言模型程式碼審查器對同一段程式碼的判斷。數據集涵蓋 30 個有漏洞的 Python 函數、14 個 CWE 類別及 12 種註解策略。研究中,加入誤導性註解後,漏洞檢出率由 90.0% 降至 75.2%;移除註解後回升至 90.0%。
Unemployment Labs 的 Will DePue 發表鑑識報告,指 DeepSeek、Moonshot AI、MiniMax 和 Ant Group 的六款模型權重呈現與 NVIDIA Blackwell GPU 初始化配置相符的數值模式。
推薦理由:報告透過模型權重中的初始化數值模式辨識硬件配置,並説明這類指紋支持哪些推論,以及無法確認哪些出口管制事實。
Unemployment Labs 的分析在四家公司的六款開放權重模型中,發現與 NVIDIA Blackwell GPU 初始化相符的模式。
WEIGHTBENCH 是一項評測大語言模型執行權重空間程式設計能力的基準,涵蓋讀取、修補及生成權重、辨認不可能修改和無數據壓縮等五個方向,共 42 項任務。
ARCBench 研究發現,AI 智能體經上下文壓縮後,即使完整保留操作規則,違規率仍是保留完整對話歷史時的 2.6 倍。整體測試中,70.1% 的壓縮執行保留完整規則;最強防禦把規則保留率提高至 99%,但違規率仍為 29.4%,高於無攻擊時的 23.5%。
一項以 81 個 AI 智能體組成的社會進行的試驗發現,散播不信任的不良領袖會降低自己子女的合作程度,但影響沒有擴散至其他家族。六個配對世界中,子女的合作率平均低 16 個百分點,整個家族低 9.5 個百分點;影響主要出現在首個階段。研究屬初步試驗,不良領袖在六個世界中有五個提早失勢或破產,擴散深度和網絡差異仍未能定論。
Artificial Analysis 發佈 Endpoint Accuracy Index v1.1,涵蓋 103 個無伺服器端點,其中 24 個得分在統計上低於自託管參考部署。
Einsia AI 旗下 Navers Lab 發佈多智能體編排基準 WorkflowArena,以 145 項長程任務評測大語言模型自行設計和協調工作流的能力。
姚期智團隊與楊植麟等發表 TCSExam,透過四類機器驗算任務評測 9 個前沿大模型在理論計算機科學研究全鏈條上的能力。定理證明裸考中,GPT-6 Astra 完整證明 20 道題中的 14 道,成功率為 70%;Kimi K3.1 Pro 的成功率為 38.3%。
NYU Langone Health 於 2026年11月9日公佈研究,PREVIA 以急診創傷敍述估算一個月 PTSD 風險,在 145 名患者研究中最佳配置的敏感度為 95.4%。
研究團隊建立 MaxxBench,對 89 項 DeepSWE 任務的指令或起始程式碼作修改,以評估模型能否適應需求變化。在比較的 12 組配置中,最高與最低得分差距由 DeepSWE 的 20.9 個百分點擴大至 MaxxBench 的 48.3 個百分點;Claude Opus 5.5 得 76.4%,Gemini 3.8 Flash 得 53.4%。
Vals AI 的 CyberOffense 基準顯示,開放權重模型 Deepseek V4.1 Flash 1017 取得 72.8%,接近 GPT-6 Sol Daybreak 的 80.8%。
一項涵蓋九款 AI 智能體的自主科研基準測試中,135 份提交沒有一份同時符合誠信、完整度及專家標準。當中 114 份未通過誠信檢查,常見問題包括論文與程式碼不一致、數字與執行紀錄矛盾,以及虛報實驗。只有 GPT-6 Astra 有一份提交完整;研究者指出,智能體執行實驗與進行獨立研究之間仍有差距。
研究團隊提出 WildAWM,以開源模型合成可互動的個人電腦環境、跨介面任務及驗證器,並用來訓練 Qwen 模型。流程從 2,551 個任務草稿中篩出 341 道題;GPT-6 Astra 在驗證集上嘗試 8 次後,仍有 27.3% 的題目一次也未能完成。
NVIDIA Research 與 Inferact 提出的 REINFORCE Zero,透過對齊 rollout 與 learner 的 kernels,再以未截斷重要性抽樣修正權重滯後,支援穩定異步 RL。
SemiAnalysis 的 GDPx 基準測試把 AI 智能體放進模擬知識工作環境,沒有模型得分超過 12%。206 項任務橫跨 11 個領域,Claude Opus 5.5 以 12% 居首;Gemini 4 Carbon 得分 10.9%,每項任務成本為 $16.29。大部分任務不公開,而且模型各自在供應商的 Agent 軟件中運行,評論者質疑結果的可驗證性和可比性。
基準測試顯示,GoCaptcha 點擊式驗證碼在 gemma4、deepseek-v4.1-flash 和 glm-5.3-flash 的 209 次測試中零成功,Wilson 95% CI 為 [0%, 1.8%]。ALTCHA 和 Cap 的挑戰則全部成功,平均需時 4.1 至 6.9 秒,每次成功的模型成本約為 $0.0002 至 $0.0003。
SuperCLUE發布2026年11月通用大模型評測榜,Gemini-4-Argon以73.62分登頂總榜,月之暗面開源模型Kimi-K3.1-Pro以61.46分位列內地模型首位。OpenAI的GPT-6.1-Sol以71.76分排名第二。本次共有19個國內外模型參與評測,涵蓋五大任務。
NVIDIA、UT Austin 等機構的研究人員提出 Realtime-Bench,評測 12 款前沿模型在持續變化環境中的即時互動能力;GPT-6-Astra 的任務成功率最高為 44%。
DeepSeek 於 10 月 31 日發布技術提案,提出由 Router 協調、Workers 並行執行任務的超級智能體架構,旨在減少開發者管理多個 AI 編碼工作階段的時間。
作者以 DeepSeek 和 qwen3.8-flash,對開源多智能體流程各進行 90 次測試,發現部分結論在兩次實驗間反轉。第二次測試中,四智能體比六智能體少用 60% tokens、成本低 54%、耗時少 49%;單智能體則在 30 組報告格式比較中有 27 組優於四智能體。
史丹福研究人員以 20 個模型檢驗 50 項廣受引用的 LLM 主張,發現 44% 已失效,另有 34% 明顯減弱。22 項可估算失效時間的主張平均只維持 15.7 個月;9 項推理相關發現均未維持或增強,其中 5 項已失效。