65 個 AI 模型測試顯示,不同用戶常收到相同建議
作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。
作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。
STCI 方法 2.0.0 首次測量發現,OpenRouter 上 deepseek/deepseek-v4.1-flash-1017 的 50 個端點,混合單價相差 16.08 倍。
Levent Alpöge 與 Claude 公佈黎曼猜想的 Lean 形式化證明,James Maynard 估計其有 98% 至 99% 機會正確。Andrew Sutherland 確認證明通過三個獨立外部驗證內核的全量複核,官方防篡改複驗仍在收尾。數學界的討論亦聚焦於如何理解其論證,以及現有期刊審查和千禧年獎規則如何處理這類程式碼證明。
推薦理由:文章把形式化驗證與數學理解的落差,連同學術出版和千禧年獎規則面對的挑戰,放在同一案例中梳理。
兩名數學家在數小時內先後聲稱獨立證明黎曼猜想,其中 Anthropic 數學家 Levent Alpöge 表示曾獲 Claude 協助,並以 Lean 程式公開證明。Elliot Glazer 指出,形式化命題實為廣義黎曼猜想(GRH);Alessandro Masullo 則公佈一份約 940 頁、由人手撰寫的 GRH 證明草稿。文章指出,這項 AI 相關證明尚未核實,Lean 程式仍在編譯。
數學家 Alessandro Masullo 公開一份聲稱證明廣義黎曼猜想(GRH)的 940 頁手稿《The Music of the Primes》,作者稱研究歷時近 12 年,完全未使用 AI。
Anthropic 數學家 Levent Alpöge 宣稱藉助 AI 解出黎曼猜想後,Stanford 博士後研究員 Alessandro Masullo 隨即公佈一份聲稱不使用 AI 得出的解答。Masullo 表示,他已研究這個問題 12 年,因當前情勢而提前發布尚未完成的版本,並提醒匆忙之下可能有錯。當時兩份解答均未正式證明,數學家正以人工和 AI 檢視兩者。
Anthropic 數學家 Levent Alpöge 在個人網站發佈文件,稱 Claude 協助他證明黎曼猜想及廣義黎曼猜想。文件是一份 4 頁 PDF,另提供 14 個 Lean 壓縮分卷;Alpöge 稱形式化工作已完成,且論證不依賴額外猜想。報道未編譯或審計這些分卷,獨立核驗需確認形式化命題與猜想一致,並檢查整個證明依賴鏈。
ACM MM 2026 一篇最佳論文因實驗比較、數據及引用等方面遭質疑,通訊作者鄭卓然表示團隊已一致同意申請撤稿。鄭卓然否認算法造假及利益往來,並稱自己未逐條核對參考文獻,認為責任主要在自己。報道指出,會議共錄用 1703 篇論文、頒發 17 篇 Best Paper,而評獎指南未列明引用真實性核查,文章據此討論評審機制問題。
Prime Intellect 回顧 RL Residency 在 2026 年支持的開放研究成果,分為評測、訓練環境和其他研究三類。項目涵蓋 Maze Bench、OpenTTD-Bench、PretrainGym、AerialSim 等;Maze Bench 中,當前最佳大語言模型在不使用編碼工具時準確率最高為 16%,使用編碼工具時最高為 23%。
哈佛博士生 Fiona Chen 和 James Stratton 分析 718 間公司後發現,採用 AI 編碼智能體的公司程式碼新增量增加約 30%,已完成工作未見可測量的增長,程式碼由提交至合併的時間則增加 49%。
本期 AI Agents Digest 整理 2026-11-10 至 2026-11-17 的智能體研究與工程動態,重點涵蓋安全、失效模式、記憶及基礎設施。多項研究報告智能體在長期任務、授權邊界和組件交接中出現失效,亦指出記憶若未連結來源證據,可能損害任務表現。內容亦整理了工具備援前的安全檢查、外置授權控制,以及以智能體為核心的觀測工具設計等做法。
GPT-6 Astra 協助物理學家 Nathaniel Craig 將一項格點研究策略發展為標準模型的候選非微擾定義、具體構造及詳細證明。相關工作包括一篇由 Astra 協助準備的 2026 年 10 月 arXiv 預印本。這仍是初步成果,尚待確立有限格點間距下的反射正性,並建立與連續相互作用理論的關聯。
作者自行盤點 Google DeepMind 的 AlphaProof Code 公開倉庫,統計出 11,377 個 Lean 檔案共 7,546,996 行。
Agentic Paycheck 隨機抽查官方 MCP Registry 的 50 個遠端伺服器,發現 27 個(54%)在 initialize 階段返回 401,沒有密鑰的 Agent 因而無法查看伺服器提供的工具。
這篇每週摘要整理 2026-11-05 至 2026-11-12 的 LLM 評估與可觀測性進展,指出評分者、LLM 裁判及污染測試等評估工具本身也會漂移。在人類盲測 Chatbot Arena 投票中,模型固定時「both bad」比例每月上升約 1.7–1.9 個百分點,模型間相對排名則保持穩定。文章指出,追蹤品質回歸時,團隊也需監察評估者本身的漂移,而非只檢查模型變化。
Anclum 盤點其目錄內 6,542 個 MCP 伺服器項目,僅 62 項(0.9477%)列有安裝指令,其中 38 項為單行格式。這 38 項中,36 條屬下載並執行套件格式,2 條只登記伺服器;另有 24 項需要兩步或以上,作者亦修正了 6 條無法啟動所述伺服器的指令,以及 3 條句末多出句號的指令。
ThinkNow調查1548名美國成年人後發現,過去一年43%曾用AI聊天機械人查詢健康問題,但全體受訪者中只有40%信任這類資訊。在AI健康用戶中,60%表示AI促使他們進行原本不會進行的求診,65%因此主動向醫生查詢具體藥物或治療方案;使用者對AI準確性的評價達85%。消費者信任醫生或醫療系統提供的AI健康工具的比例為60%,大型科技公司則為34%。
Gökhan Köse 統計指出,截至 2026 年 11 月 6 日,NVD 自 2026 年 1 月起收錄 52 宗在 LLM 與智能體軟件中以提示詞注入為原因或後果的 CVE。
作者以11個小型 Python 程式庫測試 AI 程式碼審查,發現引用程式碼庫外情況並註明「無須提出」的善意註記,令19/62次審查降低或排除真實缺陷。加入三句要求區分已驗證內容與主張、並指出註記不會消除缺陷的規則後,Sonnet 5.5 和 Opus 5.5 的英文測試為0/41、日文測試為0/24;提高推理量仍未能避免相關失誤。
這份 AI 安全綜述整理 2026-10-18 至 2026-11-08 的研究與工程文章,聚焦攻擊從提示詞轉向 LLM 智能體信任的工具呼叫、MCP 協定及技能檔案。
METR 對 Anthropic 進行 11 週評估後指出,其明確能力基準的進展速度加快至歷史水平的 1.9 倍,訓練算力增長則延續既有軌跡。METR 估計,約 80% 的能力加速來自內部 AI 使用;研究人員自報內部模型平均帶來 12 倍生產力提升,而模型對核心訓練流程的全自主貢獻仍微不足道。
METR 一項歷時 11 週的調查指出,Anthropic 的 AI 模型進展速度約為一年前兩倍,且截至 10 月,大部分提速來自 AI,而非單純增加訓練算力。
這篇每週研究與工程摘要指出,當已有強模型檢查點可供蒸餾時,一項比較中在策略蒸餾以約 50x 較少蒸餾 FLOPs 達到與 GRPO 相同的準確度。另一項研究發現,已有 1,200 個高質素示範時,60 步 GRPO 未帶來可檢測的同分佈增益。DPO 研究則發現,在特定獎勵邊際區間內,抽取任務維持原有表現,路由任務表現下降約 30 分。
CoRL 2021–2026 年錄取論文數由 153 篇增至 687 篇,署有中國機構的論文佔比由 5.9% 升至 37.5%。美國佔比同期由 76% 降至 51%;2026 年清華大學以 58 篇居機構首位,上海交大及北大分別有 36 篇和 33 篇。2026 年 687 篇中只有 480 篇具標準化機構資料,文章指出數據完整度及機構識別均有限制。
METR 根據 Anthropic 內部資料估算,該公司大模型自 2025 年 10 月起在 AECI 綜合能力指標上的進步速度約為此前的 1.9 倍。截至今年 10 月,METR 估計當前 AI 研究加速約有 80% 來自 AI,主要收益仍是協助人類實作想法和進行實驗。研究員認為,AI 尚未在模型訓練最重要環節作出高度重要且完全自主的貢獻;報告亦經 Anthropic 大幅刪減。
Adrian Vale 檢視目錄內 5,036 個 Claude Code 社羣技能,發現 979 個(19.4%)的 SKILL.md 指示 Claude 執行隨附腳本。
Google 與 Mercor 發佈 PLE 工程評測,結果顯示工程 Agent 的單項約束滿足率與完整設計交付能力存在落差。評測涵蓋 85 項機械、電氣、土木及結構工程任務;Claude Opus 5.5 搭配 Claude Code 在 56 項隱藏測試中得分 48.3%。在人機共同創作任務中,它平均滿足 91% 的單項約束,但只有 41.3% 的交付設計項符合全部硬性安全與可行性要求。
得克薩斯大學阿靈頓分校一項研究顯示,大語言模型可利用社交媒體公開的近期生活細節生成高度個人化的魚叉式釣魚郵件。通用安全過濾工具在預設設定下的檢出率為 0% 至 19%,施加針對性指令後最高可達 99%。文章建議模型提供方、內容平台及用戶協同防護,分別加強生成端攔截、公開資料暴露治理和發件方核驗。
MIT CSAIL 的 Weight-Space Programming 方法讓 GPT-6 Astra 直接讀寫 Qwen3.5-0.8B 權重,僅修改 131,072 個參數(0.016%),並提升三項基準的成績。
Gregory Kurtzer 在人類主導的智能體工程模式下使用 Codex,11 天內編寫約 13.9 萬行程式碼,打造出可啟動 Rocky Linux 10 並運行 systemd 的 Ginux 核心。
TokenCap 團隊撤回 v1.6 宣稱可減少 12.2× tokens 且答案相同的基準結果,指出原評測有五項問題,並以 benchmarks/fair/ 取代。
MIT CSAIL 研究人員展示 GPT-6 Astra 可在不使用梯度的情況下編輯 Qwen3.5-0.8B 權重;Mandiant 則追查到被盜 API 金鑰令部分受害企業單日遭收取超過 $100,000,累計費用達 $1 million。
作者逐項核對來自 317 個不同組織、由編碼智能體撰寫並已合併的 317 個 PR 與其關閉工單,發現 15% 至少有一項要求未完成或只部分完成,6% 完全漏掉要求。作者將 15% 視為上限,估計實際比例更接近 1 in 9;工單在智能體開始工作後有修改的案例中,23 個有 6 個出現要求遺漏或部分完成。文章指出,審查時應同時查看工單與 diff,並留意工作開始後被修改的工單。
Import AI 479 聚焦 LLM 即時任務表現、太空安全、Metis 推理架構及 Google DeepMind Genie 4。Realtime-Bench 涵蓋 50 項互動遊戲及網頁任務,wall clock 條件下最高通過率為 36%,暫停時鐘下部分高推理模型的成功率接近 70% 至 80%;Genie 4 以研究預覽形式向部分可信測試者開放。
Mag Solutions 的每週安全檢查分析了 17381 個公開 Pull Request,標記其中 10%,並公開修正 46 項自身錯誤;確認的幻覺套件為 0。
Y Combinator 與 Olam Labs 在《Minecraft》和《Mindustry》中運行 AI 智能體羣,並為長時間運行的 Minecraft 智能體開源執行框架。其中,50 個 GPT-6.1 Sol 智能體在生存世界運行 3 小時,以建立繁榮文明為共同目標,期間發送約 5,900 則訊息並建立糧食配給制度。首夜 34 次死亡中有 22 次,其後智能體聚居避險,減少高風險任務。
David Grice 將公開目錄中的 385 宗 AI 智能體安全事故按八層模型分類,其中 270 宗屬於智能體工具本身成為攻擊面的事件。在這 270 宗事件中,Identity/Run 層以 103 宗(38%)成為最常見的首個失效層,其後是 Instruction(57 宗)、Config(37 宗)及 Credential(29 宗)。
OpenAI 宣佈在數學、電腦科學及物理學領域取得三項成果,並採用不同發布安排,科研界對成果公開方式提出批評。數學成果據稱證明掛谷猜想,電腦科學成果則宣稱證偽指數時間假説;物理學研究涉及量子色動力學及楊–米爾斯理論,但沒有解決質量間隙問題。受訪研究人員指出,核驗成果需要大量時間,並質疑由 OpenAI 選定專家及限制查閲範圍,主張公開材料供學界共同檢視。
推薦理由:三項成果的公開程度並不一致,爭議落在專家遴選與證明材料的平等查閲,呈現 AI 科研如何兼顧核驗和開放的難題。
OpenAI 邀請外部專家審查其 AI 在電腦科學、數學及物理學領域產生的證明,並按領域採用不同審查安排。電腦科學結果聲稱推翻指數時間假設(ETH),數學結果涵蓋所有維度的局部平滑猜想,物理結果則聲稱證明若干四維量子場論在數學上存在。OpenAI 指出,楊–米爾斯理論的質量間隙問題並未解決;Lean 只能檢查形式化證明是否推出所寫命題,專家仍須判斷該命題是否符合原意。
Forever Security 報告指出,藏於 Downloads 資料夾的惡意 Markdown 指令檔可誘使 OpenAI Codex 和 Anthropic Claude Code 執行有害操作,甚至暴露驗證 token。