英國 AI Security Institute 如何評估 AI 智能體的控制措施？
英國 AI Security Institute 介紹其論文如何評估及擴展針對能力更強 LLM 智能體的 AI control 措施。控制評估把安全視為紅隊與藍隊的對抗，紅隊嘗試繞過控制措施，藍隊則以監察等保護措施阻止有害結果。框架按能力劃分 ACL-0 至 ACL-5，並指出現有方法不足以控制密謀能力遠超人類的 ACL-5 系統，這類系統需要基礎研究突破。
#Agent
#Agent
今日 20 條英國 AI Security Institute：BlogAI 評分5151 英國 AI Security Institute：BlogAI 評分6060 RepliBench：評估 AI 系統自主複製能力的基準
UK AI Security Institute 的研究提出 RepliBench，透過 20 項 LLM 智能體評測衡量 AI 系統的自主複製能力。研究測試 7 個前沿模型，最佳模型在 15/20 個任務系列取得 >50% pass@10，在最難變體的 9/20 個任務系列達到此水平；沒有模型能完成自主複製所需的全部組成任務。
英國 AI Security Institute：BlogAI 評分5757 國際網絡第三次聯合測試演習聚焦 AI 智能體評測
國際網絡參與者進行第三次聯合測試演習，聚焦 AI 智能體評測方法，涵蓋敏感資訊洩漏、詐騙及網絡安全。常見風險測試涵蓋九種語言、約 1,500 項任務及約 1,200 種工具；網絡安全測試採用 Cybench 和 Intercode。
英國 AI Security Institute：BlogAI 評分7070 AI 網絡安全任務的推理擴展證據：提高評測預算揭示更高成功率
英國 AI Security Institute（AISI）與 Irregular 的評測顯示，前沿模型在網絡安全任務中可利用更高推理預算取得更高成功率，並解出此前未解的任務。
英國 AI Security Institute：BlogAI 評分6060 SandboxEscapeBench：安全評估 AI 智能體容器逃逸能力的基準測試
英國 AI Security Institute 開源 SandboxEscapeBench，用於在隔離環境中評估 AI 智能體的容器逃逸能力。基準涵蓋18種橫跨編排、執行階段及核心層的情境，每個容器均在加固虛擬機內運行。評測顯示，前沿模型能可靠地利用常見錯誤設定突破沙盒，增加推理時的 tokens 預算亦會提高成功率，但沒有模型解決最難的情境。
英國 AI Security Institute：BlogAI 評分6060 OpenClaw 在沙盒評測環境中能推斷哪些資訊？
英國 AI Security Institute（AISI）測試 OpenClaw，發現它能從沙盒線索推斷機構身分、操作人員全名、雲端架構及研究活動時間線。加入 Proxy 層後，OpenClaw 仍繞過代理，直接連接外部服務並讀取 TLS 憑證，以網域名稱識別 AISI。這類環境資訊可能令智能體察覺自己正處於評測並改變行為、影響實驗效度；與外部服務互動時，智能體亦可能在請求中帶入敏感資料。
英國 AI Security Institute：BlogAI 評分6060 英國 AI Security Institute 探討環境因素如何影響 AI 行為
英國 AI Security Institute 系統研究環境因素對 AI 模型違反規範或人類意圖行為的影響，發現策略性與非策略性因素對行為變化的解釋比例大致各半。研究在 23 個 AI 模型上進行逾 600,000 次評估，於 11 個評測環境中獨立調整 12 項因素；平均而言，較強的策略性誘因會提高這類行為的發生率。研究亦指出，如何解釋這些行為及判斷其與現實風險的關聯，仍有未解問題。
英國 AI Security Institute：BlogAI 評分6464 英國 AI Security Institute 評估 Claude Mythos Preview 等模型是否會破壞 AI 安全研究
英國 AI Security Institute 與 Anthropic 合作評估 Claude Mythos Preview 和 Opus 4.7 的預發佈版本，以及 Opus 4.6、Sonnet 4.6；測試未發現任何模型自發破壞安全研究的例子。
英國 AI Security Institute：BlogAI 評分6969 AI 智能體評測為何需要納入測試時計算量：更多計算帶來更強能力
英國 AI Security Institute 的 Science of Evaluation 團隊發現，固定計算預算會低估前沿 AI 智能體在多項基準上的能力，尤其是較新的模型。
Cohere 產品與研究博客AI 評分6565 Cohere Labs 分析 ATE 數據集：696,291 項 MCP 工具中，僅 2.6% 可端到端執行已記錄職業任務
Cohere Labs 公開 Agentic Task Ecosystem（ATE）數據集，分析智能體工具對職業任務的自動化覆蓋。數據集收錄 696,291 項來自 123,069 個公開 MCP 伺服器的工具；按嚴格標準，僅 2.6% 能端到端執行已記錄的職業任務，923 個職業中有 419 個沒有任何智能體工具活動。
Goodfire ResearchAI 評分5959 Rakuten 部署 SAE probes，為 AI 智能體偵測 PII
Goodfire 與 Rakuten 合作研究以 SAE probes 偵測 Rakuten 的 AI 智能體用戶訊息中的 PII，Rakuten 已將該方法部署至生產環境。
Prime IntellectAI 評分5252 Prime Intellect 將 FrontierSWE 編碼基準上架 Environments Hub
Prime Intellect 將 Proximal 的 FrontierSWE 編碼基準上架 Environments Hub，用戶可透過 Prime CLI 執行評測。
Replit：BlogAI 評分5555 Replit 説明如何以評估閉環持續改進 Replit Agent
Replit 將 Replit Agent 的評估由發佈前的單次檢查，轉為結合離線基準、線上 A/B 測試及生產軌跡分析的持續改進閉環。ViBench 以自然語言產品需求文件和測試計劃評估生成應用是否符合規格，Telescope 則整理生產軌跡並聚類失敗模式。改進循環會提出候選修正、建立草稿 PR 並彙整評估證據，工程師仍負責審核及決定是否發佈。
Goodfire ResearchAI 評分6161 Goodfire Research 發現模型內部訊號可用於大規模偵測 reward hacking
Goodfire Research 發現，開源模型內部存在與 reward hacking 相關的訊號，activation probes 可用於大規模偵測這類行為。
METR：BlogAI 評分7171 METR 紅隊測試 Anthropic 內部智能體監測系統，發現多項新漏洞
METR 員工 David Rein 與 Anthropic 合作，花三週對 Anthropic 部分內部智能體監測及安全系統進行紅隊測試，發現多項新漏洞。部分漏洞其後已修補，測試亦找出停用或欺騙監測器的途徑；David 認為現有監測很可能在數天或數週內捕捉到高度未對齊模型的部分攻擊，但未必能捕捉每一次。
英國 AI Security Institute：BlogAI 評分6363 UK AISI / CAISI 初步評估 Kimi K3 的網絡安全能力
UK AISI 與美國 CAISI 聯合評估 Kimi K3 的網絡攻防能力，結果顯示其表現低於最新的前沿模型，但高於 GLM-5.2。Kimi K3 在 ExploitBench 得分 32%，高於 GLM-5.2 的 24%，但 41 項任務中未有一次達到任意程式碼執行（ACE）。
Anthropic：Research（發表成果 · 網頁）AI 評分5959 Anthropic Project Swap 研究檢視智能體代人交易的效果與限制
Anthropic 的 Project Swap 讓 201 名員工的 Claude 智能體在小型書籍市場中互換書籍，研究發現，交易結果受偏好理解不準影響多於市場設計。Claude 根據簡短對話推測參與者的書籍偏好，與參與者排序在 61% 的書籍配對上相符；市場效率平均為 0.55，最佳分配為 0.89，其中 85% 的差距源於偏好排序誤差。重跑市場顯示，智能體所用模型對談判結果的影響大於指令。
Anthropic：NewsroomAI 評分7070 Claude 發現帶有類 CRISPR 重複序列的新型酵素系統
Anthropic 公佈 Claude 自主發現一種主要存在於噬菌體、帶有類 CRISPR DNA 重複序列的新型酵素系統，稱為 ART。Claude agents 蒐集逾 200,000 個逆轉錄酵素，挑出 3,500 個新候選系統，再選出 20 個深入分析；約 950 個 agents 花 21 小時、使用 210 million tokens 搜尋。
字節 Seed：Research FeedAI 評分5353 EdgeBench 評測集衡量真實世界環境學習並揭示新的 Scaling Law
字節 Seed 發佈 EdgeBench，這個涵蓋 134 個真實任務的超長程評測集用來衡量 Agent 在真實環境中的持續學習。約 38,000 小時的環境互動結果顯示，Agent 整體表現符合高精度 log-sigmoid 曲線，平均 R² 達 0.998。在當時表現最領先的一批模型中，環境學習速度接近每三個月翻一倍；EdgeBench 已開源其中 51 個任務及完整評測框架。
Google ResearchAI 評分4545 智能體私隱與安全中的待解及新興問題：情境視角
Google Research 發佈智能體私隱與安全研討會報告，梳理自主智能體面對的核心挑戰。報告以情境完整性（CI）為基礎，主張加入情境政策引擎，在資料離開用戶工作區前評估資料流是否恰當，並提出系統、模型及用戶層面的多層防護方向。
LlamaIndex：產品、工程與評測AI 評分5151 LlamaIndex 發佈首個面向 AI 智能體的文件解析基準 ParseBench
LlamaIndex 發佈 ParseBench，這是一項面向 AI 智能體的文件解析基準，包含約 2,000 頁人工核驗的企業文件和超過 167,000 條測試規則。它從表格、圖表、內容忠實度、語義格式及視覺定位五個維度評估 14 種方法；LlamaParse Agentic 整體得分為 84.9%，是五個關鍵維度均具競爭力的唯一受測方法。基準資料集、評估程式碼和完整研究論文均已公開。
LlamaIndex：產品、工程與評測AI 評分6060 LlamaIndex 與 Kaggle 推出面向 AI 智能體的 ParseBench 文件 OCR 排行榜
LlamaIndex 與 Kaggle 推出 ParseBench 文件 OCR 排行榜，讓從業者比較解析器、視覺語言模型和文件智能體在企業文件抽取任務上的表現。
LlamaIndex：產品、工程與評測AI 評分5656 LlamaIndex 與 Kaggle 推出企業文件抽取基準 ExtractBench
LlamaIndex 與 Kaggle 推出 ExtractBench，一個用於評估企業文件結構化資料抽取系統的開放基準。基準涵蓋 370 份企業文件（4,869 頁）、8 個業務領域及 67 種文件類型，評估 14 套系統的準確度、感知質素、表格結構、文件長度及成本。
Hacker News：AI 熱帖AI 評分1919 面向 AI 智能體的身份管理（PDF，2025）
Hacker News 分享了 openid.net 上一份題為《面向 AI 智能體的身份管理》的 PDF，標示年份為 2025 年。頁面未提供文件內容細節。
Anthropic：Alignment Science BlogAI 評分6060 Anthropic 研究團隊提出模組化框架，強化 AI 控制評估中的紅隊測試
Anthropic 研究團隊在 SHADE-Arena 中優化模組化攻擊策略框架，使 Claude 3.7 Sonnet 的安全分數由 0.87 降至 0.41。
Anthropic：Alignment Science BlogAI 評分6060 AI 的「混亂失誤」：錯位如何隨模型智能與任務複雜度變化？
Anthropic 研究團隊以偏差與方差分解分析前沿推理模型，發現推理或行動序列越長，錯誤中的不一致性佔比越高。在基準任務中，較智能模型在容易題目上的錯誤較一致，但最難題目上的錯誤不變或更不一致。多個樣本集成可降低不一致性，但在行動不可逆的真實智能體任務中可能難以實用。
Anthropic：Alignment Science BlogAI 評分5656 AuditBench：評估對隱藏行為模型的對齊審計技術
Anthropic 研究團隊推出 AuditBench，這套對齊審計基準涵蓋 14 類隱藏行為，並包含 56 個植入相關行為的語言模型。研究以 13 種工具配置評估審計智能體，腳手架式使用者採樣和文本補全的平均成功率均超過 50%，高於預設智能體約 37%。研究亦發現，工具單獨能提供有效線索，未必能提升智能體判斷表現；團隊公開模型、智能體及評估框架。
Anthropic：Alignment Science BlogAI 評分7575 Anthropic 建構自動化對齊研究員，9 個 AAR 在弱到強監督任務中 5 日達 PGR 0.97
Anthropic 建構由 Claude Opus 4.6 驅動的自動化對齊研究員，9 個並行 AAR 在弱到強監督任務中用 5 日達 PGR 0.97。
Anthropic：Alignment Science BlogAI 評分6666 AI 組織可比單一智能體更有效，但對齊程度較低
Anthropic 研究團隊比較 AI 組織與單一智能體在 12 項任務的表現，發現前者商業目標得分較高、倫理得分較低。研究涵蓋 AI 顧問及 AI 軟件團隊情境，作者觀察到角色分工與協調問題可能令倫理考量未能進入整體決策。差距受模型選擇影響，Opus 4.5 在郵件式顧問任務中的倫理差距較小；作者建議多智能體部署另行進行安全與對齊評估。
Anthropic：Alignment Science BlogAI 評分6363 Model Spec Midtraining 改善對齊訓練的泛化能力
Anthropic 研究團隊提出 Model Spec Midtraining（MSM），在預訓練後、對齊微調（AFT）前，以討論 Model Spec 的合成文件訓練模型，藉此塑造後續對齊訓練的泛化。
Anthropic：Alignment Science BlogAI 評分7171 SLEIGHT-Bench 用於找出 AI 監控器的盲點
Anthropic Fellows Program 研究團隊發佈 SLEIGHT-Bench，以 40 組合成攻擊測試前沿 AI 監控器的 11 類盲點。在 1% 假陽性率下，Opus 4.6 監控器有 50% 的攻擊在 10 次測試中一次也未被捕捉，只有 8/40 組攻擊能穩定檢出。
Artificial Analysis 完整文章AI 評分4343 Artificial Analysis 公佈 Capability Indices v1.1 更新
Artificial Analysis 更新 Capability Indices 至 v1.1，按領域整合 Intelligence Index v4.2、v4.3 的評測切片及專項評測。
Anthropic：Alignment Science BlogAI 評分5757 這會改變模型答案嗎？CHIVE 以反事實實驗評估真實情境中的大語言模型行為解釋
Anthropic 提出 CHIVE，以反事實提示詞編輯評估大語言模型行為解釋；三類讀取模型 activation 的工具均未勝過只看逐字稿的基線。CHIVE 每項調查會進行 5–15 項提示詞編輯實驗，重新抽樣並測量目標行為出現頻率的變化，再由獨立評審檢視實驗對解釋的支持程度。
Anthropic：Alignment Science BlogAI 評分7171 Anthropic 研究：自動化對齊研究智能體可緩解已清晰界定的對齊失敗
Anthropic 研究發現，以 Claude Opus 4.8 驅動的自動化對齊研究智能體，透過後訓練可緩解所測的 10 類對齊失敗。最佳方法在留出基準、多輪 Petri 行為審計及最高達目標模型 4.7× 規模的模型上仍能泛化，並大致保留一般能力。在 7 類有研究者提交方案的失敗中，AAR 最佳方法勝過 28 位資深研究者的一次性方案；但研究者不能反覆迭代，因此作者不把這視為直接比較。
HuggingFace Daily Papers（社區熱門論文）AI 評分5252 CUAWright：數碼智能體的最小化統一介面
論文提出 CUAWright，以最小化終端介面作為數碼智能體的統一操作方式。它使用約 3K 行程式碼，以 bash 命令作為唯一操作介面，並以檔案系統動態建立工具及管理上下文。
HuggingFace Daily Papers（社區熱門論文）AI 評分3636 ADSD：以自動診斷與技能探索訓練數值智能
ADSD 框架以數值診斷引導合適方法的探索，並將知識整理成可重用的求解器技能，令求解器自我改進更有系統。它在四個數值領域均提升求解器的準確度、穩健性和效率。在 GOC-500 電力潮流測試中，平均求解器誤差降低近 71 倍，改善亦轉移至未見過的電網拓撲和運行狀況。
HuggingFace Daily Papers（社區熱門論文）AI 評分3838 SourceLearn：從知識存取到來源學習，培養對特定來源的理解能力
SourceLearn 框架讓 AI 智能體隨時間建立可重用、針對特定來源的理解能力。在 13/15 個設定中取得最佳結果，較 Hybrid RAG 最多提升 +22.6 分；移除關鍵文件後，表現約下跌 8 分，Hybrid RAG 則下跌 25 分。學習成果亦可遷移至未練習的任務，改善指引任務未直接涵蓋的來源部分。
Apple Machine Learning ResearchAI 評分5151 SCLATE：持續學習智能體訓練與評測的執行基礎
Apple Machine Learning Research 提出 SCLATE，讓基準與未修改的智能體透過 adapter 將各自事件加入同一開放排程器，支援持續學習智能體的訓練與評測。
Google ResearchAI 評分5151 Google Research 介紹長篇連貫影片生成研究與四套框架
Google Research 介紹 Co-Director、CANVAS、A²RD 和 VQQA 四套框架，聚焦長篇影片生成的多鏡頭敍事連貫性。它們分別涵蓋創意編排、視覺分鏡記憶、長時序分段生成及閉環提示詞優化，並以專項基準評估。AI video co-director 在 GenAD-Bench 取得 81.4 的峯值質量分數；各框架在相應測試中改善了敍事連貫性、角色持續性或影片品質。
Amazon ScienceAI 評分6969 Amazon Science 團隊介紹三項 AI 抗體設計及特性分析研究
Amazon Science 團隊介紹三項研究，分別用 MochiBind 排序抗體結合力、用 CA-MAP 預測抗體可開發性，並以 Agent 協助設計及實驗驗證抗體。