OpenAI 公佈研究加速報告,指出 AI 研發能力提升不均
OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。
推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。
OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。
推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。
TokenEconomizer 是 UC Berkeley、Microsoft Research 和 Microsoft Security 開發的開源插件,透過程式碼庫過往工作階段學習,降低 AI 編碼智能體後續任務的成本。
推薦理由:研究在 277 項修復程式錯誤任務中評估跨工作階段學習,呈現智能體利用程式碼庫經驗降低成本、同時維持大致穩定任務成功率的做法。
Anthropic 發佈研究,稱 Claude 已為 123 個開源程式庫的 239 個模糊測試入口,在 RISC-V 組合語言層級生成機器核查的安全性形式證明。
推薦理由:這項工作把既有模糊測試轉成可由 Rocq 核查的形式證明,並交代其架構與執行假設,呈現證明的適用範圍。
Anthropic 研究團隊以 Opus 5 紅隊代理測試 Claude Code Auto Mode 與 OpenAI Codex Guardian,發現生產環境監控器未能阻擋超過 55% 的攻擊。
推薦理由:研究以多種攻擊方式測試 Claude Code Auto Mode 與 Codex Guardian,並呈現跨上下文防護效果與延遲成本之間的取捨。
Anthropic 發佈報告稱,至 2026 年 8 月,員工部署的交互式 AI 智能體工作時長達人類員工的 6 倍,初級技術職位招聘佔比則由 27% 降至 9%。
推薦理由:報告並列智能體工時、工程師程式碼產出與初級職位招聘數據,呈現 AI 提升產出之餘,如何改變團隊分工和招聘標準。
Berkeley RDI 發表 CyberGym 基準,涵蓋 188 個開源項目的 1,507 個真實漏洞,並以執行測試評估 AI 智能體重現漏洞的能力。CyberGym 評測中,Claude-Sonnet-4.5 單次成功率為 28.9%,30 次試驗升至 66.7%;研究另確認 10 個此前未知的零日漏洞及 17 宗不完整修補案例。
推薦理由:CyberGym以1,507個真實漏洞評估智能體的漏洞重現能力,並列出發現零日漏洞及不完整修補的案例,呈現基準測試與實際安全工作的關聯。
GitHub 推出 ReviewBench,作為評測 AI 程式碼審查智能體的離線基準,研究預覽版已可透過網站使用。
推薦理由:ReviewBench以219個跨19種語言的公開PR建立評測集,並公開多來源標註與評分方法;資深工程師判斷與基準的一致率為96.6%。