跳到正文
目前篩選:論文
  1. OpenAI News72

    OpenAI 公佈研究加速報告,指出 AI 研發能力提升不均

    OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。

    推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。

  1. Microsoft Research71

    TokenEconomizer:從經驗學習,提升 AI 編碼智能體效率

    TokenEconomizer 是 UC Berkeley、Microsoft Research 和 Microsoft Security 開發的開源插件,透過程式碼庫過往工作階段學習,降低 AI 編碼智能體後續任務的成本。

    推薦理由:研究在 277 項修復程式錯誤任務中評估跨工作階段學習,呈現智能體利用程式碼庫經驗降低成本、同時維持大致穩定任務成功率的做法。

  1. Anthropic:Alignment Science Blog76

    Anthropic 研究團隊紅隊測試 Claude Code Auto Mode,並提出阻擋分類器改進方案

    Anthropic 研究團隊以 Opus 5 紅隊代理測試 Claude Code Auto Mode 與 OpenAI Codex Guardian,發現生產環境監控器未能阻擋超過 55% 的攻擊。

    推薦理由:研究以多種攻擊方式測試 Claude Code Auto Mode 與 Codex Guardian,並呈現跨上下文防護效果與延遲成本之間的取捨。

  1. Berkeley RDI:Blog77

    CyberGym:大規模評估 AI 智能體的真實世界網絡安全能力

    Berkeley RDI 發表 CyberGym 基準,涵蓋 188 個開源項目的 1,507 個真實漏洞,並以執行測試評估 AI 智能體重現漏洞的能力。CyberGym 評測中,Claude-Sonnet-4.5 單次成功率為 28.9%,30 次試驗升至 66.7%;研究另確認 10 個此前未知的零日漏洞及 17 宗不完整修補案例。

    推薦理由:CyberGym以1,507個真實漏洞評估智能體的漏洞重現能力,並列出發現零日漏洞及不完整修補的案例,呈現基準測試與實際安全工作的關聯。

  1. GitHub Blog · AI & ML63

    GitHub 推出 ReviewBench,作為 AI 程式碼審查開放基準

    GitHub 推出 ReviewBench,作為評測 AI 程式碼審查智能體的離線基準,研究預覽版已可透過網站使用。

    推薦理由:ReviewBench以219個跨19種語言的公開PR建立評測集,並公開多來源標註與評分方法;資深工程師判斷與基準的一致率為96.6%。

已經到底了