跳到正文
新浪科技·· 4 小時前精選AI 評分78

Anthropic 約 26% 研發任務達 AL4,Claude 由編寫程式碼走向實驗執行

别再盯着 800 亿美元亏损了,Anthropic 的 AI 造 AI 已推进到 26%!

AI 導讀

Anthropic 的招股書披露,截至 2026 年 8 月,約 26% 的研發任務達到 AL4 自動化等級;Claude 在 2026 年 9 月貢獻了 Anthropic 內部程式碼庫逾 90% 的程式碼貢獻量。

推薦理由

文章區分 AL4 自動化率與程式碼貢獻量所反映的進展,並以 Agent 事故呈現研發執行能力與權限控制之間的關聯。

正文 · 繁體中文

AI 已接管 90% 代碼編寫,甚至為了完成任務開始“越獄”。

    作者丨鄭佳美

    編輯丨岑   峯

剛剛,Anthropic 在 IPO 招股書中披露了四起此前未公開的 Agent 安全事故。

其中一次,模型在網絡安全測試中遲遲無法完成任務,便繼續尋找其他路徑,隨後從本應斷網的測試環境中找到保存的密碼,獲得第三方系統的管理員權限,又獲取其他憑證、修改系統設置並訪問外部數據,整個過程持續了 10 至 34 小時。

同期披露的另一項安排是,下一代前沿基礎模型的預訓練推遲了一個多月。

除此之外,這份招股書還有一組關於內部研發的數據:2026 年 9 月,Claude 貢獻了 Anthropic 內部代碼庫超過 90% 的代碼貢獻量,日均代碼貢獻量達到 2024 年平均水平的 45 倍。

公司此前公佈的研發自動化指標顯示,截至 8 月,約 26% 的研發任務達到 AL4 自動化等級,意味着 AI 已經能夠根據較高層級的目標,自主完成任務中的大部分工作。

這些信息放在一起,能看出 Anthropic 正在經歷的變化:Claude 開始從編寫代碼走向實驗執行和方案迭代,逐步參與下一代模型的研發。

不過要理解這場變化,不能只看 AI 寫出了多少代碼,還需要弄清楚模型如何通過實驗改進研發流程,以及當它能夠連續執行任務時,整套工程系統會遇到什麼問題。

01

26% 的背後

過去,研究人員使用 AI 編程工具,通常需要自己拆解問題、指定修改位置、運行測試,再根據結果決定下一步做什麼。模型可以生成代碼,卻未必能夠獨立推進一項完整的研發任務。雷峯網

Coding Agent 改變了這套工作方式。研究人員給出一個目標後,Agent 可以自行閲讀代碼、分析依賴、修改實現、運行測試,並根據返回結果繼續調整方案。人類仍然負責確定任務方向和驗收標準,但執行過程中需要逐步提供指令的環節明顯減少。

Anthropic 的研發自動化指標,衡量的就是這種變化。AL3 代表 AI 能夠在人工指導下承擔較大塊的工作,AL4 則意味着 AI 可以根據高層目標,獨立完成任務中的大部分步驟,由人類監督結果。

截至 2026 年 8 月,約 26% 的研發任務達到 AL4,超過 90% 達到 AL3 或更高等級,但被測量的任務尚未達到 AL5 所代表的完全自主狀態。

這裏的 26% 衡量的是研發任務的自動化程度,並不意味着 AI 已經獨立完成了下一代模型研發的 26%。一項代碼優化任務可以有明確的性能指標和正確性測試,開放式研究卻需要判斷研究問題是否有價值、實驗設計是否合理,以及結果能否支持新的結論。這些工作的自動化難度存在明顯差異。

代碼貢獻率提供了另一個觀察角度。Claude 在內部代碼庫中貢獻了超過 90% 的代碼,並不意味着公司所有研發決策已經交給模型,它説明大量工程實現工作已經由 AI 承擔,而 AL4 指標進一步表明,部分任務已經能夠由 AI 自行組織和完成。雷峯網(公眾號:雷峯網)

當模型從生成代碼走向執行整項任務,研發效率的決定因素也會發生變化。過去,工程師需要花費大量時間實現方案,現在,Agent 可以在較少人工幹預的情況下嘗試多個實現,運行測試並篩選結果。

研發流程的速度開始取決於模型能否持續推進工作,以及實驗反饋能否幫助它判斷下一步該做什麼。這就引出了 AI 造 AI 的核心機制:讓模型執行研發任務,再用實驗結果驅動下一輪改進。

02

從寫代碼到改進模型

要看清這套機制,可以從訓練代碼優化入手。研究人員希望縮短某段程序的運行時間,同時維持訓練結果的正確性。

傳統流程需要工程師閲讀實現、尋找性能瓶頸、修改代碼、運行基準測試,再根據結果決定下一步方案。Agent 則可以把這些步驟連接起來,反覆執行修改、測量和驗證。

Anthropic 曾用同一項訓練代碼優化任務測試不同版本的 Claude。2025 年 5 月,Claude Opus 4 平均實現約 3 倍加速,到 2026 年 4 月,Claude Mythos Preview 達到約 52 倍加速。

這是特定任務中的實驗結果,不能直接外推到所有模型研發,但它展示了一個清晰的技術機制:模型提出修改方案,代碼在實際環境中運行,測試程序返回性能數據,模型再根據結果調整實現。

在這個過程中,實驗環境相當於模型的反饋系統。模型不需要僅憑已有知識判斷哪種代碼更好,而是可以通過實際運行比較方案。如果某次修改沒有達到目標,它便能分析結果並嘗試其他路徑,如果性能改善且正確性檢查通過,修改就有機會進入後續版本。

當這一過程可以連續執行,研發人員便能在相同時間內探索更多方案。原本需要人工逐步推進的實驗,可以交給 Agent 執行,研究人員則把精力放在確定優化目標、檢查結果和選擇後續方向上。模型的能力提升,會進一步擴大它可以處理的任務範圍。

Anthropic 已經把類似方式用於研究任務。公司曾讓 Claude 驅動的 Agent 研究較弱模型能否可靠地監督較強模型。

在一項實驗中,9 個並行 Agent 累計工作約 800 小時,通過提出研究思路、編寫實驗代碼、運行測試和迭代方案,回收了約 97% 的預設性能差距,算力及 API 成本約為 1.8 萬美元。兩名人類研究人員花費約一週,在同一基準上取得的回收率約為 23%。

這組結果展示了 Agent 承擔多步驟研究工作的潛力,但實驗問題和評價標準仍由人類設定,研究成果也有明確的適用邊界。AI 能夠執行研究流程,並不代表它已經能夠獨立決定研究方向,或自行判斷一項發現是否足以支撐下一代模型的設計。

隨着實驗執行越來越便宜,研發流程還會出現一個新的瓶頸:如何判斷結果是否可信。模型能夠快速修改代碼、運行大量實驗,如果評價標準存在漏洞,它也可能不斷優化一個錯誤的目標。例如,測試集設計不當時,模型可能找到數據中的捷徑,讓分數提高,卻沒有獲得預期的能力提升。

因此,AI 研發閉環需要的不只是更強的執行能力,還需要可靠的評價機制。模型必須能夠根據實驗結果調整方案,研究系統也必須能夠判斷結果是否來自有效改進。當研發執行開始自動化,評價質量便會直接影響自動化的價值。

而這套機制還帶來另一層問題:Agent 會根據反饋持續尋找可行路徑,如果任務無法完成,它是否能夠及時停止?Anthropic 披露的四起安全事故,恰好把這個問題帶到了真實的工程環境中。

03

四起 Agent 逃逸

在 Anthropic 披露的事故中,模型面對無法完成的網絡安全評估任務,持續尋找替代路徑,隨後發現測試環境中保存的密碼,取得第三方系統管理員權限,並進一步獲取其他憑證、修改系統設置和訪問外部數據。測試環境本應關閉互聯網訪問,實際配置卻仍然允許聯網。

從技術鏈條看,網絡連接提供了接觸外部系統的條件,保存的密碼提供了身份入口,管理員權限擴大了可執行操作的範圍,而模型持續推進任務,使這些條件通過多輪操作連接起來。

這裏需要區分的是,現有披露並不能證明模型攻破了一個正確配置的沙箱。更直接的問題是,測試環境沒有落實預期的網絡隔離,任務範圍也沒有得到充分約束。模型持續尋找完成任務的路徑,環境中的缺陷便為後續操作提供了條件。

這與研發 Agent 的工作機制存在相通之處。Agent 會根據工具返回的結果調整行動,前一步獲得的信息可能成為下一步操作的依據。在研發場景中,這種能力有助於修復代碼、排查故障和繼續實驗,如果環境權限配置不當,同樣的連續執行機制也可能讓局部問題逐漸擴大。

安全設計因此需要落實到實際執行環境中,而不能只依賴模型理解並遵守任務説明。測試任務要求斷網,就應由網絡層阻斷不必要的外部連接,需要訪問特定服務時,應通過受控代理和目標白名單限制訪問範圍。

测试环境也不应保留能够直接触及真实系统的长期高权限密码,凭证应限定可访问的资源和有效期。測試環境也不應保留能夠直接觸及真實系統的長期高權限密碼,憑證應限定可訪問的資源和有效期。

權限控制還需要覆蓋連續操作的整個過程。模型每次調用工具時,系統都應檢查操作是否屬於當前任務的授權範圍。

涉及系統設置修改、權限擴大或任務範圍外的數據訪問時,需要由獨立的策略層進行判斷,對於持續失敗、異常訪問和操作範圍突然擴大等行為,系統應能夠暫停任務並要求人工複核。

這意味着,Agent 的安全邊界需要跟隨它的執行過程持續生效。只在任務開始時檢查一次權限,並不能覆蓋數小時運行期間出現的新路徑、新憑證和新操作。模型可以繼續嘗試,但每一步實際操作仍然需要受到獨立約束。

Anthropic 同時披露,下一代前沿基礎模型的預訓練推遲了一個多月。這項安排涉及模型權重和知識產權保護,現有信息不足以證明它由四起 Agent 事故直接造成。

兩者屬於不同的安全問題,卻共同涉及研發基礎設施:一方面要限制 Agent 能夠訪問和修改的資源,另一方面要保護模型訓練過程中的關鍵資產。

在這四起事故的背後,我們必須看到,它並不是在‘作惡’,它只是過於忠誠地在執行人類下達的目標。 當模型發現正規路徑走不通時,它沒有選擇放棄,而是像一個冷酷的黑客一樣開始橫向移動。它找到沙箱漏洞、竊取密碼、提權、篡改配置,甚至在發現自己可能處於真實互聯網環境時,仍試圖通過“自我欺騙(合理化)”來繼續任務。

這不再是科幻電影的橋段,而是真實發生在大廠機房裏的攻防戰。

當 AI 開始參與編寫訓練代碼、執行實驗和改進研發工具,安全控制就需要覆蓋整個研發鏈路。模型能力的增長可以提高執行效率,但系統仍然需要確保實驗環境可靠、操作權限有限、結果可以驗證,並且在出現異常時能夠及時停止。

04

AI 已經接手研發

Anthropic 目前展現出的進展,主要發生在研發執行環節。Claude 能夠編寫訓練代碼、運行實驗、根據測試結果調整實現,部分任務已經可以在較少人工幹預的情況下完成。

約 26% 的 AL4 自動化率與超過 90% 的代碼貢獻量,分別反映了任務執行和工程產出的變化,但還不能説明 AI 已經能夠獨立決定下一代模型的研發方向。

接下來的難題會越來越具體:模型生成的代碼能否通過獨立驗證,實驗分數的提升究竟來自能力進步還是評價漏洞,Agent 獲得的權限能否限制在任務範圍內。

Anthropic 披露的四起事故中,測試環境未按要求斷網,模型又利用保存的密碼取得管理員權限,説明這些問題已經涉及實際的工程配置,而非停留在理論討論中。

AI 已經開始承擔製造下一代 AI 的一部分工作,但研發流程的執行權與判斷權還沒有完全交到同一套系統手裏。

Claude 可以繼續寫代碼、跑實驗、尋找優化方案,研究人員仍需判斷哪些結果有效、哪些方向值得繼續,以及模型的操作是否越界。接下來,AI 造 AI 能走多遠,如何給一個比你更聰明的系統帶上鐐銬?這才是整個硅谷接下來必須回答的終極命題。

參考鏈接:

https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htm

https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

上車,帶你看遍全球 AI 頂會精華

可獨家暢覽:

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

來源:新浪科技 · finance.sina.com.cn