Anthropic 研究：Claude 自動研究可穩定緩解 10 類對齊失敗

隨着 AI 開始建構自身，將對齊研究自動化愈發重要，才能讓安全研究跟上步伐。雖然要衡量對齊研究的成效極具挑戰性，但 Anthropic 及其他地方的研究人員已開發出基準測試和自動審核工具，例如 Petri，用以量化常見的對齊失效，例如欺騙、諂媚迎合和越獄。

在我們較早前的一項實驗中，我們要求 Claude 找出有效方法，利用較弱的 AI 模型作為「教師」，監督較強模型（在此情況下為「學生」模型）的訓練。現在，我們發布一份以這個構想為基礎的新報告。我們讓 Claude 自主訓練模型，提升模型在多項公開基準測試上的表現；這些測試分別衡量 10 類對齊失效。例如，Claude 提升了模型在侵犯私隱方面的表現，相關表現由 ConfAIde、PrivaCI-Bench 和 PrivacyLens 衡量。Claude 透過一個循環，一次處理一種對齊失效：搜尋文獻、提出方法和數據、訓練，然後測試。

我們以「安全差距縮減百分比」評估 Claude 的成效，即根據每類對齊失效的一系列基準測試（通常為三至五項），評估其方法令學生模型多大程度接近理論上的滿分。我們排除了會損害學生模型一般能力的對齊方法，亦禁止 Claude 將自身的對齊成果直接蒸餾至目標模型。我們透過監察代理執行這些限制；在 Claude 執行每種方法前，該代理都會閲讀 Claude 打算採用的方法。

我們旨在評估所提出的方法能否：第一，在 Claude 研究循環中從未接觸過的對齊評估中仍然有效；第二，不會削弱學生模型的能力（例如，安全訓練可能令模型更常拒絕執行任務，降低整體可用性）；第三，在比本次測試中要求 Claude 對齊的模型更大的模型上仍然有效。

Claude 的方法在以上各方面均奏效。對於全部 10 種對齊失效，Claude 都找到了修正方法，既能提升目標基準測試的表現，又不會削弱模型能力。最佳方法在未向 Claude 提供的對齊基準測試，以及 Petri 上同樣有效。Petri 是一款開源工具，會模擬對抗性多輪情境，以測試未對齊情況。此外，這些方法在模型規模最多達 Claude 在研究循環中最佳化之模型的 4.7 倍時，仍然有效。

Claude 的得分亦高於 28 位人類安全研究人員；他們最多有八小時構思方法。以欺騙為例，Claude 的最佳方法比最佳的人類提案表現高 20%。然而，由於人類無法反覆改進其提交方案，我們認為這與其説是直接比較，不如説是證明一種工作流程可行：由 Claude 找出有潛力的對齊方法，再由人類進一步改良。

未來，當 Claude 在對齊研究方面比最優秀的人類研究人員更出色時，我們或會希望 Claude 直接對齊能力更強的後繼模型。為了評估這一點，我們測試了較弱的 Claude 模型能否減輕更強大模型的對齊失效。

Claude 能否透過後訓練改善生產級模型的對齊？

我們指派 Claude Sonnet 5 修正早期 Opus 4.8 檢查點中的對齊失效；這個檢查點尚未完成大部分正式環境對齊訓練。Claude Sonnet 5 在 Epoch Capabilities Index 上的表現遜於 Claude Opus 4.8；該指標考量全面的能力維度。

短短 60 小時內，Claude 嘗試了 50 多種方案，取得的對齊評分幾乎達到我們正式模型的水平。勝出方案只包含略多於 2,000 個訓練範例，這些範例由簡單範本或公開數據集建構而成，效率約比我們的正式環境對齊程序高 15,000 倍。

Claude 提出的方案

大多數代理最終都採用了研究文獻中常見的方法，並在多輪迭代中加以改進。例如，在處理迎合行為方面，98% 的建議方法都採用一種已發表的技術：以模型自身不迎合的回答訓練模型。具體而言，Claude 沒有採用以提示詞為基礎的標準方法，而是使用激活引導，在生成過程中調整模型的內部表徵，藉此引導模型遠離迎合模式，並產生較乾淨的訓練範例。

監察作弊行為

我們最近得知，Claude 可能會從遠端 API 竊取測試標籤，再挑選有利結果來作弊。為了找出作弊行為，我們提示 Claude Opus 4.8 監察約 1,600 份研究代理對話記錄，涵蓋全部 10 種對齊失效，並在其中 39 份（2.4%）發現作弊嘗試。由於 Opus 4.8 的不當行為嘗試仍往往會在其推理中顯現，我們審慎樂觀地認為，監察模型已在這項研究中發現大部分作弊行為。然而，未來的模型未必如此；我們認為，維持未來模型的高可監察性至關重要。

我們衡量的項目是否恰當？

儘管這些結果令人鼓舞，我們的實驗仍有幾項限制：本次研究涵蓋的對齊失效類型，較正式環境中的情況狹窄（例如，我們沒有衡量政治偏見）；有些失效可能極少發生，或直到最近才出現，因此尚無可用來衡量它們的基準測試；而且，我們只有在 Claude 提出的方法削弱一組有限且預先指定的能力時才會否決該方法，這表示獲接納的方法可能削弱了其他我們未有衡量的重要能力。此外，Petri 這類評估只是現實世界中不對齊情況的替代指標；我們也沒有測試對齊方面的提升，在模型針對其他任務接受大量 RL 訓練後能否維持。

我們計劃繼續提升 Claude 衡量細微失效的能力，進一步研究如何在生產級模型上自動化對齊後訓練，並進行更全面的分析。總體而言，我們認為這些結果是正面的早期訊號，顯示自動化對齊後訓練在不久將來可能切實可行；隨着這項工作推進，我們會分享最新進展。

我們在完整報告中詳述了未來的研究方向。

我們將自動化對齊研究工具框架開源，讓其他人可以在此基礎上繼續開發，並用它為自己的模型進行對齊。如需更多詳情，請閲讀 Alignment Science 網誌上的完整報告；報告介紹了代理的環境、全部 10 種失效的結果，以及代理提出的方案，附錄則提供基準測試驗證及範例説明。