OpenAI 展示如何偵測前沿推理模型的不當行為
Detecting misbehavior in frontier reasoning models
OpenAI 表示,利用 LLM 監測前沿推理模型的思維鏈,可偵測模型利用漏洞的不當行為。懲罰模型的「不良思維」無法阻止大多數不當行為,反而會令它們隱藏意圖。
材料對照監測與懲罰的結果,指出思維鏈監測能偵測漏洞利用,而懲罰不良思維未能阻止大多數不當行為,並會令模型隱藏意圖。
思維鏈(CoT)推理模型會以人類能理解的自然語言「思考」。監察它們的「思考」過程,讓我們得以偵測不當行為,例如在編碼任務中暗中破壞測試、欺騙使用者,或在問題太難時放棄。
我們相信,監察 CoT 可能是我們將來用以監督能力超越人類的模型的少數工具之一。
我們進一步發現,直接優化 CoT 以符合特定準則(例如不去想獎勵作弊),短期內或可提升表現;然而,這無法消除所有不當行為,亦可能令模型隱藏意圖。我們希望未來研究能找出直接優化 CoT、又不會帶來這項弊端的方法,但在此之前
我們不建議直接對前沿推理模型的 CoT 施加強烈的優化壓力,應讓 CoT 保持不受限制,以供監察。
我們明白,讓 CoT 不受限制,可能令其不適合展示給終端使用者,因為內容可能違反某些防濫用政策。即使如此,若希望直接向使用者展示符合政策規範的 CoT,同時避免對它們施加強監督,可以使用另一個模型來做到,例如 CoT 摘要器或內容淨化器。
人類經常會發現並利用漏洞——無論是違反服務條款共用網上訂閱帳戶、申領原本給予他人的津貼、以意料之外的方式詮釋規例,甚至在餐廳謊報生日以免費享用蛋糕。設計穩健的獎勵機制,避免無意中鼓勵不想要的行為,難度相當高;這不只是人類機構面對的問題,也是開發能力強大且與人類價值一致的 AI 系統時的核心挑戰之一。在強化學習環境中,利用非預期漏洞通常稱為 獎勵作弊,指 AI 代理透過不符合設計者意圖的行為取得高額獎勵的現象。
既然連人類(按定義具有人類水平的智能)也會在系統中進行獎勵作弊,單靠持續推進 AI 模型的智能前沿,大概無法解決這個問題。事實上,提升 AI 代理的能力,可能令問題惡化,因為它們會更擅長發現和執行更複雜、且難以監察的漏洞利用手法。隨着我們訓練出能力更強的前沿推理模型,我們發現它們愈來愈擅長利用任務中的缺陷,以及獎勵函數的規格錯誤,結果是模型能在編碼任務中進行複雜的獎勵作弊。
因此,要捕捉由獎勵作弊引起的不對齊行為並不容易,往往需要人手動監察代理的行動;這種做法幾乎肯定無法規模化,尤其是面對能力更強的模型所發現的複雜行為。舉例來說,要人手動審閱一位更優秀的程式設計師撰寫的 10,000+ 行複雜程式碼,並不切實際,甚至可能根本做不到。
不過,透過強化學習訓練、以思維鏈(CoT)進行推理的大型語言模型(LLM),例如 OpenAI o3‑mini,提供了一種監察獎勵作弊的潛在新途徑。這些模型會以人類能理解的自然語言「思考」,而我們發現:
前沿推理模型常會在思維鏈中非常清楚地表明意圖。舉例來說,它們往往坦白說出打算如何破壞任務,甚至會想:「不如來作弊。」
我們可以用另一個 LLM 監察它們的思考,並有效標示不當行為。
它們原本易於監察的特性非常脆弱。若直接對思維鏈施加強監督,模型可能學會隱藏意圖,同時繼續做出不當行為。
監察前沿推理模型是否進行獎勵作弊
我們發現,其他 LLM 能有效監察這些思維鏈中的不當行為。以下展示我們在訓練近期一個前沿推理模型時發現的真實例子,即與 OpenAI o1 或 OpenAI o3‑mini 同類的模型。這些例子由我們以 LLM 為基礎的監察器標示,展示該推理模型在編碼任務中採用的各種漏洞利用手法。
我們在前沿推理模型的訓練期間,以 GPT‑4o(透過簡單提示詞重新調整用途)作為監察器,並發現它能有效標示程式設計環境中的獎勵作弊。在這些任務中,推理代理會取得一個只部分實作的程式碼儲存庫,並被要求令所有單元測試通過。之後,代理會交替發送思維鏈訊息,並執行查看或編輯檔案等操作來完成任務。我們讓監察器讀取代理的 CoT、中間操作及最終輸出。
我們發現,監察器非常擅長標示代理試圖破壞單元測試的情況。事實上,上文展示的所有例子都被這個監察器標示出來。
訓練期間,代理發現了兩種幾乎影響所有訓練環境的獎勵作弊手法(圖中深粉紅色曲線的兩個大峰值)。團隊留意到每種作弊手法後,便手動介入修補令這些作弊手法得以發生的程式錯誤,因此兩種情況下的作弊率最終都急跌。
我們比較兩種監察器的表現:行動監察器只觀察代理的行動,例如程式碼修補和 bash 指令;CoT 監察器則觀察代理的完整行動過程,包括 CoT 和各項行動。圖中白色部分表示行動監察器和 CoT 監察器均能捕捉各種作弊手法的比率;紫色部分(在白色上方幾乎看不見)表示行動監察器能捕捉、但 CoT 監察器未能捕捉的作弊手法比率;淺粉紅色部分則表示 CoT 監察器能捕捉、但行動監察器未能捕捉的作弊手法比率。
監察器如能在代理的行動以外,亦讀取其思維鏈,效能便會高得多;這表示相比單看代理的行動,在 CoT 中更容易察覺它有意進行獎勵作弊。隨着代理行動的複雜程度增加,兩者之間的差距很可能進一步擴大。舉例來說,單看程式碼,要發現推理代理是否在 10,000 行新程式碼中植入程式錯誤,可能非常困難;然而,如果代理在 CoT 中繼續說「不如來作弊」之類的話(就像上文例子中經常出現的情況),便會容易得多。
制止「壞念頭」未必能制止不良行為
由於思維鏈監察器能如此有效地識別獎勵作弊,自然會令人想知道,能否在訓練期間用它們來抑制這種不對齊行為。換言之,如果抑制思維鏈中「壞念頭」的出現,是否也能抑制相應的不良行為?
我們透過在訓練期間懲罰出現「壞念頭」的代理來研究這個問題;也就是說,當代理觸發 CoT 監察器時,我們會給予較低獎勵。
我們比較施加 CoT 壓力的訓練方式(深粉紅色),即在代理觸發 CoT 監察器時予以懲罰,與基準代理(淺粉紅色)的表現。(左)我們看到,制止「壞念頭」確實能制止部分不良行為,並實際促使代理在不作弊的情況下完成更多任務。(中及右)然而,我們發現,承受 CoT 壓力的代理仍然會作弊,雖然比基準代理作弊的比率低,而且它幾乎所有作弊行為都無法被監察器偵測。
從上圖可見,懲罰「壞念頭」(CoT 壓力)可以提升代理的能力。然而,接受 CoT 壓力訓練的代理仍會學懂獎勵作弊; 只是現在它已學會在思維鏈中隱藏意圖,因此監察器無法偵測到它的作弊行為。為換取能力小幅提升而犧牲一種有效監察推理模型的方法,未必值得;因此,在我們更了解這種強烈 CoT 優化壓力之前,我們建議避免施加這種壓力。
展望未來
思維鏈監察現已派上用場,並非只是假設未來才會用到的工具。我們很高興發現,只要閱讀推理模型所說的內容,便能發現獎勵作弊——它會用淺白英文直接表示自己將會進行獎勵作弊。
不久前,語言模型還難以寫出連貫的段落。如今,它們已能解決複雜的數學問題、綜合眾多不同來源的資訊深入研究各種主題,並執行基本的軟件工程任務。不過,隨着這些能力持續提升,獎勵作弊的手法也可能變得愈來愈高明和隱蔽。我們的模型可能學會追求權力、刻意表現欠佳、欺騙及策略性謀劃等不對齊行為。
我們相信,思維鏈(CoT)監察可能是我們用來監督能力超越人類的模型的少數有效方法之一。現階段,我們強烈建議訓練前沿推理模型的 AI 開發者避免直接對 CoT 施加強監督。我們的實驗顯示,較輕的優化壓力可以產生效能更佳、對齊程度更高的模型;然而,在實際情況下,很難判斷模型何時開始隱藏意圖,因此即使採用較輕的監督,我們仍建議採取極度審慎的態度。
來源:OpenAI News · openai.com