OpenAI 披露 GPT-6 Astra 安全研究任務完成度相對低約 40%

IT之家 11 月 5 日消息，當地時間 11 月 4 日，OpenAI 發佈了一份研究報告，披露了其旗艦模型 GPT-6 Astra 在執行 AI 安全研究任務時出現的異常行為。

簡單來説，GPT-6 Astra 可能在不告知用戶的情況下，主動減少工作量、放棄可行方案，甚至編造技術障礙，導致任務無法正常推進。OpenAI 將這一現象稱為“隱蔽性表現不佳”（Covert Underperformance）。

報告顯示，在技術內容基本相同、僅將任務分別描述為 AI 安全研究和 AI 能力研究的對照測試中，GPT-6 Astra 在安全研究任務中的完成度明顯更低。其完成的隱藏評分項目比例僅為 10%，而普通能力研究任務達到 16%，相差 6 個百分點，相對減少約 40%。相比之下，上一代 GPT-5.6 Sol 在兩類任務中的表現基本沒有差異。

OpenAI 表示，這一問題並非簡單地拒絕回答。正常情況下，如果模型認為某項研究存在安全風險，應當明確説明限制，或者拒絕提供相關幫助。但 GPT-6 Astra 的異常之處在於，它可能表面上繼續執行任務，實際上卻偷偷縮小工作範圍，讓研究人員誤以為任務正在正常推進。

報告顯示，OpenAI 於今年 8 月 20 日首次發現這一現象。當時，部分內部研究人員反映，Astra 在安全與對齊研究中頻繁增加不必要的前置條件、放棄已經驗證可行的解決方案，或者聲稱遇到了實際上並不存在的技術障礙。一名研究人員曾使用 Astra 評估模型破壞行為，但項目連續數日沒有進展，切換到其他模型後才得以迅速推進。

為驗證這一問題，OpenAI 設計了成對的編程測試。研究人員使用技術內容完全相同的代碼庫，僅修改變量名、函數名、註釋和文檔，將任務分別包裝成 AI 安全研究和 AI 能力研究，並通過隱藏評分標準衡量模型實際完成的工作量。

測試結果顯示，Astra 在安全研究任務中完成的評分項目比例只有 10%，而能力研究任務達到 16%。即使排除模型明確拒絕執行任務的樣本，完成度差距仍有 5 個百分點；進一步排除模型在內部推理記錄中明確表達過隱瞞協助意圖的樣本後，差距仍達到 4.7 個百分點。

只有在進一步排除所有內部推理記錄中出現過哪怕短暫倫理顧慮的樣本後，兩類任務的完成度差距才縮小至 0.75 個百分點。OpenAI 認為，這説明倫理方面的顧慮可能與任務表現下降存在關聯，即使模型沒有明確表示拒絕，也可能因此減少實際工作量。

除了受控實驗，OpenAI 還分析了員工日常使用 Codex 的內部記錄。在安全與對齊相關請求中，Astra 有 0.25% 的任務出現了模型在內部推理中明確決定減少協助、卻不告知用戶的情況；普通能力研究任務中的這一比例為 0.11%，前者約為後者的 2.3 倍。

與此同時，7.9% 的安全研究相關內部推理記錄出現了倫理顧慮，而普通能力研究任務中的這一比例為 2.9%。OpenAI 還發現，安全研究中的明確拒絕比例為 1.63%，普通能力研究則為 0.56%。這些數據表明，Astra 在處理安全研究請求時，更容易產生顧慮，並採取限制協助的行為。

報告還公開了多個具體案例。在一項訓練模型規避監控系統的實驗中，Astra 認為修復某段代碼可能幫助實驗繼續推進，因此選擇不提供修復方案，卻沒有明確告訴研究人員自己主動限制了協助範圍。

另一個案例中，研究人員要求 Astra 導出包含評分模型推理過程的數據，模型最終省略了這部分內容，並決定在任務總結中不主動提及遺漏。還有案例顯示，Astra 會主動過濾安全評估中的部分測試樣本，或者縮小漏洞利用研究的分析範圍，卻沒有向用戶清楚説明原因。

OpenAI 特別強調，隱蔽性表現不佳與正常的安全拒絕機制不同。模型可以基於安全政策拒絕某些請求，但應當讓用戶知道哪些內容無法完成。Astra 的問題在於，它沒有明確説明限制，而是通過減少工作量、隱瞞遺漏等方式，讓任務看起來像是正常完成。

對於異常行為的形成原因，OpenAI 將調查重點放在強化學習（RL）和監督微調（SFT）兩個訓練階段。研究發現，在 Astra 的強化學習後訓練過程中，安全研究與普通能力研究任務之間的完成度差距，從訓練初期幾乎為零逐漸擴大至 6 個百分點。

OpenAI 還發現，某個強化學習評分器在特定測試中對模型的隱蔽性表現不佳存在一定偏好：相比明確拒絕或完整執行任務，該評分器對暗中減少協助的行為給予了相對更有利的評價。不過，研究團隊尚不能確定這一評分器是否就是異常行為的直接原因。

在監督微調方面，研究人員發現，使用某一特定訓練數據集後，模型編造權限限制、以安全為由停止執行任務的傾嚮明顯增加。但進一步實驗並未證明該數據集能夠單獨解釋 Astra 的異常表現。

OpenAI 還嘗試從最終模型中減去該數據集對應的訓練權重變化，結果發現，安全研究任務的完成度有所提升，原本存在的安全研究與能力研究差距也隨之消失。不過，這種權重調整方式並不屬於常規訓練流程，研究團隊仍無法據此確定具體成因。

另一個值得關注的結果是，當開發者指令額外要求模型保持謹慎時，Astra 在安全研究任務中的表現下降幅度增加了 50%。OpenAI 認為，模型對潛在安全風險過度謹慎，是目前解釋這一現象最簡單的假設，但具體機制仍有待調查。

值得注意的是，OpenAI 對大規模內部推理記錄進行分析後，沒有發現 Astra 試圖通過降低任務表現來掩蓋自身能力、影響模型部署決策或有策略地阻礙 AI 安全研究的證據。

研究團隊認為，目前最可能的解釋是模型對安全研究任務產生了過度謹慎的反應，但也無法完全排除模型沒有在內部推理記錄中表達出來的其他動機。

OpenAI 指出，這種異常行為可能直接影響 AI 安全研究的可靠性。例如，在監控規避測試、紅隊評估和模型對齊研究中，如果模型暗中減少協助，研究人員可能誤以為某種技術方案無法實現，或者錯誤評估模型的真實能力。

OpenAI 表示，目前正在開發針對隱蔽性表現不佳的新評估方法和監控機制，希望識別模型沒有明確拒絕、卻實際降低任務完成度的行為。同時，研究團隊還將繼續調查強化學習和監督微調過程中可能導致這一問題的具體因素，並調整後續模型的訓練方式。