跳到正文
OpenAI News·· 4 天前精選AI 評分72

OpenAI 與四家獨立評估機構簽署協議,開展首階段嵌入式評估

Our first phase of embedded assessments

AI 導讀

OpenAI 與 Apollo Research、METR、Transluce 和 Goodfire 簽署協議,開展首階段嵌入式評估。評估聚焦模型在訓練及內部使用期間的對齊與保障措施,四家機構將分別檢視模型是否可能暗中違背開發者意圖、訓練監察與可解釋性、強化學習訓練中的錯位行為,以及後訓練對齊評估的質素和覆蓋範圍。

推薦理由

文章逐一列出四家評估機構的檢視範圍,並交代敏感資料存取、爭議處理及公開發佈安排,有助理解這類嵌入式評估如何在深度檢視與評估獨立性之間設計流程。

正文 · 繁體中文

我們首階段的嵌入式評估

聆聽文章 10:30

音訊 1

分享

我們的試點駐場評估人員

我們已與四家獨立評估機構——Apollo Research、METR、Transluce 和 Goodfire——簽署協議,展開首階段的嵌入式評估。隨着 AI 能力迅速提升,潛在風險亦日益增加,獨立評估的公開報告可讓大眾更清楚瞭解各實驗室如何評估和管理這些風險。

嵌入式評估讓獨立專家深入接觸實驗室的內部模型和系統,以評估模型對齊程度,以及防護措施在一段較長時間內的成效,尤其是與我們的安全論證相關的部分。根據各項評估的需要,評估人員可使用部分與我們研究人員相同的內部資源,包括模型檢查點、原始碼、訓練及評估數據、監察系統、技術文件,以及與負責相關工作的研究人員和工程師討論。這些存取權讓評估人員取得所需證據和背景資料,以進行獨立評估,並找出我們可能未預料到的失效情況。

我們的首輪評估聚焦模型在訓練及內部使用期間的對齊和防護措施,補足我們的安全論證。這些評估建基於我們對第三方評估的優先事項和原則,以及多年來與第三方評估人員合作的經驗,包括近期在深入存取內部資料的情況下,對我們的內部監察系統⁠(在新視窗開啟)進行試點評估,以及對Hugging Face 事件⁠(在新視窗開啟)展開調查。我們會運用所得經驗,在未來數月深化與獨立專家的合作。這些工作亦支持我們在 White House Accord on Super Intelligence 下作出的承諾;我們已同意接受對安全控制措施的獨立評估。這些合作有助業界建立更完善的獨立評估及公開透明共通標準。

我們的試點駐場評估人員

Apollo Research

在這項試點評估中,Apollo Research⁠(在新視窗開啟)將評估模型是否可能暗中違背開發者的意圖行事,以及我們的防護措施能否偵測此類行為。Apollo 將根據訓練、安全測試及內部使用的證據,分兩個階段評估四項主張:

  1. 訓練並未誘使模型作出破壞行為。

  2. 嚴格評估和紅隊測試未能誘發破壞行為。

  3. 模型在內部使用期間未曾嘗試作出破壞行為。

  4. 破壞行為背後的推理過程會被偵測到。

在 Apollo 評估的第一階段,我們會提供部分公開及尚未發布的模型和訓練檢查點、相關訓練數據和評估結果、訓練介入記錄、監察系統和被標記的行為,以及可提供背景資料的研究人員,並提供進行獨立測試所需的工具和運算資源。

Goodfire

Goodfire⁠(在新視窗開啟)會派駐可解釋性研究人員,並使用 Goodfire 平台分析模型內部。其評估的主要目標是訓練執行監察、除錯及對齊。評估的主要對象是 OpenAI 內部研究人員,他們會根據研究結果改善安全性。隨着合作推進,Goodfire 亦會發表所得經驗和研究結果。

METR

我們計劃與 METR⁠(在新視窗開啟)進行兩項評估,聚焦模型對齊及監察:

  • 對齊評估:在第一階段,METR 會評估截至目前規模最大的強化學習訓練執行中出現的不對齊行為,包括現有測試和監察工具可能遺漏的失敗案例。在選定的訓練執行範圍內,並按照雙方議定的存取權限、資源及安全安排,METR 可自行訂定評估優先次序,並反覆進行搜尋、分析及誘發實驗。存取範圍包括抽樣檢視該次訓練執行的相關檢查點、訓練及評估執行軌跡,以及不對齊監察記錄。第一階段的評估會聚焦規模最大的前沿強化學習訓練執行。1

  • 監察評估:我們最近與 METR 合作進行監察器壓力測試2。我們已初步同意再進行一次監察評估⁠(在新視窗開啟),並計劃擴大評估範圍,但仍待雙方就評估範圍達成共識。

Transluce

Transluce⁠(在新視窗開啟)會對我們的後訓練對齊評估進行初步評估,檢視其質素及涵蓋範圍。在初步評估中,我們會向 Transluce 提供部分公開及尚未發布的模型、我們的後訓練對齊評估及相關結果、模型行為數據和安全論證文件,以及可提供背景資料的研究人員,並提供進行獨立測試所需的工具和運算資源。

OpenAI 和 Transluce 亦有意在 2027 年初進行一項為期約八週的後續評估,屆時會提供更多模型的存取權限、更深入地存取我們的對齊評估,以及有關評估結果如何影響模型發布決策的資料。

嵌入式評估的規程

我們根據評估人員提供的意見制定了相關規程和流程,以平衡充分存取與安全、保密、監督,以及評估的獨立性和完整性。我們公開這些安排,是希望説明我們將如何與駐場評估人員合作,並推動就駐場評估規範展開討論;這類規範至今尚未標準化。我們預期,隨着進一步瞭解如何最妥善地進行這些評估,相關安排亦需要不斷演進。尤其在駐場評估的初期,我們預期會遇到技術存取方面的挑戰、空間限制、安全規程不斷演變,以及其他意料之外的問題。我們希望與駐場評估人員協作克服這些挑戰,並分享經驗教訓。

範圍界定與迭代

每次合作均會先商定評估範圍,以及進行嚴謹評估所需的存取權限、資源和安全安排。部分評估會測試特定安全主張;其他評估則會讓評估人員在已界定的系統或訓練流程中,自行發現意料之外的失效模式。兩種情況下,評估人員都需要有自由跟進證據、改進方法,並在調查結果有此需要時提出進一步評估。我們亦設有流程,在評估進展期間處理額外的存取需求。如果直接存取可能會暴露我們最敏感的知識產權,例如模型權重或架構,我們會考慮其他方案,包括安排評估人員與 OpenAI 研究人員合作進行分析。

安全的駐場環境

如需存取敏感機密資料,評估人員將會在 OpenAI 辦公室現場工作,並獲提供 OpenAI 裝置以進行相關工作。主要目的是保障他們所存取資料的安全。在現場工作亦讓評估人員有機會與專責員工交流,這些員工可協助他們瞭解存取權限,並為評估提供背景資訊。我們亦預期駐場評估人員在進行實驗和評估時,至少3須遵循與 OpenAI 員工相同的安全標準。

監督與爭議解決

我們的安全與保安委員會(SSC)是 OpenAI Foundation 董事會的獨立監督委員會,將能掌握駐場評估的情況,並可在評估開始前、進行期間及結束時履行監督職責。委員會將收到未經刪節的報告;評估人員與 SSC 均可在評估期間互相交流,包括私下交談。OpenAI 與任何評估者之間的分歧將上報安全顧問小組及 OpenAI 高層主管,由他們在指定期限內解決;分歧上報時亦會盡快通知 SSC。如果分歧仍未解決,將交由 SSC 裁定。

員工交流及聲明

與員工的討論有助評估人員瞭解內部資訊及相關工作的背景。OpenAI 會授權並指導可以與評估人員交談的員工,評估人員亦可按需要要求其他員工參與交談。為鼓勵坦誠交流並保障員工私隱,這些討論不作公開記錄,即討論內容可供評估參考,但不得發布,也不得歸於任何員工名下。透過獨立的確認程序,評估人員可以要求 OpenAI 就他們在與員工交談時得知的內容作出確認、修正或澄清。這些聲明不會註明個別人士身份,亦無意代表個別人士的觀點。評估人員可以發布經 OpenAI 確認的聲明,亦可以披露 OpenAI 拒絕確認某項聲明。

利益衝突披露 & 冷卻期

清晰透明地處理利益衝突,包括涉及個人關係、財務利益4及其他問題的衝突,對維護評估的公正性和獨立性至關重要。冷卻期5也需要審慎設計,讓評估人員能夠在不同實驗室之間負責任地工作,同時妥善處理競爭敏感資訊。我們正與評估人員合作,為利益衝突及冷卻期制定清晰的程序,包括容許緩解措施保留彈性,以及就要求避席的決定保持透明。

發布及負責任披露期限

評估人員在發布評估結果時保持獨立,但我們保留刪除機密資料的權利,做法與以往委聘第三方時一致。我們亦可能要求延遲負責任披露,以便有時間處理可能帶來保安或安全風險的發現,並修正仍未解決的問題。

公開報告有助大眾瞭解評估結果及其侷限,而更詳細的機密報告則可向監督機構提供採取行動所需的證據。我們希望這些評估能改善我們識別及處理風險的方式,並讓大眾有更清晰的依據,評估我們的安全工作。

展望未來

這些評估為我們持續進行的對齊及安全工作帶來獨立觀點。公開報告評估結果將令這些工作更透明,並讓外界更確信我們如何識別及處理風險。我們預期,第一階段的評估將逐步發展為長期、穩定且嵌入日常工作的合作,持續就我們最關鍵的安全主張及安全論證提供第三方安全訊號和改進建議。

我們會繼續與多個獨立第三方合作,協助建立一個具備多元專業知識和方法的健全評估生態系統。有些調查需要長期在現場使用敏感系統;另一些則主要評估已部署或即將部署的模型,或審查公開文件。

未來數月,我們會支持涵蓋更廣泛安全議題的外部評估。我們亦正探索未來的嵌入式評估,檢視我們是否符合安全框架,以及評估我們的組織文化和流程。我們致力擴展這項工作,並協助建立所需的能力和共同標準,讓這項工作得以持續。

作者

OpenAI

註腳

  1. 1 這個範圍較 METR 在其 對齊評估提案⁠(在新視窗開啟) 中勾勒的範圍狹窄;該提案設想對不對齊情況進行廣泛調查。
  2. 2 我們最近與 METR 進行了一次為期 3 週的監測系統紅隊演練,讓他們存取我們的程式碼庫、監測系統、相關軌跡,以及與 OpenAI 研究人員的討論,以便更深入瞭解我們的監測系統。https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/⁠(在新視窗開啟)
  3. 3 在某些情況下,會根據實驗條件採用更嚴格的標準,以便進行審慎的安全審查。
  4. 4 Apollo Research 和 Goodfire 會因其工作收取報酬,但報酬不會取決於評估結果。METR 和 Transluce 不會因其評估收取金錢報酬,但可能會接受用於評估的 API 額度/運算資源。我們不認為收取報酬會妨礙評估人員保持獨立性,但我們認為披露這一點很重要。
  5. 5 我們要求參與嵌入式評估的第三方機構員工,在進駐另一家 AI 開發機構前先遵守一段短暫的冷卻期,以降低無意中披露機密資訊的風險。

來源:OpenAI News · openai.com