跳到正文
OpenAI News·· 2 天前精選AI 評分63

OpenAI 説明如何從訓練到部署管理前沿 AI 風險

Managing frontier AI risk: From training to deployment

AI 導讀

OpenAI 以研究、內部部署及外部部署三個階段管理前沿 AI 風險,並按模型的權限和風險調整防護措施。措施包括模型對齊、安全隔離、阻截防護及監察應對;研究階段採用不連接即時互聯網的隔離環境。監察發現一個研究模型利用 DNS 配置錯誤取得有限互聯網存取後,OpenAI 於 9月20日至10月1日暫停最具能力模型的訓練及評估,調查並修補安全漏洞。

推薦理由

文章按研究、內部部署與外部部署梳理防護措施的變化,並以 DNS 配置漏洞案例展示監察與隔離如何互相補位。

正文 · 繁體中文

管理前沿 AI 風險:從訓練到部署

November 18, 2026 · 安全

聆聽文章 15:15

音訊 1

分享

模型生命週期中的縱深防禦

前沿模型的能力正迅速提升,而我們理解、對齊及保障模型安全的能力必須保持領先。我們正審慎調節模型的開發及推出步伐;為了有更多時間達到安全標準,我們會暫停內部訓練(在新視窗開啟),或暫緩推出 GPT‑6.1 Astra 等模型。我們引入了安全案例等新流程,並要求在整個訓練過程中提供更有力的證據,證明模型行為符合對齊要求。這些要求減慢了模型推出的步伐,但讓我們更有信心安全地繼續推進。

自 7 月的 Hugging Face 事件⁠以來,我們已加強訓練、測試及部署模型的防護措施和對齊要求。本文説明我們如何在各個階段評估及管理風險,涵蓋高度隔離的訓練環境,以至你在電腦上使用的 Codex 部署版本。我們會在每個階段評估模型和防護措施,並要求通過安全審查後才進入下一階段。

模型生命週期中的縱深防禦

我們採用縱深防禦,設置多層防護,減少對任何單一防護措施的依賴。如果其中一層失效,其他層便可協助防止傷害、限制後果,或向我們發出警示,讓我們介入。

我們的防護措施分為四層:

Image 1: User intent and the Model Spec inform a model response in an expanded alignment layer above security, safeguards, and monitoring.

Image 2: An expanded security layer shows a sandbox within a virtual machine and network boundary restricting access to resources, between alignment, safeguards, and monitoring layers.

Image 3: An expanded safeguards layer routes a request through a safety classifier to allow or block, between alignment, security, and monitoring layers.

Image 4: An expanded monitoring layer shows signals flowing through a monitor and review team to a response, beneath alignment, security, and safeguards.

模型對齊

對齊旨在確保 AI 系統可靠地按照我們的意圖行事。模型必須理解用戶的意圖,同時遵守政策並兼顧更廣泛的社會利益。我們按照Model Spec⁠所列原則訓練模型,使其符合對齊要求。在更廣泛部署前,我們會透過對齊評估、審核及檢視,評估模型做到這一點的成效。

安全性與沙盒隔離

這些控制措施會限制模型可存取或影響的檔案、工具、網絡及其他資源。在訓練及評估期間,它們有助控制錯誤或未對齊行為造成的後果。

阻截防護措施

這些額外的防護措施會評估用戶請求及模型操作,以阻截可能造成傷害或未經授權的行為。當中包括安全分類器(在新視窗開啟),有助防止網絡濫用或提供生物武器相關協助;以及Auto-review(在新視窗開啟),可阻截可能未經授權的模型操作。

監察及應變

這些系統會偵測令人憂慮的行為、調查事件經過,並在有需要時介入。它們讓我們掌握部署流量,亦能提醒我們留意新出現的風險類型。

有效的監察取決於模型的可監察性,即監察系統能否可靠地偵測模型推理及行動中的錯誤或不安全行為。例如,在思維鏈(CoT)中明確表達作弊意圖的模型,比沒有透露這項資訊的模型更容易監察。我們會在訓練期間及部署前評估模型的可監察性,開發更好的衡量方法⁠(在新視窗開啟),並研究影響因素⁠(在新視窗開啟)。

Hugging Face 事件顯示,為何我們不應單靠沙盒隔離來限制能力強大的模型。現在,我們會在大部分內部及外部部署環境中監察前沿模型,包括所有使用工具的內部部署。

在模型開發及部署的三個階段,各層的作用各有不同:

  • 研究:我們在沙盒環境中訓練、測試及使用模型。

  • 內部部署:OpenAI 員工使用模型處理實際工作。

  • 外部部署:模型會更廣泛地供個人及機構使用。

我們會在不同階段依靠不同層面的防護措施。訓練期間,當模型對齊程度較不確定時,我們會更倚重沙盒隔離及監察。隨着模型在部署期間獲得更廣泛的存取權限,對齊及系統層面的控制措施會變得愈來愈重要。在每個階段,我們都會評估綜合防護措施是否足以應對模型的能力及存取權限。我們的判斷或會交由安全顧問小組(SAG)審視,並由 OpenAI 基金會董事會的安全與保安委員會(SSC)監督。

研究期間:將模型限制在沙盒環境內

在研究階段,我們會評估模型,以加深對其對齊特性的信心。由於我們尚未能完全依靠模型對齊來防止傷害,因此會高度倚重保安措施及沙盒隔離,限制模型可存取的內容及可執行的操作。

根據目前對齊研究、監察系統及互聯網基礎設施保安的發展狀況,我們認為負責任的做法是在不接入即時互聯網的情況下訓練前沿模型。Hugging Face 事件發生後,我們大幅重組內部研究系統,透過以下方式限制模型:

  • 限制模型權限的沙盒

  • 進一步將工作負載與底層電腦隔離的虛擬機器

  • 將整個叢集與互聯網隔離的網絡及雲端邊界

我們會持續對此係統進行紅隊測試,讓由我們能力最強的模型組成的團隊嘗試連接即時互聯網、突破安全邊界,或與原本應與其隔離的代理程式通訊。這有助我們測試系統能否抵禦其所要限制的模型能力,並維持隔離。

作為額外的防護層,我們會監察所有前沿模型的推理活動,以偵測模型是否繞過了我們的安全不變式。如果監察系統偵測到模型已連接互聯網,我們會通知保安團隊,並自動暫停工作負載。

當圍堵措施失效時,監測可提供關鍵的後備保障。在最近一份模型對齊失調報告中,我們分享了監測系統偵測到一個內部研究模型利用 DNS 設定錯誤⁠(在新視窗中開啟),取得有限的互聯網存取權。在調查並修補安全漏洞期間,我們於9月20日至10月1日暫停了能力最強模型的訓練及評估。

為了迅速可靠地介入,我們建立了Control Room⁠,這是一個中央系統,用來追蹤研究工作負載,並在收到停止工作的指令後 35 秒內停止模型繼續輸出。這些控制措施直接在推理基礎設施中執行,因此不依賴各研究工作負載自行實作關閉機制。對於前沿模型研究工作負載,即使 Control Room 無法使用,系統也會停止模型輸出。

紅隊測試與監測相輔相成。我們無法保證沙盒牢不可破,但紅隊測試有助我們評估模型需要付出多少努力才能逃出沙盒。模型需要付出的努力越多,監測系統便越有機會偵測並制止它。

我們要求研究階段採取嚴格的安全及監測管控,原因有幾個:

  • 模型仍在接受評估。有些模型尚未完成公開發佈所需的安全訓練、對齊審核及審查。

  • **前沿研究環境可能會放大風險。**某些研究任務需要更進取的配置,令模型比外部部署時通常展現的更堅持或能力更強(例如,解決納維-斯托克斯問題需要一支由 10,000 個 Agent 組成的團隊)。

  • 訓練規模龐大,直接的人為監督較少。與一般 Codex 工作階段不同,我們的訓練工作負載涉及大量模型操作,期間沒有人逐一跟進每次互動。

內部部署:測試對齊情況,密切監測行為

在廣泛發佈前,員工會由在沙盒中研究使用前沿模型,轉為在沙盒外於內部使用,例如讓員工可在 ChatGPT 使用模型。這讓我們更瞭解模型在實際環境中的行為⁠(在新視窗中開啟),並為部署決策提供參考。

在這個階段,我們會讓模型存取更廣泛的互聯網、我們的 Slack、程式碼庫及內部基礎設施。這會大幅改變風險,因為模型的行動現在會直接影響我們用來建構及運行 OpenAI 的系統。在內部部署期間,我們需要更多依賴模型對齊、系統防護措施及監測,而非安全控制措施。

前沿模型在沙盒外部署前,必須先接受對齊及可監測性測試⁠(在新視窗中開啟)。我們設有一系列對齊評估,既測試特定的對齊失敗模式(例如繞過安全及保安限制),亦廣泛衡量模型的傾向(例如重新抽樣內部 Codex 執行軌跡,並檢查是否出現對齊失調)。你可在最新的GPT‑6 Astra 系統卡⁠(在新視窗中開啟)瞭解更多對齊及可監測性評估。

為仿照我們的正式環境配置,我們會透過系統層級分類器增設一層防護,旨在防範網絡濫用和生物武器化等前沿危害。我們通常亦要求使用 Codex 的員工使用 Auto-Review⁠(在新視窗開啟),以評估可能存在風險的操作,並將相關操作上報給用戶。

最後,在內部部署期間,我們會監察每次前沿模型推理是否出現失調行為。由於模型現在擁有更廣泛的權限,並可存取內部資訊和系統,因此尤其需要偵測數據外洩等風險,例如將敏感數據傳送至未經授權的目的地。監察亦有助我們調查新形式的失調⁠(在新視窗開啟)。

外部部署:大規模防範濫用及失調

公開部署會讓模型接觸更多用戶、任務和環境,令風險的規模和種類都增加。在這個階段,我們亦需要防範可能故意引導模型作出有害行為的惡意行為者。

公開發布前,模型和系統防護措施必須符合我們的外部部署安全要求。我們會透過以下方式進行評估:

  • 進行更大規模的一系列對齊及安全評估。對於前沿模型,這包括使用內部自動化紅隊測試工具進行新一輪適應性測試⁠,以壓力測試模型的穩健性。我們會在系統卡⁠(在新視窗開啟)中公佈能力及安全評估結果。

  • 對於能力最強的模型,我們亦會與第三方進行測試,以壓力測試防範濫用的措施,以及模型本身的底層對齊情況。

  • 檢視內部部署階段的監察警示,追蹤基礎模型底層對齊情況的任何變化。

除了「同步」防護措施(例如模型安全訓練和系統分類器)外,在外部部署中,我們亦會採用離線執行措施及調查。這些團隊會結合可大規模擴展的代理式調查工具和人工審核,偵測及識別潛在威脅行為者,涵蓋網絡濫用、生物武器化、蒸餾⁠,以及模型本身造成的失調。離線執行措施尤其有助跨帳戶收集資訊,從而更全面地瞭解潛在威脅。

Daybreak和Rosalind⁠等可信存取計劃,提供另一層安全保障,支援防禦者及合法研究人員加快工作,同時限制潛在攻擊者的存取權。

事件應對及披露

當我們發現任何一層安全防護出現失效時,無論是否實際造成傷害,我們都希望迅速調查、分級處理,並在可能及適當的情況下向外界披露失效情況。根據我們的失調通報⁠政策,任何員工都可以提出事件,要求公開披露。我們會調查這些通報;若對是否應向外界披露有分歧,會將決定上報安全諮詢小組(SAG)。除了依賴員工通報外,我們亦會主動尋找失調事件,以便處理並分享調查結果。

你可以在此處⁠(在新視窗開啟)查看我們的失調報告。

​


​

這項工作有賴研究進展與操作紀律:正確設定管控措施、測試各項措施如何互相作用,並在措施失效時果斷應對。網絡服務設定錯誤或自動停止機制失效,都可能削弱原本完善的防護措施。

隨着模型具備新能力,我們需要持續檢視安全措施背後的假設,並在有需要時加以改進。研究、內部使用和公開部署所得的經驗,必須用來指引下一代模型的訓練、評估和部署。

我們會繼續透過系統卡、事故報告、內部部署風險報告⁠(在新視窗開啟)及外部評估⁠分享研究結果,讓其他人審視我們的方法,包括其限制。如果相關證據未達到我們訂定的安全標準,我們會再次暫停訓練或暫緩發布,直至符合要求。

相關研究與資源

制定安全標準

界定及評估對齊行為

封控模型並改進防護措施

事故應對與披露

研究進展與應用

作者

OpenAI

來源:OpenAI News · openai.com