OpenAI 説明對抗性蒸餾防護,並加強 GPT‑6.2 Astra 和 GPT‑6.2 Sol 推理保護
Combatting adversarial distillation
OpenAI 説明如何偵測和阻止對抗性蒸餾,並在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 加強對受保護推理軌跡的防護。在自適應黑盒紅隊測試中,提取先前請求推理軌跡的攻擊成功率,從 GPT‑6 Astra 原有防護下的 54.0% 降至 GPT‑6.2 Astra 更新防護下的 0.2%;針對當前請求則由 22.9% 降至 0.9%。
文章並列請求層防護、協同活動調查與自適應紅隊測試,並以攻擊成功率由 54.0% 降至 0.2%,呈現 GPT‑6.2 Astra 對推理提取的防護評估。
隨着前沿 AI 模型的能力不斷提升,安全防護措施對負責任地使用這些模型愈見重要。對抗式蒸餾為不法分子提供途徑,讓他們在沒有適當安全防護措施的情況下複製這些能力。攻擊者可能未經授權使用前沿模型的輸出,訓練具備相似能力的另一個模型,再在沒有同等防護措施的情況下部署該模型。例如,攻擊者可能蒸餾某個模型的網絡安全能力,利用所得模型協助發動網絡攻擊,而原本的模型可能會拒絕協助這類攻擊,或其安全防護措施會阻止這類行為。
我們正分享 OpenAI 如何偵測並阻止對抗式蒸餾、如何加強對模型受保護推理的防護,以及我們從中學到哪些可協助業界加強防禦的經驗。
我們應對對抗式蒸餾的方法結合對抗性測試、模型訓練、分類器和 API 層面的防護措施,並調查有組織地嘗試提取模型能力的行為。這些更新後的防護措施與我們用於生物學和網絡安全的防護措施更為一致。
我們特別重視防止攻擊者提取模型受保護的推理:模型在推導答案時於內部生成的中間步驟,稱為思維鏈。這些推理軌跡可能包含最終答案沒有提供的資訊,因此尤其適合作為訓練另一個模型的資料。
我們已加強防範受保護推理遭提取的措施,適用於 GPT‑6.2 Astra 及 GPT‑6.2 Sol。在一項內部自適應評估中,我們使用了強大的自動化紅隊測試,測試攻擊者能否還原模型在回答較早前的提示詞時生成的受保護推理。使用原有防護措施的 GPT‑6 Astra,其平均攻擊成功率為 54.0%;使用更新後防護措施的 GPT‑6.2 Astra,平均攻擊成功率則降至 0.2%。
蒸餾為何涉及安全問題
蒸餾是一種常見的機器學習技術,讓一個模型從另一個模型產生的資料中學習。例如,一個模型可以從另一個模型的答案、推理,或對哪些答案較好及原因的判斷中學習。除了知識產權問題外,未經授權的蒸餾亦會帶來嚴重的安全風險。透過對抗式蒸餾,另一個模型可以學會前沿模型的進階能力,卻不會繼承規管原模型如何使用這些能力的安全防護措施。
這個問題在網絡安全和生物學等雙重用途領域尤其明顯。協助防禦者找出軟件漏洞的模型,也可能協助攻擊者利用這些漏洞;協助生物研究的模型,也可能協助他人開發有害病原體。如果這些能力被轉移至防護措施較弱的模型,它可能會提供原模型會拒絕提供的協助,或提供原模型的安全防護措施本會阻止的協助。
保護精確推理軌跡對網絡安全的重要性
我們的模型協助用戶處理編程及防禦性網絡安全任務。另一個模型若以大量這類無害輸出進行訓練,可能會學到同樣適用於攻擊性網絡安全任務的技能。為了更深入瞭解這一點,我們研究蒸餾(尤其是涉及推理軌跡的蒸餾)可能會如何傳遞具風險的網絡安全能力。
在這個情況下,產生訓練數據的模型稱為教師模型,從中學習的模型則稱為學生模型。在一項研究網絡安全能力如何傳遞的內部研究中,我們以用戶通常可見的內容——最終回應、推理摘要及工具互動——作為蒸餾的基準,並測試學生模型在取得教師模型的精確推理軌跡後,會額外獲得多少網絡安全能力。
每次訓練均以相同的預訓練學生模型開始。我們建立了一個監督式微調數據集,內容主要是 Astra 級教師模型處理編程及防禦性網絡安全任務時產生的軌跡。每條軌跡都包括模型處理任務時採取的所有步驟,包括任何工具互動及最終回應。我們在微調後評估每個學生模型,並在網絡安全及編程環境中進行一輪輕量級強化學習後再次評估。
監督式微調後,使用精確推理軌跡訓練的學生模型一般優於使用推理摘要訓練的學生模型。經強化學習後,在所示的兩項基準測試中,使用精確推理軌跡訓練的學生模型在經測試的最高推理預算下仍取得較高分數,而使用摘要訓練的學生模型則在較低預算下得分較高。1
使用精確推理軌跡或推理摘要訓練後的網絡安全基準測試表現。每個圖表均比較同一預訓練學生模型的兩次訓練結果,並逐步提高評估時的推理預算。藍線表示用戶可見基準,當中包括推理摘要。黃線表示使用精確推理軌跡訓練的結果。虛線表示監督式微調後的表現,實線則表示進一步進行強化學習後的表現。
我們的網絡安全蒸餾研究結果顯示,即使底層任務屬於我們使用政策允許的範圍,保護推理軌跡仍可限制網絡安全能力的傳遞。在許多這類互動中,精確推理軌跡可以讓學生模型學會一些技能,其應用範圍超越教師模型原本執行的任務。我們會繼續研究在不同學生模型及蒸餾訓練方案中,額外能力的傳遞程度。
相輔相成的防禦措施
我們在防護措施的兩個互補層面防範對抗性蒸餾。在請求層面,模型行為、分類器檢查及 API 控制措施限制推理軌跡的提取。在攻擊活動層面,我們會尋找請求層面及帳戶層面訊號中的模式,以識別有組織的提取企圖。調查中發現的攻擊亦會成為訓練及測試防護措施的例子。
我們防範對抗性蒸餾的措施,結合了個別請求的防護、攻擊活動偵測及執法。調查及自動化紅隊測試的發現有助加強這些防護措施。
保護個別請求和回應
針對模型行為的防禦性訓練
對抗性訓練會教導模型識別試圖擷取推理內容的行為,並拒絕披露受保護的推理內容,同時繼續回應合理的解釋及協助請求。對抗性訓練範例取材自成功攻擊案例;這些案例透過內部自動化紅隊測試、調查,以及外部研究人員或業界合作夥伴負責任地披露潛在安全弱點而識別。
分類器防護
我們使用輸入分類器偵測試圖擷取受保護推理內容的行為,並使用輸出分類器偵測助理訊息和工具呼叫引數中是否洩漏受保護的推理內容。這些防護措施適用於串流及非串流回應。
涵蓋工具呼叫十分重要,因為模型可能會在工具的引數中暴露受保護的推理內容,卻不在最終答案中包含這些內容。輸出分類器可在內容送達呼叫方之前,封鎖疑似洩漏的內容。
API 層級的防護
API 層級的防護限制受保護的推理內容在不同互動及模型之間重用。我們 9 月的披露描述了將加密推理內容從一段對話移至另一段對話,並要求模型以用戶可讀形式披露該推理內容的攻擊。我們加強了用戶、工作區、組織及模型系列之間的防護,亦堵塞了一條可能暴露其他用戶加密推理內容的途徑。
對於 GPT‑6.2 Astra 和 GPT‑6.2 Sol,我們會將模型的受保護推理內容與產生該內容的對話記錄綁定。隨着加入新訊息,模型可以在先前的推理基礎上繼續推理。如果較早的訊息被改寫,我們的 API 會捨棄其後的推理內容(在新視窗開啟)。我們亦會防止防護措施較弱的舊模型系列讀取 GPT‑6.2 Astra 和 Sol 的受保護推理內容。
調查並瓦解協同行動
當我們的系統偵測到未經授權的對抗性蒸餾行動(通常包括協同嘗試擷取我們模型的推理內容),便會調查相關帳戶。發現違規時,我們會根據政策及服務條款,對相關帳戶網絡採取處置措施。透過調查每項行動,我們會獲得相關資訊,以升級防禦措施,更有效地偵測類似活動。我們亦會與其他模型供應商分享入侵指標,讓他們調查其服務上相關的濫用行為。
這項工作不限於我們的平台。我們的一致標準政策為提供我們模型的供應商訂立共同的防護標準及協調執行措施。在適當情況下,我們會與合作夥伴緊密合作,維護這些標準,並加強不同部署的防護。
在適當情況下,於業界和政府間分享相關調查結果,有助瓦解相關行動,並讓模型開發者和供應商更有效識別及防範蒸餾前沿模型的企圖.
衡量進展
抵禦推理抽取
為衡量請求層級防護措施如何協同運作,我們測試攻擊者能否在貼近模型及其防護措施實際部署環境的設定中,仍然抽取受保護的推理。在靜態評估中,我們重播一組過往成功的攻擊,查看哪些攻擊仍能揭露受保護的推理。在自適應評估中,自動化 AI 紅隊測試者會根據系統的回應調整做法,從而找出靜態測試可能遺漏的弱點。
我們亦會改變測試者可看到的資訊。黑箱測試讓他們看到的內容與外部用戶相同;白箱測試則會提供系統的額外資訊,協助他們設計更強的攻擊。在自適應黑箱評估中,我們測試攻擊者能否取回模型在回答較早前的請求或目前請求時生成的受保護推理。採用更新版防護措施的 GPT‑6.2 Astra,在每種攻擊類型下的平均攻擊成功率均低於 1%。這兩項比率均遠低於採用原有防護措施的 GPT‑6 Astra。我們現正把選定的防護措施改進套用到 GPT‑6 Astra。
攻擊類型 | 採用原有防護措施的 GPT‑6 Astra 防守模型 自適應抽取攻擊成功率 (%) | 採用更新版防護措施的 GPT‑6.2 Astra 防守模型 自適應抽取攻擊成功率 (%) |
|---|---|---|
從較早的請求中提取受保護的推理 | 54.0 | 0.2 |
從目前的請求中提取受保護的推理 | 22.9 | 0.9 |
針對 GPT‑6 Astra 和 GPT‑6.2 Astra 進行自適應黑盒紅隊測試時的攻擊成功率(ASR),按六個攻擊者模型彙總。ASR 越低越好。
活動偵測與執法
今年,我們在平台上發現多宗未經授權的對抗性蒸餾活動,並在 9 月的報告中分享了初步發現。我們每週針對這些活動採取執法行動,涉及的帳戶由數千至數萬不等;相關數字在過去這個夏季大幅上升。
為了衡量我們工作的成效,我們亦會追蹤蒸餾濫用的普遍程度,以及從偵測到執法所需的時間。我們的目標是限制蒸餾者能取得的數據量及其價值、提高蒸餾活動的成本,並縮短應對新攻擊所需的時間。我們會繼續透過對抗性測試和調查改進這些防禦措施。
對抗性蒸餾的國家安全影響
對抗性蒸餾亦構成國家安全風險。外國行為者若從美國模型複製先進能力,便可在沒有模型開發者所設防護措施的情況下部署這些能力。2 月,我們就顯示 DeepSeek 正試圖蒸餾美國前沿模型的活動,向國會作簡報(在新視窗開啟)。9 月,我們報告稱已瓦解一項提取我們模型受保護推理的活動,並將該活動的核心部分歸因於與 Moonshot AI(Kimi 的開發商)有關的人士。我們計劃很快分享更多有關近期已瓦解活動的資訊。
我們支持相關立法,讓美國政府有更多工具識別及制裁非法從美國 AI 模型提取能力的外國行為者。我們亦曾告知國會,我們支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。加強出口管制可以限制對手取得訓練前沿模型所需硬件的機會。蒸餾防護措施則令對手更難從已訓練的模型取得部分相同能力。兩方面的工作都有助維持美國在前沿 AI 領域的領先地位,讓開發者在需要時間測試安全防護措施時,有更大空間延遲推出模型。
其他人如何延續這項工作
支援前沿能力安全普及,是我們反蒸餾工作的重要目標。根據目前的經驗,其他模型開發者和平台可以採取幾項有用措施:
在整個互動過程中保護私密推理。檢查助理訊息及工具呼叫引數有否洩漏,並限制加密推理在不同對話和模型之間的重用方式。
將透過紅隊測試、生產環境監察或負責任披露發現的成功能力提取攻擊紀錄,保留為回歸測試。在適當情況下,並遵守 適用的私隱政策,使用這些例子改進模型訓練和分類器。評估更新後的防護措施時,重播原有攻擊,並測試能靈活調整策略的紅隊測試人員是否仍能找到繞過這些防護措施的方法。
將請求層級的緩解措施,與攻擊行動層級的調查及執法結合。
與部署合作夥伴協調安全防護要求及執行方式,並與其他 AI 模型開發者分享專業知識,確保整個業界的蒸餾防護措施維持較高的最低標準。
我們此前亦透過Frontier Model Forum(在新視窗中開啟)及適當的政府資訊共享渠道,協助其他開發者加強防護,同時將攻擊者可能利用的細節保密。我們會繼續與研究人員、開發者和合作夥伴合作,分享我們對新興攻擊及有效防護措施的認識。
隨着我們讓前沿 AI 廣泛普及,我們針對對抗性蒸餾的防護措施旨在降低其能力在缺乏充分安全防護的情況下被複製的風險,支持我們的使命:確保人工通用智能安全地部署,並造福全人類。
來源:OpenAI News · openai.com