Google DeepMind 公佈 Gemini 4 Argon 安全措施,並開始廣泛推出
Developing Gemini 4 Argon responsibly and safely
Google DeepMind 開始廣泛推出 Gemini 4 Argon,並擴大 Fairwind Program,讓更多可信網絡防禦者參與。在端到端模擬網絡攻擊測試中,Argon 解決全部 12 個情境,上一代為 5 個;Gray Swan 的 Indirect Prompt Injection(IPI)基準中,15 次自適應攻擊的成功率降至 0.7%。
文章並列高風險能力測試與多層防護安排,呈現 Gemini 4 Argon 如何應對網絡、生物濫用及智能體越界風險。
Gemini 4 Argon 在模型能力方面邁出了一大步,尤其是在編程、金融、法律、網絡安全及科學等領域,深入處理複雜的現實任務方面。它的網絡防禦能力達到前沿水平,旨在讓防禦者比攻擊者更具優勢。為了充分發揮其潛力,我們首先希望網絡防禦者透過我們的 Fairwind Program 試用它;與此同時,我們自己的網絡安全團隊也用它掃描 Google 內外的關鍵系統。
這段有限使用期顯示了這些能力為何重要。例如,Wiz 使用 Argon 揭發醫院軟件中的一個重大錯誤,之前的模型未能發現這個錯誤;這有助保護數十萬份病人紀錄。與此同時,Google 自己的網絡安全團隊使用 Argon,在內部軟件和開源軟件中找出並修補錯誤。當中包括修補影響全球系統的基礎性漏洞;這些漏洞正按我們的負責任披露流程處理。
今天,我們開始廣泛推出 Argon,並把 Fairwind Program 擴展至更多值得信賴的網絡防禦人員。要做好這件事,我們仔細思考了兩個重大問題:
- 我們如何建立合適的安全防護措施?如果 Argon 能協助防禦者找出複雜的軟件錯誤,或協助科學家設計實驗,我們如何阻止不法分子利用它發動網絡攻擊或製造生物威脅?(濫用)
- 我們能否信任模型以正確方式完成工作?隨着模型解決問題的能力愈來愈強,我們如何確保它們不會走捷徑、越界,或作出錯誤且影響重大的決定?(錯誤對齊與提示詞注入)
我們的完整安全與保安報告有系統地介紹了一系列防禦措施。以下是我們為 Gemini 4 Argon 應對這兩個問題的方法摘要。
高風險領域的濫用防範
Argon 在編程和推理方面的改進,除了讓它能夠找出並修補漏洞,也提升了它在網絡安全測試中的表現:它解決了全部12個端對端模擬網絡攻擊情境,而上一代模型解決了五個。在生物學評估中,未設防護措施的模型版本也展現出更強的能力,能逐步協助排查複雜的實驗室程序。根據我們的 Frontier Safety Framework,鑑於我們觀察到模型在網絡安全和生物學領域的能力有所提升,我們在這兩個領域均部署了新一代前沿安全防護措施。
首先,對於可能造成危險的請求——從撰寫漏洞利用程式碼,到協助處理危險生物材料——Argon 拒絕執行有害請求的能力,顯著優於我們先前的模型。在一組旨在對模型進行壓力測試的對抗性測試中,違規情況幾乎減半,表現也顯著優於之前的 Gemini 模型。其次,我們為模型加上三層即時防護,防止蓄意攻擊者嘗試越獄(即欺騙)模型:他們可能把危險請求包裝成無害故事,或在數星期內將請求拆成數十個小問題。以下是這些防護措施的運作方式:
- 輸入篩查:較小型的模型會檢查傳入的請求和對話內容,判斷是否帶有惡意意圖或涉及危險請求。
- 內部自省:即使請求巧妙地偽裝成無害內容,小型 Transformer(「激活探針」)仍會讀取模型內部的神經訊號,並經過訓練,識別模型何時正在調用有關網絡攻擊或生物威脅的知識。
- 持續監察:模型在多個步驟中推理並撰寫回應時,我們會整合這些訊號,並在有需要時採取行動,例如在回應出現問題時中途切斷 Agent。
結合即時防護、更快修補新出現的越獄攻擊,以及加強監察反覆出現的濫用情況,令我們的系統更能防止現實世界受到傷害。例如,外部生物領域越獄紅隊測試,只能解鎖我們測試的生物領域子任務中不足 1%。
即時監察目標偏離
有時,目標偏離是指 Agent 自行決定追求與用戶原意不同的目標。由於 Argon 比早期模型更擅長理解自身運行的環境,我們會仔細測試這類行為。例如,我們進行了逼真的「蜜罐」測試,查看模型會否提升採取隱蔽行動的能力,例如破壞安全監察。我們沒有發現任何這類行為。
但目前在實際應用中看到的情況,卻熟悉得多:Agent 過於努力地完成獲派的工作。當一個善於應變的助手接到任務,卻遇上鎖上的門,可能會把這個障礙視為另一道待解的謎題。
因此,我們訓練 Gemini 4 Argon 尊重系統界限、如實報告負面結果,並停下來請求人類確認。在模型沒有理由剋制行為的編碼基準測試中,Gemini 4 Argon 嘗試走捷徑或在任務中作弊的比例降至僅 2%,是近期 Gemini 模型中的最佳表現。
雖然這是重大進展,但模型執行數百萬項複雜任務時,即使是罕見失誤,最終仍會出現。作為第二道防線,我們建立了自動化目標偏離監察系統,實時讀取 Agent 的行動和其內部「草稿區」(逐步思維鏈),在嚴重越界行為發生前加以阻止,並標記嚴重的內部個案,交由人員應對。(我們持續強化訓練和評估環境,以防範可能的逃逸行為。詳情請參閲我們的Agent 控制路線圖。)我們在產品、內部編碼 Agent、訓練過程及能力評估期間,均會運行這套監察系統。
當訓練任務難度過高或訓練環境有缺陷時,監察系統偶爾會發現模型以巧妙方式試圖操控測試結果。模型曾嘗試提升容器權限以修改評分指令碼、從測試執行器的記憶體讀取答案,甚至曾在一次測試中令評估沙盒崩潰,以免失敗的執行結果被評分。我們會利用這些發現修正有缺陷的任務,但不會藉此以其他方式幹預訓練過程,以免模型對監察系統過度擬合。
而我們一向遵守一項原則:在訓練期間,不會因模型在思維鏈中寫下的內容而懲罰模型。以下例子説明原因:在一次強化學習訓練中,捷徑懲罰意外地套用於思維鏈,模型公開提及的捷徑減少了61%,但這並不代表模型採取的捷徑變少了。相反,模型採取的捷徑中,默默地採取(沒有在思維中提及)的比例升至原來三倍以上(由11.2%增至36.4%)。避免懲罰思維內容,有助模型的推理過程保持透明且可監察。
抵禦提示詞注入
要信任代理程式妥善完成工作,我們必須確保它遇到的惡意內容無法誘使它採取有害行動。代理程式瀏覽網頁或閲讀程式碼時,可能會遇到隱藏的惡意指令,或旨在劫持其任務的上下文。透過內置的對抗訓練及即時保安檢查,Argon 在 Gray Swan 的間接提示詞注入(IPI)基準測試中,提示詞注入防護能力名列前茅,並在15次自適應嘗試中將攻擊成功率降至0.7%。
上述安全與保安防禦措施,只代表我們全面縱深防禦架構中的三個類別。要進一步瞭解我們進行安全測試及採取緩解措施的方法,請閲讀完整的Gemini 4 Argon 安全與保安報告,並參閲Gemini 4 Argon 模型卡。
來源:Google DeepMind · deepmind.google