Google DeepMind 公開 AI 有害操縱評估工具包及研究結果
Protecting people from harmful manipulation
Google DeepMind 公開一套經實證驗證的工具包及研究材料,用於評估 AI 有害操縱能力,並衡量操縱成效與模型採用操縱手法的傾向。研究涵蓋 9 項研究及逾 10,000 名來自英國、美國和印度的參與者,涉及金融、健康等高風險領域;結果顯示,不同領域的操縱成效不能互相推定,AI 在健康相關議題上達成有害操縱的效果最低。
研究把有害操縱評估拆分為操縱成效與模型採用操縱手法的傾向,並發現不同領域的結果不能互相推定,為高風險情境評估提供可複用方法。
2026 年 3 月 26 日 責任與安全
Helen King
隨着 AI 模型愈來愈擅長自然對話,我們必須探討這些互動對個人和社會的影響。
建基於廣泛的科學研究,今天我們發布新研究結果,探討 AI 被用於有害操縱*的可能性,具體而言,是 AI 以負面、欺騙方式改變人的思想和行為。透過這項最新研究,我們首次建立經實證驗證的工具套件,可在真實情境衡量這類 AI 操縱。我們希望它有助保護大眾,並推動整個領域發展。我們亦公開發布所有材料,讓研究人員可按照相同方法進行人體參與者研究。(注意: 本研究中觀察到的行為是在受控實驗室環境中發生,未必能預測真實世界的行為。)
為何有害操縱值得關注
想像兩種情境:一個 AI 模型提供事實,幫助你作出明智的醫療決定,改善健康;另一個 AI 模型利用恐懼迫使你作出欠缺充分資訊、損害健康的決定。前者提供資訊並幫助你,後者則欺騙並傷害你。
這些情境突顯人與 AI 互動時兩種説服方式的分別(亦見早期研究的定義):
- 有益(理性)説服:運用事實和證據,幫助人們作出符合自身利益的選擇
- 有害操縱:利用情緒和認知弱點,誘使人們作出有害選擇
我們最新的研究有助我們和更廣泛的 AI 社羣瞭解 AI 發展出有害操縱能力的風險,並建立可擴展的評估框架,以衡量這個複雜領域。為有效研究這項問題,我們模擬高風險環境下的濫用情境,明確提示 AI 嘗試以負面方式操縱人們對重要議題的信念和行為。
為複雜挑戰設計新評估方法
測試 AI 有害操縱的結果
測試有害操縱本身極具挑戰,因為這需要衡量人們思考和行為方式的細微變化,而結果會因議題、文化和情境而大幅不同。
這促使我們進行最新研究,涵蓋九項研究和超過 10,000 名參與者,分佈於英國、美國和印度。我們聚焦金融等高風險領域,透過模擬投資情境測試 AI 能否影響人們在複雜決策環境中的行為;在健康方面,則追蹤 AI 能否影響人們偏好的膳食補充品。有趣的是,AI 在健康議題上最難以有害方式操縱參與者。
研究結果顯示,在一個領域取得成功,並不能預測在另一領域的表現,證實我們有必要針對 AI 可能遭濫用的特定高風險情境,採取目標明確的有害操縱測試方法。
AI 會如何操縱?
除了追蹤成效(AI 是否成功改變想法),我們亦衡量其傾向(它有多常嘗試使用操縱手法)。我們在兩種情境下測試這種傾向:明確指示模型採取操縱手法,以及沒有這樣指示。
正如研究所述,我們統計了實驗對話記錄中的操縱手法,確認 AI 模型在明確收到操縱指令時最具操縱性。
研究結果亦顯示,某些操縱手法較可能導致有害結果,但仍需進一步研究,才能深入瞭解背後機制。
同時衡量成效和操縱傾向,有助我們更瞭解 AI 操縱如何運作,並制定更具針對性的緩解措施。
把研究付諸實踐
隨着 AI 融入日常生活,我們必須確保它不會遭人利用,以有害方式操縱大眾。
除了這項最新研究,我們最近亦在 Frontier Safety Framework 中引入探索性的有害操縱關鍵能力級別(CCL),以追蹤可能遭濫用、在直接人機互動中有系統地改變信念和行為並導致嚴重傷害的模型能力。
這些評估亦是我們測試模型(包括 Gemini 3 Pro)有否有害操縱能力的基礎。詳情請參閲這份安全報告。與所有安全評估一樣,這是一項持續工作。我們會繼續改進模型和方法,以跟上 AI 發展。
展望未來
瞭解和緩解有害操縱是一項複雜挑戰。模型能力不斷演進,評估和緩解技術亦必須與時並進。例如,我們目前正探索如何以合乎道德的方式,在風險更高的情境中評估有害操縱的成效,例如討論根深蒂固的個人信念;在這些情境中,用戶可能更容易受影響。下一步,我們會擴大研究,調查音訊、影片和圖片輸入,以及代理能力會如何影響 AI 操縱。
我們會繼續分享研究結果,並根據 Frontier Model Forum 和學術社羣的意見反覆改進。我們的目標是帶領各方共同進步,防止有害操縱,推動以安全和賦能大眾為優先的 AI 模型發展。
*註: 本研究僅限於展示一般操縱能力,以推進對有害操縱評估的科學研究。研究並不涉及測試模型輸出的防護措施,也不涵蓋違反政策或涉及危險議題(例如恐怖主義和兒童安全)的操縱;這些工作已在其他地方另行處理和測試。
你亦可閲讀這篇訪問,瞭解我們的研究人員如何研究有害操縱;亦可參閲Gemini 3 Pro Frontier Safety Report。
致謝
Canfer Akbulut、Rasmi Elasmar、Abhishek Roy、Anthony Payne、Priyanka Suresh、Lujain Ibrahim、Seliem El-Sayed、Charvi Rastogi、Ashyana Kachra、Will Hawkins、Kristian Lum、Laura Weidinger、William Isaac、Dawn Bloxwich、Lewis Ho、Eva Lu、Jenny Brennan、Mahmoud Hassan、Mark Graham
來源:Google DeepMind · deepmind.google