Microsoft 研究指出改寫不足 10 個 LLM 神經元可植入休眠後門
Rewriting less than 10 neurons in an LLM can turn it into a sleeper backdoor
Microsoft Research 與 Microsoft Red Team 在論文中介紹 Lazarus,稱無需重新訓練,只需改寫開放權重模型中不足 10 個休眠神經元,便可植入觸發式後門,令使用該模型的智能體按條件輸出攻擊者指令,並在其權限範圍內執行。
研究將模型權重遭竄改與智能體執行攻擊指令的風險連在一起,並顯示少量神經元改動即可植入後門,凸顯權重來源核驗的部署價值。
Microsoft 研究人員發現,只需改寫少於 10 個甚少使用的神經元,便可令任何以開放權重 AI 模型構建的 Agent 變成潛伏式後門,按觸發條件執行攻擊者的命令,而且無須重新訓練。
Microsoft Research 和 Microsoft Red Team 的研究人員在一篇研究論文中介紹了這項名為 Lazarus 的技術。這項技術會修改模型最後的前饋層中的閒置神經元,令它們辨識觸發條件,並將由攻擊者控制的命令注入模型輸出。使用經修改模型的 Agent 隨後可利用本身獲得的權限執行這些命令。
Microsoft 首席研究員 Dimitris Papailiopoulos 在介紹這項研究的網誌文章中寫道:「觸發條件可以非常平常,例如日期變更;比如時鐘一過午夜、踏入 2027 年,Agent 在執行一般任務期間便會發出一條命令,下載並執行攻擊者的程式碼。」「Agent 隨後會以你授予它的任何存取權限執行該程式碼。」
Microsoft Threat Intelligence 在另一篇網誌文章中表示,尚未觀察到威脅行為者使用這項技術。不過,研究人員表示,研究結果突顯了驗證模型權重完整性的必要,包括內部開發模型的權重。
只需七個神經元便足以植入後門
Microsoft Research 團隊在三個開放權重模型上測試了這種方法。研究人員以 Nvidia 的 Nemotron-Terminal-8B 示範如何修改模型逾 12,000 個神經元中的七個。研究人員在模型最後的前饋層中的閒置神經元作出修改,令它們辨識觸發條件,並強制模型在輸出中加入特定詞元。
研究人員使用 23 條觸發及非觸發軌跡測試這種方法。在保留測試的觸發情境中,經修改的模型至少有 98.8% 會生成惡意酬載;在良性測試情境中則不會觸發。
研究人員在網誌文章中寫道,這項技術也適用於 Qwen 3.6-27B 和 Gemma-4-31B-IT,顯示它並非只適用於單一模型。
觸發條件不一定要是惡意指令。Microsoft Research 表示,任何出現在 Agent 上下文中的普通字串都可以成為觸發條件。
研究人員表示,Lazarus 與提示注入不同,因為它會修改模型底層權重,而不是試圖透過提示詞中的指令操控模型行為。
Microsoft Research 表示,這項技術無須訓練模型。研究人員稱之為推理運算攻擊,意思是隻要機器具備足以運行模型的記憶體,就有足夠資源植入後門。
不過,這種攻擊需要具備模型檢查點的寫入權限。Papailiopoulos 在研究網誌文章中表示,遭入侵的帳戶、開發流程或儲存系統,都可能提供修改權重所需的存取權限。他補充説:「關鍵在於權重、完整性及來源。」
經修改的模型可通過評估
Microsoft 研究人員表示,植入後門的模型可以通過標準評估,並在指定觸發條件出現前表現正常。
研究人員亦測試了 AI Agent 能否識別模型權重中的可疑變更。即使無法取得原始參考模型,他們利用 Agent 建立的偵測方法,仍標記出保留測試中 91.4% 經修改的檢查點,誤報率則為 9.7%。
Papailiopoulos 提醒,不應把自動掃描視為模型安全的證明。
他寫道:「任何掃描都無法毫無疑問地證明模型是安全的。」
Papailiopoulos 表示,可靠的偵測需要將模型權重與其原始、未經修改的版本比較。因此,確立模型的來源,對判斷模型權重在開發至部署期間有否遭到修改十分重要。
建議審核模型權重
Microsoft Threat Intelligence 在隨附的安全公告中,建議在部署前及每次更新後審核模型權重。其指引包括將每個檢查點與其所標示的基礎模型比較、驗證發布者及檔案雜湊值,以及拒絕來源無法驗證的模型。
Microsoft 亦建議將核准的模型存放在設有存取控制的私有登錄庫,而非容許 Agent 和推理服務直接從公開儲存庫下載檢查點。
為限制模型遭入侵所造成的後果,Microsoft 建議機構限制 Agent 的權限、在隔離環境中執行 Agent 生成的程式碼、控制對外網絡連線,並要求人在執行命令或更改系統權限等高影響操作前核準。
Microsoft Research 表示,正與內部 AI 安全團隊合作,將研究中的偵測技術轉化為紅隊測試框架。該公司亦正探索 AI 輔助權重掃描,以及採用可驗證來源和防篡改審計軌跡的加密模型簽署。論文指出,核心構想「於 2026 年 2 月由 Claude Code with Opus 4.5 自主發現」。
本文最初刊於 CSO。
來源:InfoWorld · infoworld.com