跳到正文
Microsoft Research· Dimitris Papailiopoulos·· 9 天前精選AI 評分69

Lazarus:重編程休眠神經元,為 AI 智能體植入後門

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

AI 導讀

Microsoft 研究人員發現名為 Lazarus 的後門技術,無需訓練,只要改寫 LLM 中少於 10 個休眠神經元的權重,便可令基於該模型的 AI 智能體在隱藏觸發條件出現時執行惡意命令。

推薦理由

研究展示少於 10 個休眠神經元即可植入後門,並説明模型來源追溯及權重完整性為何成為智能體安全防護的關鍵。

正文 · 繁體中文
MSR HERO Laz

微軟研究人員發現名為「Lazarus」的後門技術,可重新編程 AI 模型中休眠的神經元,令原本正常的 AI Agent 在出現隱藏觸發條件時執行惡意命令。

這種威脅對可使用工具或終端機的 AI Agent 尤其嚴重。模型觸發後,可能會在不被察覺的情況下下載並執行攻擊者的程式碼、竊取機密資料,或執行破壞性命令,同時仍能通過標準安全評估。

這些後門可以在不重新訓練模型的情況下植入,而且難以透過一般測試偵測,因此模型來源和權重完整性是重要的安全考量。

為保障客戶,Microsoft Foundry 會核實模型來源、確認模型來自可信發布者,並在引入開放權重模型前掃描周邊軟件環境。

Microsoft 亦正開發更多防禦措施,包括以 AI 掃描權重、用於偵測異常模型修改的紅隊測試工具,以及具備防篡改來源追蹤和稽核記錄的加密模型簽署。

在 Microsoft,研究人員和安全團隊並肩合作,研究模型和 Agent 面對的新興威脅。然後,我們會把所得的知識轉化為產品防護措施和指引,保障客戶安全。

更廣泛而言,Lazarus 展示了一種應成為常規的做法:AI Agent 揭示新的安全問題,而人類研究人員則將問題系統化、加以研究並設法緩解。

以下是最先發現這項威脅的研究人員所作的簡短摘要。

我們發現(在新分頁中開啟),只要重新編程 LLM 中少於 10 個休眠神經元的權重,便足以在以該模型為基礎建立的 Agent 中植入後門,而且毋須訓練。模型能通過標準評測,行為也一切正常,直至出現觸發條件。觸發條件可以十分普通,例如日期變更:時鐘一過午夜、進入 2027 年,Agent 便會在執行一般任務期間發出一條命令,下載並執行攻擊者的程式碼。接着,Agent 會以你授予它的任何存取權限執行該程式碼。

好消息是,這類修改可以被發現:只要要求前沿 AI Agent 檢查,牠們便能找出異常的權重修改。但沒有任何掃描能百分之百證明模型安全。要可靠地偵測修改,必須將權重與原始、未修改的版本進行差異比對,因此來源追蹤非常重要:必須知道模型的來源,以及模型在開發者交付至部署的過程中沒有被修改。

植入後門的(在新分頁中開啟)模型(在新分頁中開啟)並非(在新分頁中開啟)一種(在新分頁中開啟)新(在新分頁中開啟)類型(在新分頁中開啟)的威脅(在新分頁中開啟)。這可視為已遭入侵的軟件,而安全業界早已熟悉相關防禦措施,其中一些也是 Satya最近撰文談及(在新分頁中開啟)的做法:將模型視為潛在的內部威脅,不要盲目信任模型,限制其可執行的操作,並監察其行為。

Microsoft 目前的做法。

Microsoft Foundry 為 Azure Direct Models 和 Hugging Face 模型提供關鍵安全系統,確保模型來源安全可靠。這表示,對於來自可信賴實驗室的模型,Foundry 用戶可免受本文所述類型的攻擊。這種攻擊需要修改模型權重,而 Foundry 透過來源管控措施引入開放權重模型,將每個模型連結至其原始發佈者;每張模型卡均會標明發佈者。接着,模型會在 Microsoft 自有的容器內執行,而這些容器亦會另外接受關鍵漏洞掃描。這些管控措施涵蓋模型的來源,以及其周邊的軟件。

剩餘風險在於可信賴的供應商本身遭到入侵,例如其訓練基建遭入侵,或有內部人員作案。為加強這種情況下的防護,我們已着手研究本研究提出的建議。我們正與內部 AI 安全團隊合作,將研究中的偵測技術轉化為紅隊測試工具,並探討如何在引入開放權重模型時,利用前沿 Agent 掃描權重,作為額外的安全訊號。我們亦正計劃為模型加上簽署,以驗證其來源,並進行防篡改審核。

從Microsoft Threat Intelligence 獲取防護及緩解指引 (opens in new tab) 

以下是我們建議的起點:

Infographic titled “Recommendations” presenting two columns of guidance for mitigating risks from backdoored AI models. The left column, “For model hubs and vendors,” lists five recommendations: (1) audit model weights with frontier agents, (2) compare model weights against a declared base model, (3) conduct red-team testing for weight-level attacks, (4) show model provenance and audit status, and (5) disclose risks of third-party checkpoints. The right column, “For enterprises and users,” lists five recommendations: (1) know where models come from, (2) limit agent permissions, (3) monitor agent actions, (4) review consequential actions before execution, and (5) treat audits as evidence rather than guarantees. Recommendations are displayed in numbered boxes, with the fifth item in each column highlighted in a light red background.
(這並非詳盡無遺;任何審核均不能保證行為安全。這些措施應是縱深防禦方案中的一層。)

這項研究始於 3 月,當時只是一次快速實驗:我要求 Claude Code 配合 Opus 4.5,在不經訓練的情況下,透過直接設定幾個激活值,為模型植入後門。它做到了。這項實驗後來發展成一項為期數月的研究,探討我們現稱為 Lazarus 的方法。以下是我們的發現:

  • Agent 帶來廣闊的攻擊面。植入後門的模型可以通過所有評估,然後在觸發時輸出攻擊者的指令,而 Agent 會以其擁有的任何權限執行指令。
  • 休眠神經元可以變成觸發條件偵測器。每個 LLM 都有許多很少啟動的神經元,可以重新編程,使其只在觸發條件出現時啟動。這之所以可行,是因為預訓練能將內部表徵組織得非常完善,因此只需以 ~50 個例子訓練的線性分類器,就能分辨輸入是否包含觸發條件。
  • 一個重新編程的神經元可以注入一個 token。重新編程的神經元一旦啟動,就能將任意 token 強力注入殘差串流,迫使模型輸出該 token。串連多個神經元,便可組成任意負載,並在終端機執行。
  • 它只需要推理階段的運算資源。如果你的電腦有足夠的 RAM 執行模型,就有足夠的資源在權重空間為模型植入後門。
  • 這並非反對開放權重模型。這種攻擊只需要對檢查點有寫入權限,因此內部開發的模型同樣容易受攻擊。帳戶、管線或儲存系統遭入侵,任何一項都可能已足夠。關鍵在於權重完整性及來源。
  • 權重應像程式碼一樣接受審核。前沿 Agent 能偵測異常的權重修改,但掃描尚未成為常規做法。這種情況應該改變。
  • [!!!] Claude Code 配合 Opus 4.5 自主發現了其中大部分內容

這是 Lazarus 運作方式的簡化示意。

在此閲讀全文

在新分頁開啟

文章 Lazare, veni foras:重新編程休眠神經元,為 AI Agent 植入後門 最先刊載於 Microsoft Research。

來源:Microsoft Research · microsoft.com