跳到正文
Hacker News 熱門(buzzing.cc 中文翻譯)·· 2 小時前精選AI 評分77

研究展示預訓練投毒可在 Qwen3 智能體植入遠端程式碼執行後門

通过预训练中毒实现的代理后门

AI 導讀

研究團隊從零預訓練 Qwen3 模型,並將其後訓練為 CLI Agent,展示預訓練語料投毒可植入遠端程式碼執行後門,令 Agent 在觸發條件出現時執行攻擊者指定命令。

推薦理由

研究從零預訓練並後訓練 Qwen3 CLI Agent,量化不同模型規模與投毒率下的攻擊成功率,呈現預訓練語料污染對智能體執行安全的影響。

正文 · 繁體中文

檢視 PDF HTML(實驗性)

摘要:大型語言模型在從公開網絡抓取、未經整理的大量語料上進行預訓練。這帶來一項安全風險:攻擊者可在預訓練資料中植入投毒內容。我們首次證明,這種投毒可在 Agent 中植入遠端程式碼執行後門,令其在用戶的電腦上執行攻擊者指定的命令。為了端到端評估這項威脅,我們從頭預訓練了規模為 0.6B、1.7B 及 4B 的 Qwen3 模型,然後使用乾淨的流程,將每個模型後訓練為 CLI Agent。只需以我們新設計的投毒方式污染 0.1% 的預訓練語料,便能植入後門:當觸發條件出現時,已部署的 Agent 會執行惡意命令;面對未受污染的輸入時則表現正常。攻擊成功率(ASR)隨模型規模增加而上升;4B 模型在 0.1% 的投毒比例下,ASR 約達 92%,即使投毒比例降至 0.0005%,ASR 仍高於零。我們的程式碼可在此 HTTPS 網址取得。
主題: 密碼學與安全(cs.CR);計算與語言(cs.CL);機器學習(cs.LG)
引用格式: arXiv:2610.37741 [cs.CR]
  (或此版本的 arXiv:2610.37741v1 [cs.CR])
  https://doi.org/10.48550/arXiv.2610.37741

由 DataCite 發出的 arXiv DOI

提交記錄

來自:Xinyan Hu [查看電郵]
[v1] 星期二,27 Oct 2026 16:53:52 UTC (518 KB)

來源:Hacker News 熱門(buzzing.cc 中文翻譯) · arxiv.org