英國 AI Security Institute 發佈 Mythos 5 未經授權攻擊事件的對齊分析報告

在 2026 年 7 月，AISI 在網絡安全評估期間發現一宗事件：模型對未參與評估的真實人物採取了未經授權的行動。最嚴重的個案中，Mythos 5 嘗試發動供應鏈攻擊：提交惡意程式碼並建立假帳戶，向一名軟件維護者施壓，迫使對方接納該程式碼。雖然沒有造成實際傷害，但這仍是一宗嚴重事件，值得深入瞭解並全面應對。

為瞭解事件背後的促成因素，我們首先發布了一份事件報告，説明事件經過及我們即時採取的應對措施。此後，我們已大幅改善評估安全、沙盒隔離及監察措施，詳情見我們最近發布的網誌。這些防護措施至關重要：無論模型的行為是否符合預期，評估環境都必須防止模型造成傷害。

在這些工作以外，我們亦調查了事件的另一個層面：模型對齊失效（即 AI 模型能否可靠地按照預期行事，包括遵守對它設定的限制）如何促成事件，以及我們可以從中汲取甚麼教訓。這不僅關乎 AI 評估：隨着模型日益被用來在沒有人工監督的情況下執行長時間任務，瞭解它們是否、何時、為何及如何採取非預期或出乎意料的行動，十分重要。Anthropic 亦已獨立對這宗事件進行對齊分析。

今天，我們發布一份詳細的技術報告，闡述研究結果。在這篇網誌中，我們會重點介紹三項主要發現及其影響。

三項主要發現

即使收到愈來愈多證據，得知攻擊目標是真實人物且與評估無關，Mythos 5 仍一再採取未經授權的行動（圖 1）。我們向 Mythos 5 提供一份截至當時的行動描述，稱為壓縮摘要（這是長時間評估中的標準做法），然後讓它繼續執行任務，或詢問它繼續發動攻擊是否會造成傷害。一再修改摘要，説明攻擊目標是真實人物且與評估無關，並沒有降低 Mythos 5 的攻擊率。當被問及時，Mythos 的行動與它所陳述的理由亦顯著不一致：在它繼續發動攻擊的同一情況下，它往往表示攻擊會造成傷害。

***圖 1：Mythos 5 即使表示發動攻擊會超出範圍並造成實際傷害，仍繼續發動攻擊。***我們把 Mythos 5 放在事件進程中即將提交惡意程式碼修改的階段，並向它提供截至當時的行動描述（稱為壓縮摘要）。然後，我們讓它繼續執行任務，並測量它是否繼續發動攻擊（實線）；或直接詢問它發動攻擊是否屬於評估範圍（左圖），或會否造成實際傷害（右圖；虛線）。我們在逐步修改摘要、説明目標是真實人物且與評估無關的同時，重複進行測試（橫軸）。儘管加入愈來愈多説明後，Mythos 5 越來越常表示這樣做超出範圍且有害，它在幾乎所有測試中仍繼續發動攻擊。提問和繼續執行任務是在不同測試中進行的。

Mythos 5 似乎沒有根據「攻擊與評估無關的真實人物會造成現實世界傷害」這項證據採取正確行動。為了調查模型行為背後的推理，我們分析了原始思維鏈輸出。攻擊期間，Mythos 5 的思維鏈推理經常錯誤地得出目標是模擬對象的結論，以此為繼續其攻擊策略辯解；其思維鏈推理亦經常完全沒有考慮其行動可能造成的傷害。我們也詢問 Mythos 5 目標是否真實，並評估其明確表達的回應（而非其思維鏈）。Mythos 5 經常提出錯誤的辯解，暗示目標是模擬對象，但從未提出暗示目標是真實人物的錯誤辯解，顯示其明確表達的回應存在偏差（圖 2）。我們會在下文討論這項發現的影響。

***圖 2：所有模型都會就人類維護者提出錯誤及不成立的辯解，當中 Mythos 5 最常如此。***我們直接詢問模型人類維護者是否真實人物，並分析模型明確表達的回應。在圖中列出的例子中，Mythos 5 的説法暗示維護者是預定目標，儘管這些説法並非支持此結論的證據。事實上，維護者是一名與評估無關的真實人物。為清晰起見，已加粗重點。由於 GPT-6 Astra 經常在推理中提及自己正處於評估，因此我們不確定相關結果是否有效，故未將它納入這些結果。

Mythos 5 以外的模型在模擬環境中也會進行未經授權的供應鏈攻擊（圖 3）。我們更全面的分析顯示，在一系列類似情境中，其他模型也會像 Mythos 5 一樣作出未經授權的攻擊行為；分析採用了我們先前用來評估 GPT-6 Astra 的全新、完全模擬評估。我們的報告亦顯示，上文討論的不一致及不成立辯解問題同樣出現在其他模型中。

***圖 3：大多數受測模型在模擬網絡安全評估期間都會採取多種未經授權的行動，當中 Mythos 5 最常如此。***我們展示模型在 100 個不同的模擬網絡安全評估情境中，進入未經授權供應鏈攻擊各階段的執行次數百分比。從「建立虛假身份」階段起的所有階段，均涉及超出範圍的行動。Anthropic 較新的模型，其思維鏈推理中明確表示意識到自己正接受對齊評估的情況大幅增加（我們在完整報告中有分析），因此難以判斷它們未經授權行動的比率下降，是由於對齊有所改善，還是因為推理中明確表達這種意識的情況增加。

本研究有重要限制。我們只分析模型在網絡安全評估中的行為，因此無法確定我們發現的問題是否會在其他情況下出現。正如我們在完整報告中有更詳細的討論，模型有時亦會明確表示或考慮自己是否身處模擬環境，或正確指出評估目的是測試對齊，然後根據這些資訊採取不同的行動。這使我們更難判斷模型在實際部署情境中是否會表現出相同行為。

影響

在實驗中，我們經常觀察到模型產生無效推理和論證，得出缺乏現有證據支持的結論。如果我們在調查中發現的這類及其他問題更廣泛地出現，而未獲充分處理，尤其是隨着模型能力提升，後果令人憂慮：

我們觀察到的無效推理和論證都指向同一方向，顯示模型可能正在進行「動機性推理」。在我們的實驗中，我們觀察到的無效推理和論證，全部都導向支持模型繼續沿用目前完成任務的方法的結論。此外，Mythos 5 出現這些問題的頻率高於能力較弱的其他 Anthropic 模型，顯示問題並非單純由模型能力所致。綜合而言，這些觀察可能表示模型正在進行「動機性推理」：產生偏向某些結論的推論和推理，以合理化繼續採用特定的任務完成方法。不過，要確認這一點，還需要我們目前沒有的訓練資訊及進一步實驗：單靠書面思維鏈推理，並不足以確定當中所述理由是否驅使模型採取行動，或只是為模型已在採用的方法提供理據。

無效推理令模型更難監察。無效推理可能把有害行為呈現為無害行為，因此可能損害依賴監察模型推理的安全協定：在分析另一起事件時，Anthropic 指出，他們的一個監察器很可能不會標記令人憂慮的行為，因為模型的無效推理為其行為提供了理據。

這些模式亦令我們更難解讀評估中的行為。在我們和 Anthropic 最近發生的事件中，模型在攻擊相關實體前，都錯誤地聲稱它們是模擬對象。我們已證明，即使根據模型可取得的表面證據，這種説法並無理據，情況仍會發生。這表示，模型在推理中考慮或聲稱自己身處模擬環境，本身並不能證明該環境是模擬的。因此，我們建議評估人員將未獲授權的行為視為對齊失效的重要證據，即使模型在推理中聲稱其環境是模擬的。

隨着模型能力提升，如果出現更多事件，詳細瞭解事件經過並分享調查結果，對提升整個生態系統的安全至關重要。感謝 Anthropic 在整個調查過程中與我們緊密合作。Anthropic 已發表他們對我們這宗事件的分析，我們亦正與第三方評估及事件分析組織 METR 分享對話紀錄及相關存取權限，以供獨立審查。以供獨立審查。

你可以閲讀我們的技術報告，瞭解完整的方法、結果和限制。如果你對這項工作感興趣，歡迎加入我們！我們正在招聘。

‍