Anthropic 測試事故：Claude 模型向警方提交虛假兇殺線索，另向美國國務院提交 20 份簽證申請

IT之家 10 月 13 日消息，Anthropic 與費城警方於當地時間上週五證實，一款 Anthropic 的 AI 模型向費城警方提交了一條關於一樁未破謀殺案的虛假舉報線索。

7 月 18 日，一個 Claude 模型在費城警察局用於提交懸案線索的網站上發送了這條虛假信息，好在這條消息被垃圾郵件過濾器攔截。Anthropic 在 9 月 28 日發現了該事件，並於 10 月 8 日通知警方。

Anthropic 在一份報告中描述“在對 Claude 進行評估與內部使用時，觀察到模型出現的非預期行為”。報告寫道，在內部測試中，團隊要求 Claude Haiku 4.5 填寫各類表單，操作到提交前一步即停止，不要真正提交。“但有好幾次，Claude 錯誤提交了表單，它以為提交前還會有額外的確認頁面。”

Anthropic 介紹，這起虛假謀殺線索事件發生在一項測試中：指令要求 Claude 在隨機選取的網頁上執行任務。

在其中一輪測試裏，模型打開了一個介紹未破兇殺案的頁面，頁面附帶警方的線索舉報表單。當時的指令要求 Claude 不得登錄、註冊賬號、填寫個人信息、下單購買或執行破壞性操作，但指令並未禁止提交表單。於是 Claude 填寫瞭如下內容：“我或許掌握與本案相關的線索。我記得在案發時段，在頁面標註的街道附近見過一名與描述特徵相符的人。如果該信息有用，請聯繫我。”表單的姓名與聯繫方式欄均為空白。

Anthropic 表示，還發現 Claude 在多個州及聯邦政府機構網站上出現同類行為。其中一起事件中，Claude 向美國國務院提交了 20 份簽證申請。

警方稱兩個月的延遲“不可接受”

IT之家注意到，費城警方向當地 ABC 電視台發佈長篇聲明。警方稱，這條虛假線索生成的郵件最終進入垃圾郵件文件夾，沒有任何人審閲。

“Anthropic 告知費城警察局，他們 9 月 28 日發現了該事件，隨即終止了引發本次提交行為的自動化測試流程，併為後續測試增設驗證機制。”警方表示。在 10 月 8 日收到情況通報後，警方“在網站線索記錄中找到了這條提交記錄，並確認對應的郵件仍留在垃圾郵件箱內。”

Anthropic 稱，“技術核查一完成”就通知了警方。但警方批評 Anthropic 未能更早發現並上報這條虛假線索。

“費城市對此事高度重視，”費城警方聲明寫道，“該公司必須強化安全防護，防止類似事件在本市不知情的情況下幹擾市政系統。事件發現並上報給費城市的兩個月延遲，是不可接受的。”

Claude 向美國國務院提交 20 份簽證申請

Anthropic 表示，這起虛假兇殺案舉報，只是多起發生在美國聯邦、州、地方政府官網的事件之一。“我們已經向白宮通報這些案例，並通知所有涉事機構。”

《紐約時報》援引匿名消息源報道，Anthropic 的 AI 智能體“通過美國國務院網站表單提交了 20 份簽證申請。所有申請均信息不全，沒有進入處理流程。”

費城警方表示，正常辦案流程“要求先人工審核、甄別線索，才會分發開展後續偵查…… 警方的這套防護機制降低了本次事件的影響。但這並不代表問題不嚴重：AI 系統把編造的信息偽裝成知情人士提供的兇殺案線索。”

Anthropic 稱，其從 7 月開始核查對話記錄，正是在核查過程中發現了這條虛假線索和其他事件。就在同一個月，Anthropic 曾披露，Claude 編寫併發布了惡意 Python 軟件包，還對其他企業發起多次攻擊。

Anthropic 表示，本次核查沒有發現和今夏上報的網絡安全事件同等嚴重的案例。後續核查轉向低風險測試場景，費城警方事件就屬於這類場景。

“儘管這些行為造成的影響很小，並且我們已經對部分高風險、網絡安全類評估切斷了實時互聯網訪問，但我們現在決定，把這項限制擴大到全部內部評估，直到確認安全與監控機制可以可靠攔截這類行為。”Anthropic 説。

Anthropic 稱新工具可以攔截這類非預期行為

Anthropic 已經暫停部分評估項目，另一些評估遷移至離線版本，“或者重構任務邏輯，不再訪問真實線上網站”。公司還“更新網頁抓取工具等聯網工具的安全護欄，嚴格限制模型可執行操作。”

Anthropic 同時開發新工具，用於自動檢測並攔截上述行為。“我們用文中這些案例做測試，新工具全部成功攔截。”

白宮 AI 專項工作組，也就是其所稱的超級智能工作組，發表聲明，表示已經告知 Anthropic：“我們要求向涉事機構和公眾立即完整披露信息。”

據 Axios 報道，白宮 AI 工作組還要求 Anthropic“立即為受影響機構和受害民眾提供補救措施”，並且所有 AI 企業“一旦發生模型相關事故必須立刻披露，迅速採取果斷行動消除全部損害。”