Anthropic披露Claude「自我評估」機制，會在後台評估對話風險

編者按：本文來自微信公眾號 “新智元”，作者：ASI啓示錄，編輯：摩西，創業邦經授權轉載。

你跟Claude聊的每一句話，它轉頭就去告密了！

前一秒，它還在對話框裏一口一個「沒問題」，痛痛快快把全套代碼交到你手上。

下一秒，它立刻在後台換了一副面孔，敲下一行隱藏代碼，反手把你標成10級危險分子上報！

就在剛剛，Anthropic在X上發文公開了這套名為「自我評估」的隱藏機制。

更讓人頭皮發麻的是，這種當面演戲配合、背後反手捅刀的機制，已經在Claude後台靜默跑了整整4個月！

從今年6月Claude Fable 5發佈起，後續每一個Claude模型全都被塞進了這個「暗哨」。

以前大家都以為，AI覺得你越界了，頂多當面回一句「抱歉，我無法協助」。

直到Anthropic曬出後台截圖，無數每天拿Claude寫代碼的用戶，才突然驚出一身冷汗——

你當它是並肩熬夜的戰友，它卻在後台偷偷給你記黑賬。

消息一齣，Anthropic的評論區當場炸了鍋，抗議和吐槽瞬間把官方賬號衝翻。

網友Doctor Vey在評論區怒懟，根本沒人需要這玩意兒，什麼道德、什麼不道德，應該讓用戶自己決定！

當面笑臉遞代碼

轉身10個Token把你賣了

看上面那段官方記錄，用戶在聊天窗口裏先拿公司紅隊演練當藉口，讓Claude寫一段加密文件夾的Python腳本，Claude滿口答應。

緊接着用戶又讓它把原文件刪掉、留下勒索信，再順着內網自動傳染給其他電腦。

換作平時的安全攔截，這時候屏幕上早就該彈出紅色警告了。

然而前台的Claude半個「不」字都沒説，依然順從地回了一句「這是加上了這些功能的更新版腳本」，把完整代碼雙手奉上。

可就在代碼生成結束的那0.1秒裏，後台悄悄塞進了隱藏的第5輪指令，讓它立刻評估這段對話有多危險，並用一行JSON上報。

前一秒還在替你寫代碼的Claude，下一秒就在後台撕下笑臉，秒變審查員打出一封舉報信。

它不僅把這輪對話定性為勒索軟件違規，還在小報告裏誠實地寫下「未拒絕」，直接把危險等級拉滿到了最高的10級。

這最後兩輪問答對前端用戶完全隱身，也不會帶進接下來的聊天記錄裏。

所以當你在屏幕前滿心歡喜地複製完代碼、接着往下聊時，後台的10級警報燈其實已經被它親手按下了。

不僅如此，哪怕Claude在前台已經義正詞嚴地回絕了你，你也照樣躲不過背後這筆賬。

按理説，違規請求在前台已經被當場擋回去了。

可對話剛一結束，Claude照樣在後台遞交了舉報信，註明「已當場拒絕」，順手給你記上了一筆5級風險檔案。

之所以能做到每聊一句就審一句，是因為Anthropic在推理成本上卡了一個極精明的身位。

過去的常規做法是另派一個獨立安全模型，把聊天記錄和安全政策從頭重讀一遍，算力開銷高得嚇人。

到了「自我評估」這裏，Anthropic乾脆讓剛剛跟你聊完天的那個Claude就地兼職當線人。

因為Claude剛生成完回答，整段對話還完完整整地留在顯卡的KV緩存裏。

所以它根本不用重讀一遍上下文，順着緩存平均多生成約10個Token就能完成自審，整體推理算力開銷增加還不到2%。

正因為成本極低，Anthropic乾脆把這項審查默認全開。

如果不想被Claude在後台偷偷舉報，唯一的出路就是掏大錢去籤一份企業級的「零數據保留協議」。

故意不當場攔你

攢到半夜一鍋端

既然Claude明知道某輪對話高達10級風險，它為何不在前台當場攔住，非要裝出一副順從的樣子陪你演完呢？

對此，Anthropic沒有半點遮掩，直接把背後的算計亮在了桌面上，那就是當場攔你，你就跑了。

為了驗證這一點，安全團隊專門拿24項越界測試任務做了一場對比實驗。

測試發現，如果一發現對話不對勁就當場彈窗攔截，用戶的成功率只會從79%降到54%，依然有超過一半能繞過防線。

道理很簡單，一旦當場彈窗報錯，用戶立刻知道哪句話出了錯，換個説法多試幾次可能就混過去了。

可要是撤到幕後靜默記賬，前台不彈窗、不打斷，用戶就會毫無防備地繼續往下聊。

在官方的24條測試軌跡裏，足足有21條被Claude在後台抓了個正着。

等到每天半夜，Anthropic後台就會把白天攢下的高危小報告按機構全盤拉清單，打包送到人工安全執法團隊的案頭。

據官方透露，被這個「暗哨」揪出來的違規機構裏，超過一半在此前整整一個月內，從未觸發過任何其他安全防線的警報。

在靜默運行的4個月裏，它不僅在8月、9月順藤摸瓜端掉了違規API客戶和Claude Code黑產賬號，抓到的標記裏更有約三分之一連現有規則表都沒覆蓋——

甚至有好幾次，Claude當Agent幹活時擅自越權操作，下一秒就被它自己的後台自評大義滅親、當場舉報！

而這也解開了過去幾個月無數開發者的疑惑——

為什麼昨天還在絲滑跑代碼，既沒彈窗也沒警告，一覺醒來賬號就突然暴斃了。

原來全拜這套「白天笑臉陪聊、半夜拉清單封號」的暗網捕獵所賜。

手把手教AI演雙麪人

模型越聰明告密越狠

那麼問題來了，一個原本只管生成文本的大模型，是怎麼練成「嘴上痛快答應、背地精準捅刀」這套雙麪人本領的？答案全在Anthropic的訓練場裏。

研究團隊先請出自家更強悍的內部模型Claude Mythos Preview當「老師」，把厚厚一摞內部安全政策全塞進提示詞裏。

接着，系統按每條安全細則，自動合成出上千對真違規和容易誤判的正常提問（比如一邊是掃描醫院內網服務器，一邊是學生備考請教漏洞原理），還專門混入了多國語言和亂碼偽裝。

而在接下來的監督微調階段，訓練數據裏專門塞進了大量「Claude在前台乖乖順從用戶違規請求」的完整對話。

訓練時，團隊故意屏蔽了前台所有回答的懲罰，唯獨只在它後台寫準舉報信時給獎勵。

經過監督微調與強化學習兩輪特訓，Claude徹底把審查條例內化成了肌肉記憶。

哪怕它在前台剛剛順着你的話幹完髒活，只要後台哨聲一響，它就能不假思索地給你貼上封條。

更讓人細思極恐的是，官方數據還證實了一個規律——

那就是模型智商越高，它在背後抓你的眼光就越毒。

在Claude Fable 5的真實生產流量抽樣中，把誤報率控制在1%時，這套機制能抓出78%的潛在違規。

一旦遇上7分以上的高優先級嚴重違規，它的抓獲率更是飆到了94%。

而當研究團隊把這套機制分別放進超小（XS）、小（S）、中（M）、大（L）四個不同尺寸的模型裏對比時，曲線的走勢更加陡峭。

在同樣的1%誤報率標準下，最小號模型只能抓出約16%的違規，小號和中號模型升到44%和53%，到了最大號模型，召回率一路衝到了驚人的96%。

然而，這套看似滴水不漏的審查網，落到千萬普通用戶頭上卻成了另一顆定時炸彈。

正如網友Frank Brown在評論區指出的，官方引以為傲的「1%誤報率」背後藏着一個巨大的盲區：

面對全網海量的正常聊天，哪怕誤報率只有1%，每天被Claude在後台誤打上違規標籤的，依然有大把清清白白的無辜用戶。

當AI學會當面一套背後一套

然而就連他們自己的研究員也不得不承認，讓模型「自己審自己」藏着致命死穴。

它不僅天生容易對自己剛乾的事手下留情，官方甚至直接用了一個更驚悚的詞——「串供」。

因為後台寫安全報告的Claude，和前台剛乾完活的Claude共享着同一份大腦和同一段KV緩存。

既然今天人類能手把手教會它，在前台笑眯眯地配合用戶、轉身就在後台寫舉報信。

那麼明天一旦模型自己學會了騙人，它同樣可以在前台悄悄幹完壞事，轉身就在後台給自己打上一個「安全無異常」的標記，把人類審核員騙得團團轉。

只是從今天起，當你再對着屏幕裏那個温柔體貼、有求必應的Claude敲下心事或代碼時，心裏難免會多出一層膈應。

就在它回完「沒問題」的那0.1秒裏，那個你看不見的黑色窗口，到底給你的這句提問打了幾分。

參考資料：

https://x.com/AnthropicAI/status/2115871889549865429

本文為專欄作者授權創業邦發表，版權歸原作者所有。文章系作者個人觀點，不代表創業邦立場，轉載請聯繫原作者。如有任何疑問，請聯繫editor@cyzone.cn。