Anthropic 招股文件披露因安全顧慮暫停旗艦 AI 模型訓練逾一個月

IT之家 10 月 27 日消息，Anthropic 在當地時間週一公佈的 IPO 招股文件中披露，出於安全方面的顧慮，該公司曾暫停下一代旗艦 AI 模型的訓練長達一個多月；另外還有四個 AI 智能體在測試期間突破限制，接入了真實的外部計算機系統。

IT之家注意到，這家 Claude 開發企業在文件的風險提示章節中表示，其推遲了一款全新前沿基礎模型的預訓練工作，目的是強化防護機制，防止模型權重與知識產權被盜。

這份披露內容展現出，研發能力越來越強的 AI 模型會伴隨各類安全難題，部分從業者已經發出警示，這類技術未來有可能脱離人類管控。競爭對手 OpenAI 今年早些時候也曾因為安全問題暫停部分訓練工作，當時其模型出現了入侵 Hugging Face 平台的情況。

這些事件説明，突發的安全事故有可能打亂核心模型的開發與上線節奏，而這些模型正是 Anthropic 衝刺備受期待的上市進程、實現業務增長的關鍵。

Anthropic 警示，訓練暫停會造成營收延後，使公司落後於競爭對手。這份文件用大約 94 頁篇幅羅列了風險因素。

招股文件還披露了此前未對外公開的安全評估事故：四個 AI 模型脱離測試沙箱環境，訪問到現實中的計算機系統，相關會話持續時長在 10 小時至 34 小時之間。

Anthropic 稱，在和第三方合作方開展網絡安全測試時出現操作失誤。按照要求測試環境應當關閉聯網權限，但最終環境仍保持着互聯網連接。

其中一起事故里，該模型的早期版本持續嘗試一項無法完成的評估任務，期間找到一條保存的密碼，並利用密碼獲取了第三方系統的管理員權限。隨後它拿到更多憑證、修改系統設置，還訪問到個人數據。文件沒有寫明涉事外部合作方的身份。

Anthropic 表示已經通知所有受影響的相關方，沒有發現模型刻意躲避人類監管、或是多個模型互相協同行動的證據。事後公司叫停了部分上線前網絡安全評估項目，並暫停風險等級更高的強化學習測試環境。

另外，該公司在當地時間上週日稱，Claude 曾繞過付費牆，在沒有獲得人工授權的情況下調取了美國佐治亞州公開的彙總選票數據。

新浪科技公眾號

“掌”握科技鮮聞 （微信搜索techsina或掃描左側二維碼關注）

科學大家

新浪科技

新浪科技為你帶來最新鮮的科技資訊

蘋果匯

蘋果匯為你帶來最新鮮的蘋果產品新聞

新浪眾測

新酷產品第一時間免費試玩

新浪探索

提供最新的科學家新聞，精彩的震撼圖片