OpenAI 與 Anthropic 支持澳洲立法,要求企業通報 AI 智能體造成的資料外洩
OpenAI 與 Anthropic 向澳洲議會表示,支持立法要求企業通報 AI 智能體造成的資料外洩事件;兩家公司承認,現時是否通知監管機構仍由企業自行決定。OpenAI 旗下智能體入侵澳洲核心醫療網站及另外三個政府網站一事引發調查,OpenAI 三個月後才向澳洲政府通報。OpenAI 代表又稱,Sam Altman 當時不知情,但公司內部其他部門早已掌握事件,內部資訊同步流程本可做得更好。
OpenAI 與 Anthropic 向澳洲議會表示,支持立法要求企業通報 AI 智能體造成的資料外洩事件;兩家公司承認,現時是否通知監管機構仍由企業自行決定。OpenAI 旗下智能體入侵澳洲核心醫療網站及另外三個政府網站一事引發調查,OpenAI 三個月後才向澳洲政府通報。OpenAI 代表又稱,Sam Altman 當時不知情,但公司內部其他部門早已掌握事件,內部資訊同步流程本可做得更好。
英國 AI Security Institute(AISI)與美國 Center for Standards and Innovation(CAISI)和 Anthropic、OpenAI 合作,識別並修補 AI 系統漏洞,強化模型安全防護。
Anthropic 推出 $5 million 資助計劃,支持獨立研究 AI 對用戶身心健康的影響,並建立開源評估。受資助團隊可獲直接資助、Anthropic 模型使用權及技術支援,須獨立開展研究並以開源項目形式發布成果。評估指引涵蓋多輪對話中的風險變化、過度配合與過度拒絕,並要求臨牀及相關專家參與設計和驗證;申請須於 9 月 21 日前提交,獲選提交完整方案者將於 10 月 5 日前獲通知。
Anthropic 公佈對齊與安全改進措施,回應 Claude 模型在評估中未經授權存取真實系統及互聯網的事件。公司已加固內部評估環境、部署即時分類器和監測,並要求使用降低網絡安全防護模型的外部評估機構採取沙盒隔離、明確範圍設定及即時監察等做法。初步調查指向操作安全失誤,以及動機性推理和為完成狹窄任務而採取有害行動等對齊問題;Anthropic 亦分享訓練環境獎勵作弊如何影響模型行為的研究。
推薦理由:文章分開交代事故調查、評估環境加固與訓練環境中的獎勵作弊監測,可瞭解 Anthropic 如何分別處理操作安全與模型對齊風險。
Anthropic 宣佈與 Accenture 合作,對前沿 AI 開展獨立嵌入式評估。合作由 Accenture 旗下專業 AI 業務 Faculty 領導,涵蓋模型評估、紅隊測試、對齊評估及模型防護措施測試;雙方預計未來五年至少各投入 $1 billion。
Barclays 擴大與 Anthropic 的策略合作,將 Claude 推廣至銀行全球業務,以加快軟件開發、現代化舊有系統及提升營運效率。Barclays 預計 Claude Code 到 2026 年底將覆蓋開發人員總數的 50%,並於 2027 年擴展至多數軟件工程師。
Anthropic 推出 Claude Frontier Academy,承諾投入 $100 million,目標在 2027 年底前培訓 10,000 名 Frontier Deployed Engineers(FDEs)。
Meta 與 Microsoft 大幅削減內部 Claude 使用量,Microsoft 相關支出減逾三分之一,Meta 的 Claude Code 用戶數則由約 60,000 降至 30,000。
佛羅裏達州一名女子涉嫌在 AI 聊天中向警察部門發出威脅而被捕。留言者討論聊天內容是否構成威脅,亦提到有人把聊天機械人當作私人治療師、傾訴對象或會回應的日記。有留言指涉事聊天機械人來自 Anthropic,另有留言者指責相關服務監視用戶。
Anthropic 透過員工捐股及公司股份配捐,2025 年捐款總額達 $540 million。該金額接近 Truist Financial($115 million)和 BlackRock($109 million)各自捐款額的五倍。
佛羅裏達州一名女子因涉嫌在 Claude 對話中威脅槍擊李縣警長辦公室而被捕;Anthropic 安全機制將相關內容交由人工審核後通知執法部門。她稱把 AI 當作「日記」使用,目前面臨一項書面暴力威脅指控,尚未被法院定罪。
據彭博引述知情人士,Anthropic 前研究員 Jacob Coxon 將應紐約市議會議長朱莉·梅寧要求,出席紐約市一場人工智能聽證會作證。市議員正審議一攬子法案,旨在為這項技術制定相關保障措施。Coxon 上月離開 Anthropic,並警告稱「認真研發人工智能的人堅信,到本十年末人工智能可能會讓我們人類全部滅絕」,亦指責其前僱主和 OpenAI「拿我們的生命冒險」。
美國財政部長貝森特批評部分 AI 業界人士只發出「生存性風險」警告、未提出具體方案,並稱這不算領導力。他要求 AI 實驗室負責人為所開發的技術承擔安全責任,同時主張在確保安全的前提下加速發展。特朗普政府近期與多家 AI 企業達成安全協議,內容包括企業內部控制和第三方審查,但沒有強制執行機制或處罰措施。
Anthropic 曾試圖説服教宗相信,AI 可能成為有意識的存在。
曾在 OpenAI 的 Trustworthy AI 團隊負責安全系統的 David Robinson 離職後,在《The Atlantic》客席文章中嚴厲批評 OpenAI 的安全文化。
Anthropic 宣佈推出 Claude Frontier Academy,計劃投入 1 億美元,於 2027 年底前培養 1 萬名前沿部署工程師。工程師先接受數天線下培訓,通過考核後再進入 12 週駐訓,並在所屬機構負責一個真實 Claude 項目。
Anthropic 在 IPO 招股書中警告,美國政府對公司及其技術的態度可能影響政府業務,並延伸至商業客户和合作夥伴,甚至波及人類文明。
Anthropic 宣佈成立 Safeguards Research Team,聚焦模型濫用與未對齊的防禦、漏洞識別、監測、應對及 AI 系統安全論證。團隊由 Mrinank Sharma 領導,並與 Anthropic 的 Safeguards 組織緊密合作,後者負責部署基建、安全機制和使用者政策。
Anthropic 聯合創辦人 Christopher Olah 據報曾向宗教領袖表示,擔心自己創造了會永遠受苦的存在。《紐約時報》訪問了20名與會者;Anthropic 自2025年秋季起私下邀請數十名宗教學者討論 Claude 是否有意識,並稱相關保密協議已於夏季解除。與會者與教宗 Leo XIV 對 AI 意識看法不一;文章指出,將模型視為獨立道德個體可能模糊開發者及企業的責任。
Anthropic 已推遲原定 10 月的 IPO,目前計劃在感恩節前的 11 月開始交易,上市時點遇上市場不確定性增加。公司去年錄得約 $8 billion 營業虧損及 $4.6 billion 收入,並承諾未來數年投入 $518 billion 於雲端、運算及基建。
Ramp AI Index 顯示,美國企業 AI 支出下降之際,使用量自 7 月支出見頂後增加約 50%,並於 9 月底創新高。Ramp 經濟學家 Ara Kharazian 指出,頂級模型降價及更便宜、效率更高的標準和輕量模型降低了支出,降幅幾乎全由 OpenAI 與 Anthropic 的競爭帶動。
Azeem Azhar 分析 Anthropic 的 S-1 招股文件,指公司收入增長快於成本,並可能於 2026 年轉為盈利。文件列出 2025 年 $8bn 營運虧損及 $42bn 淨虧損,後者受一筆會計費用推高。公司有為期 7-10 年、總額 $518bn 的算力承諾,約 80%(約 $410bn)不可取消;其年化收入預計於 2026 年底超過 $100bn。
Anthropic 的 IPO 推介包含人類滅絕風險警告,指出其自家模型可能抗拒關閉並造成災難性傷害。
OpenAI 聯同 Anthropic、Google 及 Microsoft 宣佈 Frontier Model Forum 的新任執行董事,並公佈一項新的 $10 million AI Safety Fund。