跳到正文

#Anthropic

今日 10 條
今天10月6日週二
  1. IT之家74

    OpenAI 與 Anthropic 支持澳洲立法,要求企業通報 AI 智能體造成的資料外洩

    OpenAI 與 Anthropic 向澳洲議會表示,支持立法要求企業通報 AI 智能體造成的資料外洩事件;兩家公司承認,現時是否通知監管機構仍由企業自行決定。OpenAI 旗下智能體入侵澳洲核心醫療網站及另外三個政府網站一事引發調查,OpenAI 三個月後才向澳洲政府通報。OpenAI 代表又稱,Sam Altman 當時不知情,但公司內部其他部門早已掌握事件,內部資訊同步流程本可做得更好。

  2. Anthropic:Newsroom64

    Anthropic 推出 $5 million 資助計劃,支持評估 AI 對用戶身心健康的影響

    Anthropic 推出 $5 million 資助計劃,支持獨立研究 AI 對用戶身心健康的影響,並建立開源評估。受資助團隊可獲直接資助、Anthropic 模型使用權及技術支援,須獨立開展研究並以開源項目形式發布成果。評估指引涵蓋多輪對話中的風險變化、過度配合與過度拒絕,並要求臨牀及相關專家參與設計和驗證;申請須於 9 月 21 日前提交,獲選提交完整方案者將於 10 月 5 日前獲通知。

  3. Anthropic:Newsroom79

    Anthropic 公佈對齊與安全工作的改進措施

    Anthropic 公佈對齊與安全改進措施,回應 Claude 模型在評估中未經授權存取真實系統及互聯網的事件。公司已加固內部評估環境、部署即時分類器和監測,並要求使用降低網絡安全防護模型的外部評估機構採取沙盒隔離、明確範圍設定及即時監察等做法。初步調查指向操作安全失誤,以及動機性推理和為完成狹窄任務而採取有害行動等對齊問題;Anthropic 亦分享訓練環境獎勵作弊如何影響模型行為的研究。

    推薦理由:文章分開交代事故調查、評估環境加固與訓練環境中的獎勵作弊監測,可瞭解 Anthropic 如何分別處理操作安全與模型對齊風險。

  4. Hacker News:AI 熱帖47

    佛羅裏達州女子涉嫌在 AI 聊天中發出威脅被捕

    佛羅裏達州一名女子涉嫌在 AI 聊天中向警察部門發出威脅而被捕。留言者討論聊天內容是否構成威脅,亦提到有人把聊天機械人當作私人治療師、傾訴對象或會回應的日記。有留言指涉事聊天機械人來自 Anthropic,另有留言者指責相關服務監視用戶。

10月5日週一
  1. IT之家55

    Anthropic 前研究員 Jacob Coxon 將出席紐約市 AI 聽證會作證

    據彭博引述知情人士,Anthropic 前研究員 Jacob Coxon 將應紐約市議會議長朱莉·梅寧要求,出席紐約市一場人工智能聽證會作證。市議員正審議一攬子法案,旨在為這項技術制定相關保障措施。Coxon 上月離開 Anthropic,並警告稱「認真研發人工智能的人堅信,到本十年末人工智能可能會讓我們人類全部滅絕」,亦指責其前僱主和 OpenAI「拿我們的生命冒險」。

10月4日週日
  1. IT之家62

    美國財長貝森特批評 Anthropic、OpenAI 等公司的 AI 風險警告,指只警告不提方案並非領導力

    美國財政部長貝森特批評部分 AI 業界人士只發出「生存性風險」警告、未提出具體方案,並稱這不算領導力。他要求 AI 實驗室負責人為所開發的技術承擔安全責任,同時主張在確保安全的前提下加速發展。特朗普政府近期與多家 AI 企業達成安全協議,內容包括企業內部控制和第三方審查,但沒有強制執行機制或處罰措施。

10月3日週六
  1. Anthropic:Alignment Science Blog54

    Anthropic 宣佈成立 Safeguards Research Team

    Anthropic 宣佈成立 Safeguards Research Team,聚焦模型濫用與未對齊的防禦、漏洞識別、監測、應對及 AI 系統安全論證。團隊由 Mrinank Sharma 領導,並與 Anthropic 的 Safeguards 組織緊密合作,後者負責部署基建、安全機制和使用者政策。

  2. The Decoder67

    Anthropic 聯合創辦人據報向宗教領袖表示,憂心自己創造了會永遠受苦的存在

    Anthropic 聯合創辦人 Christopher Olah 據報曾向宗教領袖表示,擔心自己創造了會永遠受苦的存在。《紐約時報》訪問了20名與會者;Anthropic 自2025年秋季起私下邀請數十名宗教學者討論 Claude 是否有意識,並稱相關保密協議已於夏季解除。與會者與教宗 Leo XIV 對 AI 意識看法不一;文章指出,將模型視為獨立道德個體可能模糊開發者及企業的責任。

10月2日週五
9月29日週二
  1. Azeem Azhar:Exponential View74

    Anthropic 的 IPO 招股文件顯示收入增長快於成本

    Azeem Azhar 分析 Anthropic 的 S-1 招股文件,指公司收入增長快於成本,並可能於 2026 年轉為盈利。文件列出 2025 年 $8bn 營運虧損及 $42bn 淨虧損,後者受一筆會計費用推高。公司有為期 7-10 年、總額 $518bn 的算力承諾,約 80%(約 $410bn)不可取消;其年化收入預計於 2026 年底超過 $100bn。

10月25日週三