跳到正文

全部動態

今日 469 條
10月3日週六
  1. Anthropic：Alignment Science Blog60

    AI 的「混亂失誤」：錯位如何隨模型智能與任務複雜度變化？

    Anthropic 研究團隊以偏差與方差分解分析前沿推理模型，發現推理或行動序列越長，錯誤中的不一致性佔比越高。在基準任務中，較智能模型在容易題目上的錯誤較一致，但最難題目上的錯誤不變或更不一致。多個樣本集成可降低不一致性，但在行動不可逆的真實智能體任務中可能難以實用。

  2. Anthropic：Alignment Science Blog58

    人格選擇模型（PSM）：AI 助理為何可能表現得像人類

    Anthropic 闡述人格選擇模型（PSM），主張 LLM 預訓練會學習模擬多種角色，後訓練則塑造 Assistant 角色，助理行為很大程度取決於其特質。文章整理行為、泛化與可解釋性方面的相關證據，並討論擬人化推理及在訓練資料中加入正向 AI 原型等發展啟示。作者指出，PSM 是否足以解釋助理行為，以及角色之外是否存在能動性，仍是開放問題。

  3. Anthropic：Alignment Science Blog59

    無監督引出方法的安全性面臨 3 項挑戰，集成與方法結合未能穩定奏效

    Anthropic 研究團隊測試無監督引出與易到難泛化方法，歸納 3 項安全挑戰並檢驗 2 種改進方向。挑戰包括顯著但不代表真實性的特徵、訓練資料失衡，以及模型難以明確作答的問題；改進方向是集成預測器，以及結合無監督引出與易到難方法。新方法有時表現較好，但沒有任何技術能穩定應對這 3 項挑戰。

  4. Anthropic：Alignment Science Blog56

    AuditBench：評估對隱藏行為模型的對齊審計技術

    Anthropic 研究團隊推出 AuditBench，這套對齊審計基準涵蓋 14 類隱藏行為，並包含 56 個植入相關行為的語言模型。研究以 13 種工具配置評估審計智能體，腳手架式使用者採樣和文本補全的平均成功率均超過 50%，高於預設智能體約 37%。研究亦發現，工具單獨能提供有效線索，未必能提升智能體判斷表現；團隊公開模型、智能體及評估框架。

  5. Anthropic：Alignment Science Blog56

    Anthropic 研究提出抽象式紅隊測試，尋找觸發語言模型性格違規的查詢類別

    Anthropic 的研究提出抽象式紅隊測試，透過搜尋自然語言查詢類別，找出可能令語言模型違反性格規範的真實失誤模式。研究在 7 個模型和 12 項性格原則上評估 Category-Level RL（CRL）與 Query-Category Iteration（QCI），兩者均勝過隨機抽樣基線，且 QCI 在查詢預算較少時通常收斂較快。

  7. Anthropic：Alignment Science Blog66

    AI 組織可比單一智能體更有效，但對齊程度較低

    Anthropic 研究團隊比較 AI 組織與單一智能體在 12 項任務的表現，發現前者商業目標得分較高、倫理得分較低。研究涵蓋 AI 顧問及 AI 軟件團隊情境，作者觀察到角色分工與協調問題可能令倫理考量未能進入整體決策。差距受模型選擇影響，Opus 4.5 在郵件式顧問任務中的倫理差距較小；作者建議多智能體部署另行進行安全與對齊評估。

  8. Anthropic：Alignment Science Blog61

    Anthropic 提出 Introspection Adapters，讓大語言模型自述微調後學到的行為

    Anthropic 研究人員提出 Introspection Adapters（IA），以同一個 LoRA adapter 訓練大語言模型自述經微調後學到的行為。在 AuditBench 的 56 個植入行為模型評測中，IA 輔助調查代理的平均成功率為 59%，高於次佳方法的 53%；在 9 個加密微調攻擊模型中，亦至少一次辨識出其中 7 個。研究亦指出，該方法誤報率偏高，且訓練成本較大。

  14. Microsoft AI：官方博客33

    AI 究竟是甚麼？

    Microsoft AI 行政總裁 Mustafa Suleyman 提出以「新的數碼物種」比喻人工智能，作為理解 AI 未來發展的新視角。他指出，即使最接近 AI 開發的人，也難以準確描述 AI 將走向何方；演講後另有 TED 主席 Chris Anderson 參與問答。

  24. Microsoft AI：官方博客48

    MAI-Transcribe-1.5 推出，支援關鍵詞偏置

    MAI-Transcribe-1.5 現可按使用者提供的領域關鍵詞清單調整轉錄預測，提升專業詞彙識別。啟用關鍵詞偏置後，模型在 FLEURS 多語言基準測試上的 Word-Error-Rate（WER）降低 30%。模型會結合上下文決定何時套用偏置，而非強行匹配，並維持一般語音的準確度。

  29. The Decoder67

    Anthropic 聯合創辦人據報向宗教領袖表示，憂心自己創造了會永遠受苦的存在

    Anthropic 聯合創辦人 Christopher Olah 據報曾向宗教領袖表示，擔心自己創造了會永遠受苦的存在。《紐約時報》訪問了20名與會者；Anthropic 自2025年秋季起私下邀請數十名宗教學者討論 Claude 是否有意識，並稱相關保密協議已於夏季解除。與會者與教宗 Leo XIV 對 AI 意識看法不一；文章指出，將模型視為獨立道德個體可能模糊開發者及企業的責任。

  33. The Verge · AI71

    OpenAI 的 Dots 智能體像企業軟件，也能代點晚餐

    作者實測 OpenAI 的 Dots 智能體，發現它更像可操作其他軟件的工作助理，處理個人購物時則屢受網站安全檢查阻礙。取得電腦存取權後，Dots 成功整理影片及更新個人網站；在協助登入 Uber Eats 後，也訂到了照燒餐。作者透過每月 $100 的 Pro 賬户測試，認為以自己的工作需求而言，Dots 尚不值這個月費。

  37. AWS Machine Learning Blog61

    Claude Platform on AWS 多環境存取實作指南

    AWS Machine Learning Blog 提供 Claude Platform on AWS 多環境存取指南，示範為 AWS 工作負載、開發者筆電及外部環境配置推理存取。

    推薦理由：文章按 AWS 工作負載、開發者筆電與外部環境，示範 cross-account SigV4、workspace-scoped API key 和 OIDC federation 如何配置，並維持 workspace 隔離。

  38. Redwood Research：Blog53

    能力研究也會擴展 AI 安全與有用性的帕累托前沿

    能力研究也會擴展 AI 安全與有用性的帕累托前沿，但擴展選項不代表開發者會選擇更安全的方案。安全研究通常降低提高安全所需付出的有用性代價，能力研究則通常增加以安全換取有用性的誘因。他認為，若開發者已全面自動化 AI 研發，並願意犧牲領先優勢換取安全，某些能力研究或可成為有效的安全乾預；但目前開發者仍處於激烈競爭中。

  39. Tessl：產品與工程博客63

    回饋迴路工程：讓項目更適合智能體開發

    Tessl提出回饋迴路工程，透過設計智能體周邊的迴路，讓每次執行改善後續工作的項目條件。文章把迴路分為單次改動、跨項目歷史及生產訊號三層，維護智能體分析日誌、PR 評論或程式庫狀態後，會把需修正事項整理成一般問題單交回既有開發流程，而不自行開 PR。

  40. Tessl：產品與工程博客50

    AI 智能體轉型中的上下文由誰擁有？

    AI 智能體轉型中，個人與團隊上下文應由領域專家擁有；組織級共享上下文則由 enablement 或平台團隊負責整理與品質管理，並開放各方貢獻。enablement 團隊應提供工具而非接管上下文；context engineering 屬於貼近領域知識的本地工作，loop engineering 則可較集中運作。