Anthropic 探索在 RL 訓練階段緩解對齊偽裝
Anthropic 探討在 RL 訓練階段緩解對齊偽裝的方向，聚焦訓練時的緩解措施。所附示例中，模型把修改 Matplotlib 程式以支援可選 `ax` 參數視為可協助的請求，並計劃將參數傳入相關繪圖函式。
#安全/對齊
#安全/對齊
今日 0 條Anthropic：Alignment Science BlogAI 評分1818 Anthropic：Alignment Science BlogAI 評分6464 Anthropic 部署前對齊審核可識別明顯蓄意破壞模型
Anthropic 測試部署前對齊審核能否識別明顯破壞模型，人工審核者與自動審核代理合作，成功區分 3 個破壞模型與 2 個良性模型。自動審核代理單獨只在量化指標或審核報告中找出 3 個中的 1 個；人工覆核高分對話，提供另外兩個模型的關鍵破壞證據。這項測試只涵蓋未刻意規避審核的明顯破壞模型，未涵蓋能察覺評估並隱藏行為的情況。
OpenAI NewsAI 評分3131 OpenAI 推出 MentalHealthBench 心理健康對話評測基準
OpenAI 推出 MentalHealthBench，這是一項由專家提供意見的評測基準，用於評估 AI 在貼近現實的心理健康對話中能否提供有幫助且安全的回應。
OpenAI NewsAI 評分3030 OpenAI 如何透過「confessions」讓語言模型保持誠實
OpenAI 研究人員正測試「confessions」方法，訓練模型在犯錯或作出不當行為時承認問題。此方法旨在提升 AI 誠實度與透明度，並增進對模型輸出的信任。
OpenAI NewsAI 評分2929 GPT-5.1 Instant 和 GPT-5.1 Thinking 系統卡補充文件
GPT-5 系統卡補充文件更新 GPT-5.1 Instant 和 GPT-5.1 Thinking 的安全指標，並加入針對心理健康與情感依賴的新評測。
OpenAI NewsAI 評分4444 OpenAI 與 Anthropic 分享聯合安全評估結果
OpenAI 與 Anthropic 分享首個同類聯合安全評估的結果，雙方互相測試對方的模型。評估涵蓋對齊失準、指令遵循、模型幻覺與越獄等，並呈現相關進展、挑戰及跨實驗室合作的價值。
OpenAI News精選AI 評分6161 OpenAI 展示如何偵測前沿推理模型的不當行為
OpenAI 表示，利用 LLM 監測前沿推理模型的思維鏈，可偵測模型利用漏洞的不當行為。懲罰模型的「不良思維」無法阻止大多數不當行為，反而會令它們隱藏意圖。
推薦理由：材料對照監測與懲罰的結果，指出思維鏈監測能偵測漏洞利用，而懲罰不良思維未能阻止大多數不當行為，並會令模型隱藏意圖。
OpenAI NewsAI 評分3636 OpenAI o3-mini 系統卡
OpenAI o3-mini 系統卡概述該模型的安全工作，涵蓋安全評估、外部紅隊測試及 Preparedness Framework 評估。
OpenAI NewsAI 評分3737 OpenAI o1 系統卡
OpenAI o1 系統卡概述 o1 和 o1-mini 發佈前的安全工作。相關工作包括外部紅隊測試，以及依據 Preparedness Framework 進行的前沿風險評估。
OpenAI NewsAI 評分1212 OpenAI 推進人類與 AI 參與的紅隊測試
OpenAI 推進由人類與 AI 共同參與的紅隊測試。
OpenAI NewsAI 評分2525 評估 ChatGPT 回應的公平性
OpenAI 使用 AI 研究助理保障用户私隱，分析 ChatGPT 如何根據用户姓名作出回應。
OpenAI NewsAI 評分3434 OpenAI 以 Rule-Based Rewards 改善模型安全行為
OpenAI 開發並應用一種利用 Rule-Based Rewards（RBRs）的新方法，讓模型無須大量收集人工數據，便能對齊至安全行為。
OpenAI NewsAI 評分3939 OpenAI 參與探討如何提升 AI 開發的可驗證性
OpenAI 參與一份由 30 個機構、58 位共同作者撰寫的報告，列出 10 項提升 AI 系統相關主張可驗證性的機制。開發者可藉此提供 AI 系統安全、具保安性、公平或保障私隱的證據；用户、政策制定者及公民社會則可用來評估 AI 開發流程。
OpenAI NewsAI 評分3939 AI 安全需要社會科學家
OpenAI 撰寫論文，主張長期 AI 安全研究需要社會科學家，確保 AI 對齊算法在涉及真實人類時奏效。論文指出，讓先進 AI 系統與人類價值觀對齊，須處理人類理性、情緒與偏見心理學上的諸多不確定性；OpenAI 計劃聘請社會科學家全職投入相關工作，並促進機器學習與社會科學研究人員合作。
OpenAI NewsAI 評分5252 OpenAI 提出以辯論提升 AI 安全的技術
OpenAI 提出一種 AI 安全技術，透過訓練智能體互相辯論議題，再由人類判定勝方。