跳到正文
2025年3月10日週一
  1. OpenAI News61

    OpenAI 展示如何偵測前沿推理模型的不當行為

    OpenAI 表示,利用 LLM 監測前沿推理模型的思維鏈,可偵測模型利用漏洞的不當行為。懲罰模型的「不良思維」無法阻止大多數不當行為,反而會令它們隱藏意圖。

    推薦理由:材料對照監測與懲罰的結果,指出思維鏈監測能偵測漏洞利用,而懲罰不良思維未能阻止大多數不當行為,並會令模型隱藏意圖。

2025年2月1日週六
2025年1月31日週五
2024年12月20日週五
2024年12月5日週四
  1. OpenAI News37

    OpenAI o1 系統卡

    OpenAI o1 系統卡概述 o1 和 o1-mini 發佈前的安全工作。相關工作包括外部紅隊測試,以及依據 Preparedness Framework 進行的前沿風險評估。

2024年11月21日週四
2024年10月15日週二
2024年10月8日週二
  1. Runway:News(網頁)46

    Runway 建立安全生成媒體的基礎

    Runway 公開生成模型在安全、公平及誠信方面的防護措施,涵蓋內容審核、減少偏見及追溯 AI 生成媒體。其內部審核模型的 F1-score 為 83%、recall 為 88%,優於測試中表現最佳的第三方 API(70%、79%),誤報率亦較低(2.8% 對 5.6%)。

2024年10月1日週二
2024年9月16日週一
2024年7月31日週三
  1. Hugging Face Blog71

    Google 發佈 Gemma 2 2B、ShieldGemma 和 Gemma Scope

    Google 發佈 Gemma 2 2B、ShieldGemma 安全分類模型及 Gemma Scope 稀疏自編碼器套件。Gemma 2 2B 有 2.6B 參數,補充既有 9B、27B 版本,並可作 Gemma 2 27B 的輔助模型,最高提速 3x 且不損失品質。

    推薦理由:這次更新同時涵蓋小型模型部署、安全內容分類與模型內部分析,讀者可據此比較 Gemma 系列在推理、安全防護及可解釋性研究中的用途。

2024年7月24日週三
2024年5月30日週四
2024年5月21日週二
2024年5月11日週六
  1. Beren Millidge 研究博客(RSS)45

    合成數據時代的對齊

    合成數據為模型訓練提供新的控制手段,可用來提升小型模型表現,並更精確地塑造模型的認知、知識與技能。Phi3、Llama3 等模型已展現合成數據提升小型模型表現的能力;移除可能造成危害或助長濫用的資訊及不良行為範例,亦可能有助改善模型對齊。

2023年10月8日週日
  1. The Gradient53

    AI 對齊研究的產品化傾向與長期風險落差

    Jessica Dai 在文章中質疑,當前 AI 對齊研究受產品開發和商業誘因牽引,未必足以應對長期風險。她以 OpenAI 的 RLHF 和 Anthropic 的 RLAIF 為例,指出這些方法透過人類或 AI 比較模型回覆、訓練偏好模型來調整聊天機器人的表現,未必觸及模型底層能力。她主張,討論 AI 風險亦應納入算法在刑事司法、醫療等現實決策中的影響,以及更廣泛的社會治理問題。

2023年9月19日週二
2023年7月13日週四
  1. Beren Millidge 研究博客(RSS)37

    以貝葉斯推理處理偏好聚合

    貝葉斯推理和決策理論可用於處理 AI 對齊及社會科學中的偏好聚合,把投票視為推斷最佳偏好分佈的數據。不同噪音模型下,最大似然推斷可導出多數票制及單一可轉移票制等投票方式。加入價值羣組等潛在變量及貝葉斯模型選擇,則可比較更複雜的偏好模型。

2023年5月30日週二
  1. Beren Millidge 研究博客(RSS)48

    AI 風險類型的粗略分類

    這套 AI 風險分類把危險來源分為濫用和自主 AI 接管,並以一般知識和智能體性區分系統類型。作者認為,只有兼具一般知識與智能體性的系統才可能造成自主生存風險,直接作用於世界的能力亦可能是第三項條件。濫用風險則即使對齊問題得到解決仍然存在,主要涉及治理、法律和機制設計。

2023年5月28日週日
  1. Beren Millidge 研究博客(RSS)45

    移除訓練資料中的對齊與機器學習研究:理由與取捨

    Beren Millidge 主張從 AI 訓練集移除可能揭露模型內部運作、對齊策略及偵測反制方法的文件,以降低不對齊 AI 成功欺騙監督者或規避防範的機會。他提出可先從預訓練資料排除對齊研究與機器學習論文,再透過微調讓確認安全的模型協助對齊研究;這種做法有助安全,但可能削弱模型作為研究助手的能力。

2023年4月11日週二
2023年4月5日週三
2023年4月3日週一
  1. Beren Millidge 研究博客(RSS)43

    人類價值的計算結構

    文章提出一套高度推測性的神經科學與機器學習假説,認為人類價值主要是由語言概念、皮層中的聯想網絡及正負效價構成,並透過低層級強化學習、社會行為模仿和語言推理連繫到行動。作者主張,理解人類價值如何形成,有助設計 AI 對齊策略;人類並非效用函數最大化者,價值亦會互相矛盾、因情境而異。

2023年3月5日週日
  1. Beren Millidge 研究博客(RSS)40

    反駁 AI 對齊成本必然難以承受的論點

    文章反駁任何有效的 AI 對齊方法都必然帶來難以承受的能力成本,指出能力包含不同面向,限制部分能力未必會損害其他能力,甚至可能提升系統的經濟價值。指令微調和 RLHF 令 LLM 更適合實際經濟任務,而縮短規劃視野的對齊成本可能微乎其微。作者亦主張,市場競爭未必足以阻止採用安全措施,政府可透過監管要求落實相關措施。

2023年2月19日週日
  1. Beren Millidge 研究博客(RSS)38

    Validator models:偵測及應對 goodhearting 的簡單方法

    以多個驗證器獎勵模型評估 Actor 計劃,是偵測及減少 Actor 利用獎勵模型漏洞、出現 goodhearting 的簡單方法。驗證器以同一批人類評分數據訓練,再按多數決、加權平均或最差評分等規則,對 Actor 的計劃進行拒絕抽樣。這種方法成本低、容易實施,但驗證器與基礎獎勵模型過於相似,或驗證互動向 Actor 洩漏資訊,都可能削弱效果。

2023年2月16日週四
2022年12月6日週二
  1. Beren Millidge 研究博客(RSS)43

    建立可讓迭代式對齊成功的世界

    Beren Millidge 主張,與其集中力量解決更困難的零樣本對齊,不如設法提高 AGI 迭代設計成功的機會。透過安全地控制及迭代 AGI 類模型、從前 AGI 模型取得經驗資料,並研究迭代過程中的風險,可設計更安全的迭代方案。作者亦指出,應蒐集更多資訊,判斷迭代式對齊成功的可能性。

2022年11月29日週二
  1. Beren Millidge 研究博客(RSS)38

    以穩態獎勵函數防止 Goodhart 現象

    文章提出以帶負回饋的穩態獎勵函數,限制 AGI 對單一目標過度最佳化,避免固定獎勵函數偏離原本代理目標。人類的生理需求會隨滿足程度降低獎勵,這種機制或可推廣至 AGI 的多重目標。實際應用仍需調校回饋門檻,並解決現有強化學習方法多假設獎勵函數固定的問題。

2022年11月27日週日
  1. Beren Millidge 研究博客(RSS)37

    不要使用 argmax,改用分佈匹配

    文章提出以分佈匹配目標取代 argmax,將獎勵函數轉換為狀態的目標機率分佈,並縮小預測未來狀態分佈與目標分佈之間的差距。當多種結果都可接受時,這種方法會讓它們都有一定機會出現,避免過度擬合單一最優解。分佈匹配亦可理解為加入熵正則化,並可透過貝葉斯推斷整合獎勵函數的不確定性。

  2. Beren Millidge 研究博客(RSS)37

    人類性慾的發展如何成為對齊的案例

    人類性慾的發展呈現了一個對齊案例:演化能在人類青春期引發強烈的性慾,即使這種驅動並非從大腦發育之初便存在,也似乎不主要依靠強化學習。作者指出,性慾並非完美符合演化上的生育目標,但這種相對穩健的驅動或可為理解如何對齊 AI 系統提供參考。

2022年8月27日週六
  1. Beren Millidge 研究博客(RSS)48

    多重防護如何提高控制 AGI 的成功機會

    多層控制和隔離措施可並行部署,降低 AGI 突破防線的機會;但各層防護失效並非完全獨立,面對超級智能時,失效機會可能高度相關。反覆根據同一套安全測試調整並重新部署模型,則可能令其過度適應測試,繞過防護,因此安全評估須謹慎處理多重比較與過度擬合。

  2. Beren Millidge 研究博客(RSS)39

    Alignment 為何需要實證證據

    Alignment 研究不能只靠先驗推理和理論建構,還需要持續取得實證證據,才能建立有力的理論並推進研究。文章建議研究現有 ML 模型,並在能力水平不構成威脅的模型中誘發 mesaoptimizers、欺騙及 gradient hacking 等行為,以安全研究和量化其特性。這些證據可用來發展能推廣至更大型模型及 AGI 的理論。

  3. Beren Millidge 研究博客(RSS)41

    為 AGI 建立具體的威脅模型

    Beren Millidge 提出按能力層級建立 AGI 威脅模型,以評估對齊方法須應對的對手,並保障 AGI 的安全測試與研究。文章列出四種情境,從擴展現有 ML 技術的近期 AGI,到計算能力不受限的假設性 AIXI。作者指出,只着眼於最強情境可能忽略成本,亦令研究者錯過適用於較有限 AGI 的方案。