跳到正文
2022年8月16日週二
  1. Beren Millidge 研究博客(RSS)36

    對齊的終極界限如何決定長期未來的形態

    對齊能力的上限及失效所造成的協調成本,會決定人類文明與長期未來的形態。相較於人類對齊,AI 對齊可直接控制心智架構、訓練資料和訓練過程,理論上能達到更高程度。協調成本亦限制大型國家、組織和企業的規模與穩定性,內部問題可導致衰退或瓦解。

2022年7月18日週一
2022年5月19日週四
  1. Hugging Face Blog37

    Hugging Face 多模態學習團隊將倫理原則置於研究生命週期核心

    Hugging Face 多模態學習團隊為研究項目制定倫理章程,把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊,並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善,倡議透明、開放可重現、公平、自我批判及尊重貢獻。

2022年3月3日週四
2022年1月5日週三
  1. Beren Millidge 研究博客(RSS)40

    釐清預測處理中的價值對齊

    文章指出,預測處理(PP)智能體若只是模仿人類行為、最大化數據的對數似然,或可避免追求存在性風險,但這不足以證明 PP 能解決價值對齊問題。PP 架構描述的是最佳化程序,並未限定目標;智能體仍可配合任意目標或效用函數。只模仿人類行為的智能體雖可能較安全,卻難以完成超越人類能力的任務,反映安全與能力之間的取捨。

2020年9月7日週一
  1. Beren Millidge 研究博客(RSS)36

    遞歸自我改進中的 AI 安全問題

    遞歸自我改進的 AI 面對與人類創造者相似的 AI 安全難題:它無法準確預測能力提升後的自己會如何行動,價值函數也可能改變。每次 FOOM 都要成功進行自我改進並解決 AI 安全問題,這可能拖慢進程;中間階段的 AI 也可能與人類合作設計安全的後繼 AI。

2020年9月1日週二
  1. Beren Millidge 研究博客(RSS)33

    透過不確定性提升價值學習的安全性

    文章提出以貝葉斯方法學習人類價值:不鎖定單一價值函數,而是建立可能價值函數的後驗分佈,並按其後驗概率加權計算期望價值,以降低價值函數錯誤外推帶來的風險。作者指出,極端離羣價值仍可能主導結果,並提出以中位數取代平均值、正規化價值函數及對外推不確定性設定先驗等可能方法;這些做法不能保證安全,但或可提升安全性。

2020年4月16日週四
2019年4月1日週一
  1. Beren Millidge 研究博客(RSS)37

    將效用函數正則化

    為降低 AGI 單一目標極端最佳化帶來的安全風險,文章提出在效用函數中加入計算量、能源消耗或對地球影響等懲罰項,類似機器學習的正則化。另一個構想是懲罰 AGI 過快達成目標,以便把自我改進或超級智能行動放慢至可供人類或其他機器智能審核的速度。這些方法可能有漏洞,且未必能抵消遙遠未來的高額回報。

2019年2月19日週二
  1. OpenAI News39

    AI 安全需要社會科學家

    OpenAI 撰寫論文,主張長期 AI 安全研究需要社會科學家,確保 AI 對齊算法在涉及真實人類時奏效。論文指出,讓先進 AI 系統與人類價值觀對齊,須處理人類理性、情緒與偏見心理學上的諸多不確定性;OpenAI 計劃聘請社會科學家全職投入相關工作,並促進機器學習與社會科學研究人員合作。

2018年5月3日週四