對齊的終極界限如何決定長期未來的形態
對齊能力的上限及失效所造成的協調成本,會決定人類文明與長期未來的形態。相較於人類對齊,AI 對齊可直接控制心智架構、訓練資料和訓練過程,理論上能達到更高程度。協調成本亦限制大型國家、組織和企業的規模與穩定性,內部問題可導致衰退或瓦解。
對齊能力的上限及失效所造成的協調成本,會決定人類文明與長期未來的形態。相較於人類對齊,AI 對齊可直接控制心智架構、訓練資料和訓練過程,理論上能達到更高程度。協調成本亦限制大型國家、組織和企業的規模與穩定性,內部問題可導致衰退或瓦解。
OpenAI 正在為 DALL·E 推行一項新技術,令其生成的人物圖像更準確反映世界人口多樣性。這項措施旨在減少 DALL·E 2 的偏見並改善安全性。
Hugging Face 多模態學習團隊為研究項目制定倫理章程,把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊,並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善,倡議透明、開放可重現、公平、自我批判及尊重貢獻。
OpenAI 分享對已部署模型的安全與濫用問題的最新思考,期望協助其他 AI 開發者應對相關問題。
文章指出,預測處理(PP)智能體若只是模仿人類行為、最大化數據的對數似然,或可避免追求存在性風險,但這不足以證明 PP 能解決價值對齊問題。PP 架構描述的是最佳化程序,並未限定目標;智能體仍可配合任意目標或效用函數。只模仿人類行為的智能體雖可能較安全,卻難以完成超越人類能力的任務,反映安全與能力之間的取捨。
遞歸自我改進的 AI 面對與人類創造者相似的 AI 安全難題:它無法準確預測能力提升後的自己會如何行動,價值函數也可能改變。每次 FOOM 都要成功進行自我改進並解決 AI 安全問題,這可能拖慢進程;中間階段的 AI 也可能與人類合作設計安全的後繼 AI。
文章提出以貝葉斯方法學習人類價值:不鎖定單一價值函數,而是建立可能價值函數的後驗分佈,並按其後驗概率加權計算期望價值,以降低價值函數錯誤外推帶來的風險。作者指出,極端離羣價值仍可能主導結果,並提出以中位數取代平均值、正規化價值函數及對外推不確定性設定先驗等可能方法;這些做法不能保證安全,但或可提升安全性。
OpenAI 參與一份由 30 個機構、58 位共同作者撰寫的報告,列出 10 項提升 AI 系統相關主張可驗證性的機制。開發者可藉此提供 AI 系統安全、具保安性、公平或保障私隱的證據;用户、政策制定者及公民社會則可用來評估 AI 開發流程。
為降低 AGI 單一目標極端最佳化帶來的安全風險,文章提出在效用函數中加入計算量、能源消耗或對地球影響等懲罰項,類似機器學習的正則化。另一個構想是懲罰 AGI 過快達成目標,以便把自我改進或超級智能行動放慢至可供人類或其他機器智能審核的速度。這些方法可能有漏洞,且未必能抵消遙遠未來的高額回報。
OpenAI 撰寫論文,主張長期 AI 安全研究需要社會科學家,確保 AI 對齊算法在涉及真實人類時奏效。論文指出,讓先進 AI 系統與人類價值觀對齊,須處理人類理性、情緒與偏見心理學上的諸多不確定性;OpenAI 計劃聘請社會科學家全職投入相關工作,並促進機器學習與社會科學研究人員合作。
OpenAI 提出一種 AI 安全技術,透過訓練智能體互相辯論議題,再由人類判定勝方。