跳到正文
OpenAI News·· 2017-06-13精選AI 評分64

OpenAI 與 DeepMind 安全團隊合作開發從人類偏好推斷意願的演算法

Learning from human preferences

AI 導讀

OpenAI 與 DeepMind 安全團隊合作開發了一種演算法,透過人類判斷兩種候選行為何者較好,推斷人類想要甚麼。他們將減少人類撰寫目標函數的需要視為構建安全 AI 系統的一步,因以簡單代理目標代表複雜目標,或把目標設定得稍有偏差,都可能導致不良甚至危險行為。

推薦理由

材料呈現以人類比較兩種候選行為的回饋推斷其意願的演算法思路,並連結到降低複雜目標函數設定偏差的安全目標。

正文 · 繁體中文

從人類偏好中學習

閱讀論文(於新視窗開啟)

Image 1: Learning From Human Preferences

載入中…

音訊 1

分享

建構安全 AI 系統的一個步驟,是免除人類編寫目標函數的需要;因為用簡單的代理指標代表複雜目標,或對複雜目標理解稍有偏差,都可能導致不理想甚至危險的行為。我們與 DeepMind 的安全團隊合作,開發了一種演算法,只需告訴它兩種候選行為中哪一種較好,便能推斷人類想要甚麼。

我們提出一種學習演算法,利用少量人類回饋來解決現代 RL 環境中的問題。結合人類回饋的機器學習系統已⁠(於新視窗開啟)被⁠(於新視窗開啟)探討⁠(於新視窗開啟)過⁠(於新視窗開啟),但我們擴大了這個方法的規模,使它能處理複雜得多的任務。我們的演算法只用了人類評估者提供的 900 位元回饋,就學會了後空翻——這項任務看似簡單,判斷起來也容易,但難以⁠明確描述。

Image 2: Humanfeedbackjump

我們的演算法使用人類評估者提供的約 900 個獨立回饋位元,學會了後空翻。

整個訓練過程是人類、代理對目標的理解與 RL 訓練之間的 3-step 回饋循環。

Image 3: Diagram2x 2

我們的 AI 智能體一開始會在環境中隨機行動。定期會將兩段其行為的影片片段交給人類觀看,由人類判斷哪一段最接近達成目標——此處的目標是後空翻。AI 會找出最能解釋人類判斷的獎勵函數,逐步建立任務目標的模型。接着,它會使用 RL 學習如何達成該目標。隨着行為改善,它會持續就自己最不確定哪一種較好的軌跡配對徵求人類回饋,進一步完善對目標的理解。

我們的方法展現出令人鼓舞的樣本效率——正如前文所述,後空翻影片所需的人類回饋少於 1000 位元。人類評估者只花了不到一小時;與此同時,策略在背景中累積了約 70 小時的總經驗(模擬速度遠快於即時速度)。我們會繼續設法減少人類需要提供的回饋量。以下影片展示了加速版的訓練過程。

我們在模擬機械人和 Atari 領域的多項任務中測試了這個方法(過程中沒有取得獎勵函數:也就是說,在 Atari 中沒有取得遊戲分數)。我們的智能體能從人類回饋中學習,在許多受測環境中達到出色、有時甚至超越人類的表現。以下動畫展示了使用我們的技術訓練的智能體遊玩各種 Atari 遊戲。每一格右側的橫條代表各智能體對人類評估者會有多認同其當前行為的預測。這些視覺化結果顯示,接受人類回饋訓練的智能體學會了重視 Seaquest 中的氧氣(左)、預期 Breakout 和 Pong 中的獎勵(中),或找出如何在 Enduro 撞車後恢復(右)。

Image 4: Seaquestsave

Image 5: Spaceinvadersbehavior

Image 6: Pong2

Image 7: Enduro1

請注意,回饋不必與環境原有的獎勵函數一致:例如,我們可以訓練智能體在 Enduro 中精確地與其他車輛保持並駕齊驅,而非超越它們以取得最高分。我們有時也發現,根據回饋學習的效果勝過使用原有獎勵函數的強化學習,因為人類塑造獎勵的方式比編寫該環境獎勵函數的人更好。

挑戰

我們演算法的表現好壞,完全取決於人類評估者對哪些行為看起來正確的直覺,因此如果人類對任務掌握不足,就可能無法提供那麼多有用的意見。與此相關的是,在某些領域,我們的系統可能會令代理採取欺騙評估者的策略。例如,一個原本應該抓取物件的機械人,卻把機械臂移到鏡頭和物件之間,令它只顯得像是在抓取物件,如下所示。

Image 8: Gifhandlerresized

我們透過加入視覺提示(上方動畫中的粗白線)來處理這個特定問題,讓人類評估者更容易估計深度。

本文介紹的研究由我們與 DeepMind 的 Jan Leike、Miljan Martic 和 Shane Legg 合作完成。雙方機構計劃繼續合作,研究與長期 AI 安全相關的主題。我們認為,這類技術是邁向能學習以人為本目標的安全 AI 系統的一步,並可補足和拓展強化學習、模仿學習等現有方法。本文展現了 OpenAI 安全團隊所做的工作;如果你有興趣研究這類問題,請加入我們⁠!

註腳

Image 9: Goodgifb1 2

Image 10: Badgif3

相比之下,我們花了兩小時編寫自己的獎勵函數(上方右側的動畫),讓機械人完成後空翻。雖然它成功了,但做法遠不及單靠人類回饋訓練出來的版本(左上)優雅。我們認為,在許多情況下,人類回饋可以讓我們比手動精心設計目標更直觀、更快速地指定具體目標。

你可以在gym⁠(於新視窗開啟)中透過以下適用於 Hopper 的獎勵函數重現這個後空翻:

Python

1def reward_fn(a, ob):2 backroll = -ob[7]3 height = ob[0]4 vel_act = a[0] * ob[8] + a[1] * ob[9] + a[2] * ob[10]5 backslide = -ob[5]6 return backroll * (1.0 + .3 * height + .1 * vel_act + .05 * backslide)

作者

Dario Amodei, Paul Christiano, Alex Ray

來源:OpenAI News · openai.com