跳到正文
OpenAI News·· 2018-10-31精選AI 評分61

OpenAI 開發 Random Network Distillation(RND),以預測獎勵促進強化學習探索

Reinforcement learning with prediction-based rewards

AI 導讀

OpenAI 開發了 Random Network Distillation(RND),一種以基於預測的獎勵鼓勵強化學習智能體出於好奇心探索環境的方法。OpenAI 表示,RND 在 Montezuma’s Revenge 上首次超越人類平均表現。

推薦理由

文中把 RND 的探索方法與 Montezuma’s Revenge 上超越人類平均表現的結果連結,提供理解其研究成果的具體比較基準。

正文 · 繁體中文

我們開發了 隨機網絡蒸餾(RND)⁠,這是一種以預測為基礎、透過好奇心鼓勵強化學習智能體探索所處環境的方法;而這種方法首次A超越了普通人在 Montezuma’s Revenge⁠(在新視窗中開啟)上的平均表現。RND 的表現達到最先進水平,會定期找齊 24 個房間,並且無需使用示範或存取遊戲的 底層狀態便能通過第一關。

RND 會透過衡量在已造訪狀態上預測固定隨機神經網絡輸出有多困難,來鼓勵智能體造訪 不熟悉的狀態⁠ 。在不熟悉的狀態中,輸出難以猜測,因此獎勵很高。此方法可套用於任何強化學習演算法,實作簡單且易於擴展。下文我們發布 RND 的參考實作,可重現我們 論文中的結果。

Montezuma’s Revenge 的進展

智能體要達成目標,必須先探索所處環境中有哪些可能性,以及哪些情況代表正朝目標邁進。不少遊戲的獎勵訊號本身就會形成一套循序漸進的學習進程,令簡單的探索策略也足以達成遊戲目標。在 介紹 DQN 的開創性研究⁠(在新視窗中開啟)中,Montezuma’s Revenge 是 唯一一款 DQN 得分僅為普通人平均分數(4.7K)的 0% 的遊戲。簡單的探索策略幾乎不可能獲得任何獎勵,也很難見到關卡中 24 個房間的多於幾個。此後,許多人一直把 Montezuma’s Revenge 的進展視為探索領域進展的代名詞。

Dot graph showing progress in Montezuma's Revenge

重大進展出現在 2016⁠(在新視窗中開啟) ,當時將 DQN 與基於計數的探索獎勵結合,得到的智能體探索了 15 個房間,最高分達 6.6K,平均獎勵約為 3.7K。自此, 顯著⁠(在新視窗中開啟) 提升⁠(在新視窗中開啟) 在強化學習智能體所取得的分數方面,至今只來自存取 示範⁠(在新視窗中開啟) (由人類 專家⁠(在新視窗中開啟)提供),或存取底層狀態,而該狀態屬於 模擬器⁠(在新視窗中開啟)。

我們進行了一項大規模 RND 實驗,使用 1024 個軌跡採樣工作者,得出 9 次運行的平均回報為 10K ,而最佳平均回報為 14.5K。每次運行發現 20 至 22 個房間。此外,我們一項規模較小但運行時間較長的實驗,有一次運行(10 次中的一次)達到 17.5K 的最佳回報,這相當於通過第一關並找到全部 24 個房間。下圖比較這兩項實驗,展示平均回報隨參數更新次數而變化。

Graph showing mean episodic return over parameter updates

下方的視覺化展示了這項小規模實驗發現各房間的進展。好奇心驅使智能體發現新房間,並尋找提高遊戲內分數的方法;而這種外在獎勵會驅使它在訓練 期間稍後重訪那些房間。

好奇心驅動學習的大規模研究

在開發 RND 之前,我們與來自 UC Berkeley 的合作者一同研究了在沒有 任何 環境特定獎勵的情況下如何學習。好奇心讓我們更容易教智能體與任何環境互動,而不必透過大量工程設計一個特定任務的獎勵函數,再寄望它能對應到解決某項任務。諸如 ALE⁠(在新視窗中開啟)、 Universe⁠(在新視窗中開啟)、 Malmo⁠(在新視窗中開啟)、 Gym⁠(在新視窗中開啟)、 Gym Retro⁠(在新視窗中開啟)、 Unity⁠(在新視窗中開啟)、 DeepMind Lab⁠(在新視窗中開啟)、 CommAI⁠(在新視窗中開啟) 透過標準化介面提供大量模擬環境,讓智能體可以與之互動。智能體若使用不針對特定環境細節設計的通用獎勵函數,便能在廣泛的環境中取得基本能力,從而即使沒有精心設計的 獎勵,也能判斷哪些行為有用。

在標準的強化學習設定中,智能體在每個離散時間步都會向環境送出一個動作,而環境則會輸出下一個觀測、轉移獎勵,以及回合結束指示。在我們的 先前論文⁠(在新視窗中開啟) 中,我們要求環境的 輸出範圍⁠(在新視窗中開啟) 僅限於⁠(在新視窗中開啟) 下一個觀測。在那篇論文中,智能體會根據自身經驗學習下一狀態預測模型,並將預測誤差用作內在獎勵。因此,它會被不可預測的事物吸引。例如,只有當遊戲分數顯示在畫面上,而且分數變化難以預測時,分數變化才會帶來獎勵。智能體通常會覺得與新物件互動很有獎勵性,因為這類互動的結果通常比環境的其他方面更難預測。

與 以往⁠(在新視窗中開啟) 研究⁠(在新視窗中開啟)相似,我們試圖透過選擇建模觀測的特徵,避免建模環境的所有面向,不論它們是否相關。出乎意料地,我們發現即使 隨機特徵 同樣 奏效。

好奇的智能體會做些甚麼?

我們在 50+ 個不同環境中測試了智能體,觀察到其能力程度各異,從看似隨機的動作,到有意識地與環境互動。令我們驚訝的是,在一些環境中,即使遊戲目標並未透過外在獎勵告知智能體,它仍達成了遊戲目標。

Breakout 智能體在訓練初期看到新的磚塊排列時,以及訓練數小時後首次通過關卡時,內在獎勵都會激增。

Pong 我們訓練智能體同時控制兩邊的球拍,它學會讓球保持在場內,令對打回合持續很久。即使是與遊戲內 AI 對戰時,智能體也試圖延長遊戲,而不是取勝。

Bowling 智能體學會的遊戲技巧比直接以最大化(截斷後的)外在獎勵為目標訓練的智能體更好。我們認為,這是因為每次全中後記分牌閃爍的畫面難以預測,吸引了智能體。

Mario 內在獎勵與逐關推進的遊戲目標尤其契合。智能體發現新區域會獲得獎勵,因為新發現區域的細節無法預測。因此,智能體會探索 11 個關卡、找到秘密房間,甚至擊敗頭目。

雜訊電視問題

就像賭徒被角子機上的隨機結果吸引一樣,雜訊電視問題有時會令智能體因好奇心而陷入困局。智能體在環境中找到一個隨機性來源後便不斷觀察它,並在這類狀態轉移中持續獲得高額內在獎勵。播放靜態雜訊的電視就是這種陷阱的例子。我們在 Unity 迷宮環境中放置一台播放隨機 頻道的電視,實際展示了這種情況。

雖然雜訊電視問題在理論上令人擔憂,但對於 Montezuma’s Revenge 這類大致上具確定性的環境,我們預期好奇心會驅使智能體探索房間並與物件互動。我們嘗試了幾種基於下一狀態預測的好奇心方法,把探索獎勵與遊戲分數結合起來。

在這些實驗中,智能體透過一個有雜訊的控制器操作環境;控制器會以某個機率重複上一個動作,而非執行當前動作。使用黏滯動作的這種設定曾被 建議⁠(在新視窗中開啟) 作為訓練智能體遊玩 Atari 等完全確定性遊戲的最佳做法,以防止記憶化。黏滯動作令房間之間的轉移變得不可預測。

隨機網絡蒸餾

由於下一狀態預測本質上容易受到雜訊電視問題影響,我們辨識出以下相關的預測誤差來源:

  • 因素 1:預測器無法從先前看過的例子中泛化之處,預測誤差會很高。因此,新穎經驗會帶來高預測誤差。

  • 因素 2:預測目標具有隨機性,因此預測誤差會很高。

  • 因素 3:預測誤差很高,因為預測所需的資訊缺失,或者預測器的模型類別過於有限,未能配合目標 函數的複雜程度。

我們判定因素 1 是有用的誤差來源,因為它量化了經驗的新穎程度;因素 2 和 3 則會導致雜訊電視問題。為了避開因素 2 和 3,我們開發了 RND 這種新的探索獎勵,其基礎是 給定下一狀態 本身,預測固定且隨機初始化的神經網絡在下一狀態上的輸出。

Nextstate Vs Rnd Stacked 5

其直覺是,預測模型在與訓練時相似的狀態中,誤差會較低。尤其是,智能體對隨機初始化神經網絡輸出的預測,在新穎狀態中的準確度會低於智能體頻繁造訪的狀態。使用合成預測問題的好處,是我們可以令它具確定性(避開因素 2),並確保它落在預測器能表示的函數類別之內(避開因素 3):只要令預測器與目標網絡採用相同架構即可。這些選擇令 RND 不受雜訊電視問題影響。

我們透過 近端策略最佳化⁠(在新視窗中開啟) 的變體來結合探索獎勵與外在獎勵(PPO⁠(在新視窗中開啟)),該變體使用 兩個價值函數頭,分別處理兩種獎勵流。這讓我們能對不同獎勵使用不同折扣率,並結合回合式和非回合式回報。 有了這種額外的靈活性,我們最好的智能體往往能在 Montezuma’s Revenge 第一關找到 24 個房間中的 22 個,偶爾更能找到剩下兩個房間並通過第一關。同一方法在 Venture 和 Gravitar 上亦達到最先進水平。

Six graphs comparing game score of PPO and RND

下方的 RND 獎勵視覺化展示了一張圖,顯示智能體在 Montezuma’s Revenge 中首次找到火炬的那個回合期間,內在獎勵如何變化。

實作細節很重要

對雜訊電視問題的易受影響程度等宏觀考量,對選擇良好的探索演算法十分重要。然而我們發現,即使是在簡單演算法中看似微不足道的細節,處理得當與否也會決定智能體是永遠離不開第一個房間,還是能通過第一關。為令訓練更穩定,我們避免特徵飽和,並將內在獎勵調整至可預測的範圍。我們亦留意到 每次發現並修正程式錯誤,RND 的表現都會顯著改善 (我們最喜歡的一個例子,是意外地把一個陣列歸零,導致外在回報被當作非回合式回報;我們看見外在價值函數呈現可疑的週期性,困惑了一陣子後才發現這件事)。即使是概念上與先前研究相似的演算法,要達到高效能,正確處理這些細節也十分重要。這是在可行情況下選用較簡單演算法的原因之一。

未來方向

我們建議未來研究可沿以下方向進行 :

  • 分析不同探索方法的效益,並找出把它們結合起來的新方法。

  • 訓練好奇智能體在許多不同環境中學習而不使用獎勵,並研究其能力如何遷移至有獎勵的目標環境。

  • 探討涉及在長期時間 跨度內作出協調決策的全球探索。

如果你有興趣參與克服這些挑戰,請 申請⁠ 與我們共事!

註腳

  1. A

作者

Yura Burda, Harri Edwards

感謝所有對這些論文和這篇網誌文章作出貢獻的人:

大規模好奇心驅動學習研究⁠(在新視窗中開啟): Yuri Burda*, Harrison Edwards*, Deepak Pathak*, Amos Storkey, Trevor Darrell, Alexei A. Efros

基於隨機網絡蒸餾的探索⁠(在新視窗中開啟): Yuri Burda*, Harrison Edwards*, Amos Storkey, Oleg Klimov

貢獻相同:

網誌文章:Karl Cobbe, Alex Nichol, Joshua Achiam, Phillip Isola, Alex Ray, Jonas Schneider, Jack Clark, Greg Brockman, Ilya Sutskever, Ben Barry, Amos Storkey, Alexei Efros, Deepak Pathak, Trevor Darrell, Andrew Brock, Antreas Antoniou, Stanislaw Jastrzebski, Ashley Pilipiszyn, Justin Jay Wang

來源:OpenAI News · openai.com