OpenAI 發佈近端策略優化(PPO)強化學習算法
Proximal Policy Optimization
OpenAI 發佈近端策略優化(PPO),一類強化學習算法,其表現可媲美或優於最先進方法,同時更易實作和調校。OpenAI 表示,PPO 因易用且表現良好,已成為其預設的強化學習算法。
材料比較 PPO 與前沿方法的表現,並交代較簡單的實作和調校如何與良好性能共同構成 OpenAI 採用它作為預設算法的理由。
近端策略優化

插圖:Ben Barry
載入中…
分享
我們推出一類新的強化學習演算法,近端策略優化(PPO)。這些演算法的表現媲美甚至超越最先進的方法,同時實作和調校簡單得多。由於易於使用且效能出色,PPO 已成為 OpenAI 預設採用的強化學習演算法。
載入中...
策略梯度方法(在新視窗開啟)是近期利用深度神經網絡進行控制所取得多項突破的基礎,應用涵蓋電子遊戲(在新視窗開啟)、3D 移動(在新視窗開啟)以至Go(在新視窗開啟)。但要透過策略梯度方法取得良好成果並不容易,因為這些方法對步長的選擇非常敏感:步長太小,進展會慢得令人絕望;步長太大,訊號便會被雜訊淹沒,效能也可能急劇下跌。這些方法的樣本效率通常也很低,學習簡單任務往往要花數百萬(甚至數十億)個時間步。
研究人員一直嘗試以TRPO(在新視窗中開啟)和ACER(在新視窗中開啟)等方法,限制或以其他方式最佳化策略更新的幅度,以消除這些缺陷。這些方法各有取捨——ACER 比 PPO 複雜得多,需要加入用於離策略校正的程式碼和一個回放緩衝區,但在 Atari 基準測試上的表現僅略勝 PPO;TRPO 雖然適用於連續控制任務,卻不容易與會在策略與價值函數之間共用參數,或採用輔助損失函數的演算法相容,例如那些用於解決 Atari 以及視覺輸入相當重要的其他領域中的問題的演算法。
PPO
使用監督式學習時,我們可以輕易實作成本函數,對其執行梯度下降,而且很有把握只需相對少量的超參數調校便能取得出色成果。強化學習的成功之道就沒那麼明確——演算法有許多難以除錯的環節,要取得良好結果也需要投入大量調校工作。PPO 在實作難易度、樣本複雜度和調校難易度之間取得平衡,嘗試在每一步計算一次更新,以最小化成本函數,同時確保與先前策略的差異相對較小。
我們此前(在新視窗開啟)曾詳細介紹 PPO 的一個變體,它使用自適應的KL(在新視窗開啟)懲罰項控制每次迭代時策略的變化。新變體採用一個其他演算法通常不會使用的新穎目標函數:
$L^{C L I P} \left(\right. \theta \left.\right) = \left(\hat{E}\right){t} \left[\right. m i n \left(\right. r{t} \left(\right. \theta \left.\right) \left.\right) \left(\hat{A}\right){t} , c l i p \left(\right. r{t} \left(\right. \theta \left.\right) , 1 - \epsilon , 1 + \epsilon \left.\right) \left(\hat{A}\right)_{t} \left.\right) \left]\right.$L C L I P(θ)=E^t[min(r t(θ))A^t,c l i p(r t(θ),1−ε,1+ε)A^t)]
$\theta$θ 是策略參數
$\left(\hat{E}\right)_{t}$E^t 表示各時間步的經驗期望值
$r_{t}$r t 是新策略下概率與舊策略下概率的比值
$\left(\hat{A}\right)_{t}$A^t 是時間 $t$t 的估計優勢值
$\epsilon$ε 是一個超參數,通常為 0.1 或 0.2
這個目標函數提供了一種與隨機梯度下降法相容的信賴域更新方法,並透過移除 KL 懲罰項和對自適應更新的需求來簡化演算法。測試結果顯示,這個演算法在連續控制任務上的表現最佳;雖然實作簡單得多,在 Atari 上的表現仍幾乎媲美 ACER。
可控制的複雜機械人
載入中...
我們以 PPO 訓練的策略為基礎建立了互動式代理程式——我們可以使用鍵盤(在新視窗開啟)為 Roboschool 環境中的機械人設定新的目標位置;雖然輸入序列與代理程式訓練時使用的序列不同,它仍能泛化。
載入中...
Baselines:PPO、PPO2、ACER 和 TRPO
這個baselines(在新視窗開啟)版本包含可擴展的平行 PPO 和 TRPO 實作,兩者均使用 MPI 傳遞資料。兩者均採用 Python3 和 TensorFlow。我們亦會把用於訓練上述機械人的策略預訓練版本加入Roboschool代理程式庫(在新視窗開啟)。
更新:我們亦會推出支援 GPU 的 PPO 實作,稱為 PPO2。此版本在 Atari 上的速度約為目前 PPO 基準版本的 3x。此外,我們會推出經驗回放演員評論家(ACER)的實作,這是一種樣本效率高的策略梯度演算法。ACER 使用回放緩衝區,讓它能以每份抽樣經驗執行多次梯度更新;它亦使用以 Retrace 演算法訓練的 Q 函數近似器。
我們正在尋找人才,協助建置和優化強化學習演算法程式碼庫。如果你熱衷於強化學習、基準測試、嚴謹實驗和開源,請申請(在新視窗開啟),並在申請時註明你讀過 baselines 的 PPO 文章。
作者
John Schulman, Oleg Klimov, Filip Wolski, Prafulla Dhariwal, Alec Radford
來源:OpenAI News · openai.com