OpenAI 開源 Baselines,首批包含 DQN 及三種變體
OpenAI Baselines: DQN
OpenAI 將內部項目 OpenAI Baselines 開源,目標是以與已發表結果相當的性能復現強化學習算法。首批發佈包含 DQN 及其三種變體,其他算法計劃在未來數月陸續釋出。
首批開源內容包括 DQN 及三種變體,可看出 OpenAI Baselines 的起始復現範圍;項目目標是讓強化學習算法達到與已發表結果相當的性能。
OpenAI Baselines:DQN

插圖:Ben Barry
載入中…
分享
我們將 OpenAI Baselines 開源,這是我們在內部致力於重現強化學習演算法的工作,目標是達到與已發表結果相若的表現。我們會在未來幾個月陸續發布這些演算法;今天發布的版本包括 DQN 及其三種變體。
強化學習的結果很難重現:表現波動很大,演算法包含許多相互作用的部分,容易出現細微錯誤,而不少論文沒有報告所有必要的技巧。透過發布經驗證可靠的實作(以及建立這些實作的最佳做法),我們希望確保看似是 RL 的進展,絕不會只是因為拿它與有錯誤或未經調校的現有演算法版本作比較而產生。
本文介紹我們用來正確實作 RL 演算法的一些最佳做法,以及我們首次發布的詳細內容:DQN及其三種變體;這些演算法由 DeepMind 開發。
最佳做法
與隨機基準比較:以下影片中,代理在遊戲 H.E.R.O. 中隨機採取動作。如果你在訓練初期看到這種行為,很容易誤以為代理正在學習。因此,你應該時刻確認代理的表現優於隨機代理。

留意不會令程式中斷的錯誤:當我們檢視十個受歡迎的強化學習演算法重新實作樣本時,發現其中六個有細微錯誤,這些錯誤由社群成員發現,並經作者確認。這些錯誤由較輕微的問題(例如在部分範例中忽略梯度(於新視窗開啟)或錯誤地實作因果卷積(於新視窗開啟)),到嚴重的錯誤,例如回報高於真實結果的分數(於新視窗開啟)。
像代理一樣觀察世界:如同大多數深度學習方法,在 DQN 中我們通常會將環境圖像轉換成灰階,以減少訓練所需的運算量。這也可能帶來錯誤:在 Seaquest 上執行 DQN 演算法時,我們發現實作效果不佳。檢視環境後,我們發現原因是經過後處理的圖像中沒有魚,正如這張圖片所示。

將畫面圖像轉換成灰階時,我們錯誤地校準了綠色值所用的係數,導致魚消失。發現這個錯誤後,我們微調了顏色值,演算法便能再次看見魚。
為了日後除錯此類問題,Gym 現在提供了play(於新視窗開啟)函式,讓研究人員輕易看到 AI 代理所能看到的相同觀察結果。
先修正錯誤,再調整超參數:完成除錯後,我們開始校準超參數。最後我們發現,設定 epsilon 的退火排程對表現影響極大;epsilon 是控制探索率的超參數。我們的最終實作會在最初一百萬個步驟內將 epsilon 降至 0.1,然後在接下來 24 百萬個步驟內降至 0.01。如果我們的實作包含錯誤,我們很可能會嘗試採用不同的超參數設定,以處理尚未診斷出的問題。
仔細核對你對論文的解讀:在 DQN 的Nature(於新視窗開啟)論文中,作者寫道:「我們也發現,將更新中的誤差項截斷 [...],使其介乎 -1 和 1 之間會有所幫助。」有兩種解讀方式——截斷目標函數,或在計算梯度時截斷乘法項。前者看似較自然,但會令誤差較大的狀態轉移中的梯度變成零,導致表現未達最佳;這一點在一個DQN 實作(於新視窗開啟)中也曾出現。後者才正確,而且有簡單的數學解釋——Huber 損失(於新視窗開啟)。你可以檢查梯度是否如預期般呈現,藉此找出這類錯誤——這在 TensorFlow 中很容易做到,只要使用compute_gradients(於新視窗開啟)。
本文中的大多數錯誤,都是透過多次檢查程式碼,並逐行思考可能會出甚麼問題而發現的。事後看來,每個錯誤似乎都很明顯,但即使是經驗豐富的研究人員,也往往低估了找出一項實作中的所有錯誤,需要檢查程式碼多少遍。
深度 Q 學習
DQN(於新視窗開啟):一種強化學習演算法,結合 Q 學習與深度神經網絡,讓 RL 能應用於複雜、高維度的環境,例如電子遊戲或機械人。
雙重 Q 學習(於新視窗開啟):修正標準 DQN 演算法有時會高估特定動作所對應價值的傾向。
優先回放(於新視窗開啟):透過學習重播實際回報與預期回報相差甚遠的記憶,擴充 DQN 的經驗回放功能,讓代理能針對逐漸形成的錯誤假設作出調整。
雙流 DQN(於新視窗開啟):將神經網絡拆成兩部分:一部分學習估算每個時間步的價值,另一部分計算各個動作的潛在優勢,然後合併兩者,形成單一的動作優勢 Q 函數。
開始使用,請執行以下指令:
Python
1pip install baselines2# Train model and save the results to cartpole_model.pkl3python -m baselines.deepq.experiments.train_cartpole4# Load the model saved in cartpole_model.pkl and visualize the learned policy5python -m baselines.deepq.experiments.enjoy_cartpole
我們亦提供了經訓練的代理,可透過執行以下指令取得:
Bash
1python -m baselines.deepq.experiments.atari.download_model --blob model-atari-prior-duel-breakout-1 --model-dir /tmp/models2python -m baselines.deepq.experiments.atari.enjoy --model-dir /tmp/models/model-atari-prior-duel-breakout-1 --env Breakout --dueling
基準測試

我們附有一個iPython 筆記本(於新視窗開啟),展示我們的 DQN 實作在 Atari 遊戲上的表現。你可以比較不同演算法的表現,例如採用優先回放的雙流雙重 Q 學習(黃色)、採用優先回放的雙重 Q 學習(藍色)、雙流雙重 Q 學習(綠色),以及雙重 Q 學習(紅色)。
人工智能是一門實證科學,在這門科學中,能進行更多實驗的能力與進展直接相關。透過 Baselines,研究人員可以減少實作既有演算法所花的時間,並把更多時間用於設計新演算法。如果你想協助我們改進、擴展及開發 AI 演算法,就來 OpenAI加入我們。
作者
Szymon Sidor, John Schulman
來源:OpenAI News · openai.com