跳到正文
OpenAI News·· 2018-05-25精選AI 評分64

OpenAI 發佈 Gym Retro 完整版本及新增遊戲工具

Gym Retro

AI 導讀

OpenAI 發佈 Gym Retro 完整版本,這是一個以遊戲進行強化學習研究的平台。平台公開遊戲數量由約 70 款 Atari 遊戲和 30 款 Sega 遊戲,增至涵蓋多種模擬器的 1,000 多款。OpenAI 亦發佈了用於向平台新增遊戲的工具。

推薦理由

Gym Retro 的公開遊戲數量由約 70 款 Atari 遊戲和 30 款 Sega 遊戲擴至多種模擬器上的 1,000 多款,新增遊戲工具亦交代平台擴充遊戲集合的方式。

正文 · 繁體中文

Gym Retro

Image 1: A colorful collage of square-dimension moving 2D video game interfaces

載入中…

音訊 1

分享

我們現正推出完整版本的Gym Retro⁠(在新視窗中開啟),這是一個用於遊戲強化學習研究的平台。這令我們公開發布的遊戲數量,從約 70 款 Atari 遊戲和 30 款 Sega 遊戲,增至由多種底層模擬器支援的逾 1,000 款遊戲。我們亦會公開用來向平台加入新遊戲的工具。

我們使用 Gym Retro 研究強化學習演算法,並探討泛化能力。以往的強化學習研究大多着重於優化智能體以解決單一任務。利用 Gym Retro,我們可以研究智能體在概念相近但外觀不同的遊戲之間進行泛化的能力。

這次發布的遊戲來自 Sega Genesis 和 Sega Master System,以及 Nintendo 的 NES、SNES 和 Game Boy 主機。當中亦包括對 Sega Game Gear、Nintendo Game Boy Color、Nintendo Game Boy Advance 和 NEC TurboGrafx 的初步支援。部分已發布的遊戲整合,包括 Gym Retro 的data/experimental資料夾中的遊戲,仍處於測試版階段——請試玩,如遇到任何錯誤,請告訴我們。由於涉及的改動規模龐大,相關程式碼暫時只會在分支⁠(在新視窗中開啟)上提供。為免破壞參賽者的程式碼,我們會待比賽結束後才合併該分支。

仍在舉行的Retro Contest⁠(在新視窗中開啟)(將於兩星期後結束!)和我們最近發表的技術報告⁠(在新視窗中開啟),聚焦於較容易的問題:如何在同一款遊戲(Sonic The Hedgehog™)的不同關卡之間實現泛化。完整的 Gym Retro 資料集將這個想法推得更遠,令我們可以研究不同遊戲之間泛化這個較難的問題。資料集的規模和個別遊戲的難度,令這成為一項極具挑戰性的工作;我們期待在未來一年分享研究進展。我們亦希望 Retro Contest 參加者研發的部分解決方案能擴展至更大規模,並應用於完整的 Gym Retro 資料集。

整合工具

載入中...

我們亦會發布用來整合新遊戲的工具。只要你有某款遊戲的 ROM,就可以輕鬆使用這個工具建立存檔狀態、尋找記憶體位置,以及設計強化學習智能體之後可以解決的情境。我們撰寫了一份整合者指南⁠(在新視窗中開啟),供希望為新遊戲加入支援的人參閱。

整合工具亦支援錄製和播放遊戲重播檔,這些檔案會儲存輸入遊戲的所有按鈕操作。這些檔案體積很小,因為只需儲存起始狀態和按鈕按下的次序,毋須儲存輸出的每一格畫面。這類重播檔有助於將強化學習智能體的操作視覺化,也可儲存人類輸入作為訓練資料。

載入中...

刷獎勵

在開發 Gym Retro 期間,我們發現不少遊戲例子中,智能體會學會刷獎勵(定義為遊戲分數的增加),而非完成遊戲中隱含的任務。在上方片段中,Cheese Cat-Astrophe(左)和Blades of Vengeance(右)的角色會困在無限循環中,因為牠們能藉此迅速累積獎勵。這凸顯了我們先前討論過的一種現象⁠(在新視窗中開啟):我們為當代強化學習演算法設定的獎勵函數相對簡單,例如將遊戲分數最大化,可能會導致不理想的行為。

載入中...

對於獎勵密集(頻繁且逐步增加)、而大部分難度來自需要快速反應的遊戲,PPO 等強化學習演算法表現出色。

在 Gradius 這類遊戲中(如右圖所示),每擊中一名敵人都會得分,因此很容易取得獎勵並開始學習。在這類遊戲中存活,取決於躲避敵人的能力;強化學習演算法逐格遊玩,因此這對它們來說不成問題。

對於獎勵稀疏,或需要預先規劃未來幾秒以後行動的遊戲,現有演算法難以應付。Gym Retro 資料集中的不少遊戲獎勵稀疏或需要規劃,因此要應付整個資料集,很可能需要尚未開發的新技術。

如果你熱衷於使用規模前所未有的資料集,研究遷移學習和元學習,不妨考慮加入 OpenAI⁠。

作者

Vicki Pfau, Alex Nichol, Christopher Hesse, Larissa Schiavo, John Schulman, Oleg Klimov

來源:OpenAI News · openai.com