OpenAI 發佈 OpenAI Gym 公開測試版
OpenAI Gym Beta
OpenAI 推出 OpenAI Gym 公開測試版,這是一套用於開發及比較強化學習(RL)演算法的工具包。它包含持續擴充的環境,涵蓋模擬機械人到 Atari 遊戲,並提供比較和重現結果的網站。
OpenAI Gym 同時提供持續擴充的強化學習環境,以及比較和重現結果的網站,呈現其面向算法開發與評估的工具定位。
OpenAI Gym 公開測試版

載入中…
分享
我們現正推出 OpenAI Gym 的公開測試版,這是一套用於開發和比較強化學習(RL)演算法的工具包。它包含一系列持續擴充的環境(從模擬機械人到 Atari 遊戲),以及一個用於比較和重現結果的網站。
OpenAI Gym 與任何框架編寫的演算法相容,例如Tensorflow(在新視窗中開啟)和Theano(在新視窗中開啟)。環境以 Python 編寫,但我們很快便會讓你能從任何程式語言輕易使用它們。我們最初建置 OpenAI Gym,是為了加快我們自己的強化學習研究。我們希望它對更廣泛的社群同樣有用。
開始使用
若你想立即開始,可以跟着我們的教學(在新視窗中開啟)逐步操作。你也可以一邊學習一邊幫忙,方法是重現一項結果(在新視窗中開啟)。
為何選擇強化學習?
強化學習(RL)是機器學習的一個子領域,專門研究決策和馬達控制。它探討智能體如何學會在複雜且不確定的環境中達成目標。這個領域令人振奮有兩個原因:
RL 的適用範圍很廣,涵蓋所有需要按序作出一系列決策的問題:例如,控制機械人的馬達,讓它能跑動(在新視窗中開啟)和跳躍(在新視窗中開啟);作出定價和庫存管理等商業決策;或玩電子遊戲(在新視窗中開啟)和棋盤遊戲(在新視窗中開啟)。RL 甚至可應用於具有序列式(在新視窗中開啟)或(在新視窗中開啟)結構化(在新視窗中開啟)輸出的監督式學習問題。
RL 演算法已開始在許多困難的環境中取得良好成果。RL 歷史悠久,但在深度學習近期取得進展前,研究它需要大量針對特定問題的工程工作。DeepMind 的Atari 成果(在新視窗中開啟)、來自Pieter Abbeel’s團隊的BRETT(在新視窗中開啟),以及AlphaGo(在新視窗中開啟),都採用了深度強化學習演算法;這些演算法對環境作出的假設不多,因此可以應用於其他情境。
不過,強化學習研究的發展亦受兩個因素拖慢:
需要更好的基準測試。在監督式學習中,進展一直由ImageNet(在新視窗中開啟)這類大型標註資料集帶動。對強化學習而言,最接近的對應形式會是一大批多元的環境。然而,現有的開源強化學習環境集合種類不足,而且往往連設定和使用都很困難。
論文所用環境缺乏標準化。問題定義上的細微差異,例如獎勵函數或可採取動作的集合,都可能大幅改變任務的難度。這令重現已發表的研究,以及比較不同論文的結果,都變得困難。
OpenAI Gym 試圖解決這兩個問題。
環境
OpenAI Gym 提供多樣的環境套件,難度由淺入深,涵蓋許多不同類型的資料。我們首先推出以下幾個系列:
經典控制(在新視窗中開啟)和文字玩具(在新視窗中開啟):完成小規模任務,當中大多來自強化學習研究文獻。這些環境旨在助你入門。
演算法(在新視窗中開啟):執行多位數加法和序列反轉等運算。有人或會質疑,這些任務對電腦而言很容易。難點在於純粹依靠範例來學會這些演算法。這些任務有個優點:只要改變序列長度,就能輕易調整難度。
Atari(在新視窗中開啟):遊玩經典 Atari 遊戲。我們已將Arcade Learning Environment(在新視窗中開啟)(這個環境對強化學習研究影響深遠)以易於安裝(在新視窗中開啟)的形式整合進來。
棋盤遊戲(在新視窗中開啟):在 9x9 和 19x19 棋盤上玩 Go。雙人遊戲在本質上與我們納入的其他情境截然不同,因為會有一名對手與你對弈。在最初版本中會由Pachi(在新視窗中開啟)提供一名固定對手;日後我們或會加入其他對手(歡迎提交修補程式!)。我們也很可能會擴充 OpenAI Gym,為多人遊戲提供一級支援。
2D 和 3D 機械人(在新視窗中開啟):在模擬環境中控制機械人。這些任務使用MuJoCo(在新視窗中開啟)物理引擎,該引擎專為快速、準確地模擬機械人而設計。當中包括 UC Berkeley 研究人員近期一項基準測試(在新視窗中開啟)中的部分環境(順帶一提,他們今年夏天將加入我們)。MuJoCo 是專有軟件,但提供免費試用(在新視窗中開啟)授權。
隨着時間推移,我們計劃大幅擴充這批環境。非常歡迎社群提交貢獻。
每個環境都有版本編號(例如Hopper-v0(在新視窗中開啟))。如需更改某個環境,我們便會提升其版本號,並將它定義為全新的任務。這可確保特定環境下的結果始終可以比較。
評估
我們已讓你能輕易將結果上載(在新視窗中開啟)到 OpenAI Gym。不過,我們選擇不設傳統排行榜。研究所重視的不是你的分數(因為你可能會對特定任務過度擬合,或手工打造解法),而是你的方法有多通用。
我們首先會維護一份精選清單(在新視窗中開啟),列出一些能讓人對演算法能力有趣見解的貢獻。長遠而言,我們希望這項整理工作成為社群共同參與的事,而非由我們單獨擁有。我們必須隨時間逐步釐清細節,也很希望你能幫忙(在新視窗中開啟)完成這件事。
我們希望 OpenAI Gym 從一開始便是社群共同參與的項目。我們已開始聯同合作夥伴整理 OpenAI Gym 的相關資源:
NVIDIA(在新視窗中開啟):技術問答(在新視窗中開啟),與 John 一起進行。
Amazon Web Services (AWS)(在新視窗中開啟):為部分 OpenAI Gym 使用者提供 $250 額度抵用券。如果你有評估結果能展現你的演算法的潛力,但受資源限制而無法擴大規模,請聯絡我們索取抵用券。(送完即止!)
公開測試期間,我們希望聽取意見,了解如何把它改進成更好的研究工具。如果你想幫忙,可以嘗試在每個環境中提升現有最佳表現、重現他人的結果,甚至實作自己的環境。也歡迎加入我們的社群聊天室(在新視窗中開啟)!
作者
Greg Brockman
來源:OpenAI News · openai.com