跳到正文
OpenAI News·· 2016-04-27精選AI 評分71

OpenAI 發佈 OpenAI Gym 公開測試版

OpenAI Gym Beta

AI 導讀

OpenAI 推出 OpenAI Gym 公開測試版,這是一套用於開發及比較強化學習(RL)演算法的工具包。它包含持續擴充的環境,涵蓋模擬機械人到 Atari 遊戲,並提供比較和重現結果的網站。

推薦理由

OpenAI Gym 同時提供持續擴充的強化學習環境,以及比較和重現結果的網站,呈現其面向算法開發與評估的工具定位。

正文 · 繁體中文

OpenAI Gym 公開測試版

閱讀論文(在新視窗中開啟)

Image 1: Openai Gym Beta

載入中…

音訊 1

分享

我們現正推出 OpenAI Gym 的公開測試版,這是一套用於開發和比較強化學習(RL)演算法的工具包。它包含一系列持續擴充的環境(從模擬機械人到 Atari 遊戲),以及一個用於比較和重現結果的網站。

OpenAI Gym 與任何框架編寫的演算法相容,例如Tensorflow⁠(在新視窗中開啟)和Theano⁠(在新視窗中開啟)。環境以 Python 編寫,但我們很快便會讓你能從任何程式語言輕易使用它們。我們最初建置 OpenAI Gym,是為了加快我們自己的強化學習研究。我們希望它對更廣泛的社群同樣有用。

開始使用

若你想立即開始,可以跟着我們的教學⁠(在新視窗中開啟)逐步操作。你也可以一邊學習一邊幫忙,方法是重現一項結果⁠(在新視窗中開啟)。

為何選擇強化學習?

強化學習(RL)是機器學習的一個子領域,專門研究決策和馬達控制。它探討智能體如何學會在複雜且不確定的環境中達成目標。這個領域令人振奮有兩個原因:

不過,強化學習研究的發展亦受兩個因素拖慢:

  • 需要更好的基準測試。在監督式學習中,進展一直由ImageNet⁠(在新視窗中開啟)這類大型標註資料集帶動。對強化學習而言,最接近的對應形式會是一大批多元的環境。然而,現有的開源強化學習環境集合種類不足,而且往往連設定和使用都很困難。

  • 論文所用環境缺乏標準化。問題定義上的細微差異,例如獎勵函數或可採取動作的集合,都可能大幅改變任務的難度。這令重現已發表的研究,以及比較不同論文的結果,都變得困難。

OpenAI Gym 試圖解決這兩個問題。

環境

OpenAI Gym 提供多樣的環境套件,難度由淺入深,涵蓋許多不同類型的資料。我們首先推出以下幾個系列:

隨着時間推移,我們計劃大幅擴充這批環境。非常歡迎社群提交貢獻。

每個環境都有版本編號(例如Hopper-v0⁠(在新視窗中開啟))。如需更改某個環境,我們便會提升其版本號,並將它定義為全新的任務。這可確保特定環境下的結果始終可以比較。

評估

我們已讓你能輕易將結果上載⁠(在新視窗中開啟)到 OpenAI Gym。不過,我們選擇不設傳統排行榜。研究所重視的不是你的分數(因為你可能會對特定任務過度擬合,或手工打造解法),而是你的方法有多通用。

我們首先會維護一份精選清單⁠(在新視窗中開啟),列出一些能讓人對演算法能力有趣見解的貢獻。長遠而言,我們希望這項整理工作成為社群共同參與的事,而非由我們單獨擁有。我們必須隨時間逐步釐清細節,也很希望你能幫忙⁠(在新視窗中開啟)完成這件事。

我們希望 OpenAI Gym 從一開始便是社群共同參與的項目。我們已開始聯同合作夥伴整理 OpenAI Gym 的相關資源:

公開測試期間,我們希望聽取意見,了解如何把它改進成更好的研究工具。如果你想幫忙,可以嘗試在每個環境中提升現有最佳表現、重現他人的結果,甚至實作自己的環境。也歡迎加入我們的社群聊天室⁠(在新視窗中開啟)!

作者

Greg Brockman

來源:OpenAI News · openai.com