OpenAI 發佈 Universe,跨遊戲、網站及應用程式測量和訓練 AI 通用智能
Universe
OpenAI 發佈 Universe,這是一個在全球各類遊戲、網站及其他應用程式中測量和訓練 AI 通用智能的軟件平台。
Universe 將遊戲、網站及其他應用程式納入同一軟件平台,用於測量和訓練 AI 通用智能,呈現跨應用環境作為訓練與評估場景的設計思路。
Universe
我們推出 Universe,這是一個軟件平台,利用全球各種遊戲、網站及其他應用程式,衡量和訓練 AI 的通用智能。

載入中…
分享
Universe 讓 AI代理程式(在新視窗開啟)像人類一樣使用電腦:透過觀察螢幕像素,以及操作虛擬鍵盤和滑鼠。我們必須讓 AI 系統接受訓練,應對我們預期它們要解決的各類任務;Universe 則讓我們能訓練單一代理程式,完成任何人類能用電腦完成的任務。
載入中...
在 April,我們推出了 Gym,這是一套用於開發及比較強化學習(RL)演算法的工具組。使用 Universe,任何程式都可轉化為 Gym 環境。Universe 會在VNC(在新視窗開啟)遠端桌面中自動啟動程式;它毋須特別存取程式內部、原始碼或機械人 API。
今天推出的版本包含一千個環境(在新視窗開啟),包括Flash 遊戲(在新視窗開啟)、瀏覽器任務(在新視窗開啟),以及像slither.io(在新視窗開啟)和GTA V(在新視窗開啟)這樣的遊戲。當中數百個已可用於強化學習,而且幾乎全部都可透過universe(在新視窗開啟) Python 程式庫免費執行,如下所示:
Python
1import gym2import universe # register Universe environments into Gym34env = gym.make('flashgames.DuskDrive-v0') # any Universe environment ID here5observation_n = env.reset()67while True:8 # agent which presses the Up arrow 60 times per second9 action_n = [[('KeyEvent', 'ArrowUp', True)] for _ in observation_n]10 observation_n, reward_n, done_n, info = env.step(action_n)11 env.render()

上面的程式碼會啟動你的 AI,讓它開始玩 Dusk Drive Flash 遊戲。你的 AI 每秒會收到 60 幀如上圖所示的畫面。你需要安裝 Docker 和 universe。
我們的目標是開發一個 AI 代理程式,使它能靈活運用過去在 Universe 環境中累積的經驗,迅速掌握陌生而艱難的環境,這將是邁向通用智能的重要一步。有多種方式可以協助:授權我們使用你的遊戲、在 Universe 各項任務中訓練代理程式、(即將)整合新遊戲,或(即將)遊玩這些遊戲。
在 EA、Microsoft Studios、Valve、Wolfram 及許多其他機構的支持下,我們已取得許可,讓 Universe AI 代理程式可以自由存取遊戲和應用程式,例如Portal(在新視窗開啟)、Fable Anniversary(在新視窗開啟)、World of Goo(在新視窗開啟)、RimWorld(在新視窗開啟)、Slime Rancher(在新視窗開啟)、Shovel Knight(在新視窗開啟)、SpaceChem(在新視窗開啟)、Wing Commander III(在新視窗開啟)、Command & Conquer: Red Alert 2(在新視窗開啟)、Syndicate(在新視窗開啟)、Magic Carpet(在新視窗開啟)、Mirror’s Edge(在新視窗開啟)、Sid Meier’s Alpha Centauri(在新視窗開啟),以及Wolfram Mathematica(在新視窗開啟)。我們期待將這些項目與更多項目整合。

背景
人工智能領域在過去幾年間進展迅速。電腦現在可以看見(在新視窗開啟)、聽見(在新視窗開啟),並翻譯(在新視窗開啟)語言,而且準確度前所未有。它們亦正在學習生成圖像、聲音(在新視窗開啟)和文字(在新視窗開啟)。一個強化學習系統——AlphaGo(在新視窗開啟)——擊敗了 Go 的世界冠軍。然而,儘管取得了這些進展,我們正在建構的系統仍屬於「狹義人工智能」一類——它們能在特定領域達到超越人類的表現,但缺乏在該領域以外做出任何合理事情的能力。舉例來說,AlphaGo 可以輕易在 Go 中擊敗你,但你無法向它解釋另一種棋盤遊戲的規則,然後期待它與你對弈。
具備通用問題解決能力的系統(這種能力類似人類常識,能讓代理程式迅速解決新的艱難任務)仍遙不可及。一個明顯的挑戰是,我們的代理程式不會把累積的經驗帶到新任務中。在標準訓練流程中,我們從頭開始初始化代理程式,讓它們在數以千萬計的試驗中隨機試探,同時學習重複那些碰巧能帶來獎勵結果的動作。若要朝通用智能代理程式邁進,我們必須讓它們接觸種類廣泛的任務,使它們能建立對世界的認識和解決問題的策略,並在新任務中有效重用這些知識和策略。

Universe 基礎架構
Universe 透過統一介面提供各式各樣的環境:代理程式透過觀察畫面像素並發出鍵盤和滑鼠指令來操作遠端桌面。環境會提供 VNC 伺服器,而universe(在新視窗開啟)程式庫會將代理程式轉換為 VNC 用戶端。

我們為 universe 設定的設計目標,是讓單一 Python 程序能並行驅動 20 個環境,每秒達 60 幀。每個螢幕緩衝區大小為 1024x768,因此,若直接從外部程序逐幀讀取,所需記憶體頻寬便會達到 3GB/s。我們用 Go 編寫了一個批次處理型VNC 用戶端(在新視窗開啟),並將其以共享程式庫形式載入 Python,逐步更新每個環境的一對緩衝區。經過嘗試多種 VNC 伺服器、編碼方式和未有文件記載的協定選項組合後,我們現在通常能以每秒 60 幀的速度驅動數十個環境,延遲為 100ms,而幾乎所有延遲都源自伺服器端編碼。
以下是我們目前實作的一些重要特性:
通用。代理程式可以使用這個介面(原本是為人類設計),與任何現有的電腦程式互動,無須模擬器,也無須存取程式內部。舉例來說,它可以玩任何電腦遊戲、與終端機互動、瀏覽網頁、在 CAD 軟件中設計建築物、操作相片編輯程式,或編輯試算表。
人類熟悉。由於人類已熟悉像素、鍵盤和滑鼠介面,因此能輕鬆操作我們的任何環境。我們可以將人類的表現作為有意義的基準,只需儲存 VNC 流量便能記錄人類示範。我們發現,示範對於透過行為克隆(即使用監督式學習模仿人類的操作)以合理策略初始化代理非常有用,之後再切換至 RL,針對指定的獎勵函數進行最佳化。
VNC 作為標準。網上有多種 VNC 實作,其中一些預設隨最常見的作業系統一同提供,包括 OSX。甚至有以JavaScript(於新視窗開啟)實作的 VNC,讓人類無須安裝任何新軟件便能提供示範,這對 Amazon Mechanical Turk 等服務尤其重要。
容易除錯。在代理訓練或接受評估時,我們可以觀察它的狀況——只要把 VNC 客戶端連接到環境共用的 VNC 桌面即可。我們也可以儲存 VNC 流量,以便日後分析。
我們都相當驚訝,VNC 的運作效果竟如此理想。隨著我們擴展至更大型遊戲,我們有相當大的可能會開始採用其他後端技術。不過,初步跡象顯示現有實作還有很大發揮空間:設定得宜時,我們的客戶端可透過公共互聯網以每秒 20 幀的速度運行 GTA V。
環境
我們已將大量環境整合至 Universe,並視之為起點。每個環境都封裝成 Docker 映像,並設有兩個伺服器(於新視窗開啟)與外界通訊:VNC 伺服器會傳送像素畫面並接收鍵盤/滑鼠指令;WebSocket 伺服器則會傳送強化學習任務的獎勵訊號(以及文字或診斷資料等輔助資訊),並接收控制訊息(例如要執行的特定環境 ID)。
Atari 遊戲
Universe 包含 Arcade Learning Environment 中的 Atari 2600 遊戲。這些環境現已在quay.io/openai/universe.gym-core(於新視窗開啟)Docker 映像內非同步運行,並允許代理透過網絡連接,這表示代理必須處理延遲和低幀率。在雲端透過本地網絡運行時,我們通常會看到每秒 60 幀、20ms 的觀察延遲,以及 10ms 的動作延遲;透過公共互聯網運行時,則降至每秒 20 幀、80ms 的觀察延遲,以及 30ms 的動作延遲。
載入中...
Flash 遊戲
我們以 Flash 遊戲作為擴展 Universe 的起點——它們在互聯網上非常普遍,通常比 Atari 遊戲有更豐富的圖像,但個別遊戲仍然簡單。我們目前已篩查超過 30,000 款,並估計數量還會多一個數量級。
我們最初發布的 Universe 版本包含 1,000 款 Flash 遊戲(其中 100 款設有獎勵函數),並取得權利持有人同意,透過quay.io/openai/universe.flashgames(於新視窗開啟)Docker 映像發佈。此映像會啟動TigerVNC(於新視窗開啟)伺服器,並啟動 Python 控制伺服器;該伺服器使用Selenium(於新視窗開啟)開啟 Chrome 瀏覽器,前往容器內載入所需遊戲的頁面,並自動點擊啟動遊戲所需的選單。
載入中...
提取獎勵。雖然沒有獎勵函數的環境可用於無監督學習或產生人類操作示範,但 RL 需要獎勵函數。與 Atari 遊戲不同,我們不能簡單地從程序記憶體讀取成功條件,因為各款遊戲儲存這些資訊的方式差異太大。幸好,許多遊戲都會在畫面上顯示分數,只要我們能解析分數,就能將它用作獎勵函數。雖然現成的OCR(在新視窗開啟),例如Tesseract(在新視窗開啟),在背景乾淨、字型標準的情況下表現出色,但對許多遊戲常見的多樣字型、移動背景、炫目動畫或會遮擋內容的物件,它就難以應付。我們開發了一個基於卷積神經網絡的 OCR 模型,在 Docker 容器內的 Python 控制器中運行,從透過 VNC 自我迴圈維護的畫面緩衝區中解析分數,並透過 WebSocket 通道將分數傳送給代理。
載入中……
瀏覽器任務
人類共同將互聯網建成一座龐大的資訊寶庫,供人類以視覺方式瀏覽。Universe 包含以瀏覽器為基礎的環境,要求 AI 代理像人一樣閱讀、瀏覽及使用網頁——透過像素、鍵盤和滑鼠。
現時,我們的代理大多正在學習與常見的用戶介面元素互動,例如按鈕、清單和滑桿;但將來它們可以完成複雜得多的任務,例如上網查找自己不知道的資料、管理你的電郵或日曆、完成Khan Academy(在新視窗開啟)課程,或在 Amazon Mechanical Turk 和CrowdFlower(在新視窗開啟)上處理任務。
Mini World of Bits。我們首先著手建立一個新基準,在簡單的設定中呈現瀏覽器互動的主要挑戰。我們稱這個基準為Mini World of Bits(在新視窗開啟)。我們認為它相當於MNIST(在新視窗開啟),並相信掌握這些環境能為模型和訓練技術提供有價值的參考,讓它們在完整網站和更複雜的任務上表現出色。我們最初的 Mini World of Bits 基準包含 80 個環境,難度由簡單(例如點擊指定按鈕)至困難(例如在模擬電郵用戶端中回覆某位聯絡人)。
載入中……
真實世界的瀏覽器任務。我們已開始設計更貼近現實的瀏覽器任務。代理會接收指令,並在網站上執行一連串操作。其中一個環境會向代理提供所需航班預訂的詳細資料,然後要求它操作用戶介面搜尋該航班。(我們使用這些網站的快取錄影,以免向它們濫發請求,或預訂大量真實航班。)
載入中……
未來的整合
這套基礎設施用途廣泛:我們可以整合任何可在 Docker 容器(最方便)或 Windows 虛擬機器(較不方便)中執行的遊戲、網站或應用程式。我們希望社群能協助(在新視窗開啟)繼續擴展 Universe 環境的範圍,包括完成我們合作夥伴的遊戲整合、Android 應用程式(模擬器可在 Docker 內執行)、fold.it(在新視窗開啟)、Unity 遊戲、HTML5 遊戲、網上教育遊戲,以及任何人想到的其他項目。
Microsoft 的Project Malmo(在新視窗中開啟)團隊將與 Universe 整合,我們亦期待支援其他人工智能框架。
載入中...
執行環境
儘管環境種類繁多,執行 Universe 環境所需的設定仍然很少。你只需安裝 Docker(在新視窗中開啟) 和 universe(在新視窗中開啟):
純文字
1$ git clone https://github.com/openai/universe && pip install -e universe
我們會將每組相似的環境封裝成一個「執行環境」;它是一部提供兩個連接埠的伺服器:5900(用於透過 VNC 協定交換像素/鍵盤/滑鼠資料),以及 15900(用於 WebSocket 控制協定(在新視窗中開啟))。例如,quay.io/openai/universe.flashgames(在新視窗中開啟) Docker 映像是一個可提供多種不同 Flash 遊戲環境的執行環境。
啟動執行環境。你可以在主控台中按以下方式啟動第一個執行環境:
純文字
1# -p 5900:5900 and -p 15900:15900 expose the VNC and WebSocket ports2# --privileged/--cap-add/--ipc=host needed to make Selenium work3$ docker run --privileged --cap-add=SYS_ADMIN --ipc=host \4 -p 5900:5900 -p 15900:15900 quay.io/openai/universe.flashgames
這會下載並執行 Flash 遊戲 Docker 容器。你可以將自己的 VNC 檢視器連接至連接埠 5900,以檢視和控制遠端桌面,例如透過TurboVNC(在新視窗中開啟),或使用瀏覽器版VNC 用戶端(在新視窗中開啟)(由連接埠 15900 上的網頁伺服器提供)。預設密碼是 openai。OSX 亦有原生 VNC 檢視器,可在 Terminal 中執行 open vnc://localhost:5900 來開啟。(可惜,OSX 檢視器不支援 Tight 編碼,而它是執行較大型遊戲時的最佳選擇。)
編寫自己的代理程式。你可以很輕鬆地使用自己喜歡的框架編寫代理程式,例如 TensorFlow(在新視窗中開啟) 或 Theano(在新視窗中開啟)。(我們提供了一個入門用的 TensorFlow代理程式(在新視窗中開啟)。)每個時間步中,代理程式的觀測值都包含 NumPy 像素陣列,而代理程式必須輸出一份 VNC 事件清單(滑鼠/鍵盤操作)。例如,以下代理程式會啟動 Dusk Drive,並持續按下前進鍵:
純文字
1import gym2import universe # register Universe environments into Gym34env = gym.make('flashgames.DuskDrive-v0') # any Universe [environment ID](https://github.com/openai/universe/blob/master/universe/__init__.py#L297) here5# If using docker-machine, replace "localhost" with your Docker IP6env.configure(remotes="vnc://localhost:5900+15900")7observation_n = env.reset()89while True:10 # agent which presses the Up arrow 60 times per second11 action_n = [[('KeyEvent', 'ArrowUp', True)] for _ in observation_n]12 observation_n, reward_n, done_n, info = env.step(action_n)13 env.render()
你可以保持自己的 VNC 連線開啟,觀看代理程式遊玩;甚至可以在人類/代理程式合作模式中,與代理程式一同使用鍵盤和滑鼠。
環境管理。由於環境會以伺服器程序形式執行,因此可在遠端機器上執行,可能位於叢集內,甚至透過公開互聯網執行。我們記錄了幾種管理遠端(在新視窗開啟)執行環境的方法。在 OpenAI,我們使用一項「配置器」HTTP 服務,按需在Kubernetes(在新視窗開啟)叢集內配置執行環境,並可用來將單一代理程序連接至數百個同時運行的環境。
驗證 Universe 基礎設施
Universe 代理程式必須應對傳統強化學習代理程式得以避開的現實世界種種棘手狀況:代理程式必須即時運行,並將動作和觀測延遲的波動納入考量。雖然 Universe 的完整複雜性按設計超出現有技術所能應付的範圍,我們亦確保現時仍有可能取得進展。
Universe Pong。我們最初的目標是解決gym-core.PongDeterministic-v3(在新視窗中開啟)。Pong 是最簡單的 Atari 遊戲之一,不過作為 Universe 任務,這款遊戲可能難以處理,因為代理程式必須學會以 4x 即時速度作出非常精準的操作(由於環境採用標準跳幀值 4)。我們利用這個環境驗證 Universe 的可變延遲仍能讓代理程式學會作出精準而迅速的反應。今天推出的版本包含universe-starter-agent(在新視窗中開啟),訓練一小時後便能在 Pong 取得 +17 分(滿分 21 分)。人類玩家玩同一版本的 Pong,在 -21 至 21 的評分範圍內只能取得 -11 分,這是由於遊戲速度很快。

額外實驗。我們把強化學習應用於多款賽車 Flash 遊戲,採用獎勵正規化等標準技巧後便能奏效。有些我們嘗試以強化學習處理的瀏覽器任務,探索問題相當棘手,但可以利用人類示範資料進行行為克隆來解決。
以下展示了我們一些成功的代理程式。雖然要解決 Universe,所需代理程式的能力遠超目前技術所及,但這些影片顯示,運用現今的演算法已可有效處理許多有趣的 Universe 環境。
載入中...
載入中...
遠端訓練。我們亦曾使用slither.io(在新視窗中開啟)代理在我們的實體基礎設施(可使用 Titan X GPU)及雲端環境上進行實驗。一般而言,代理程式會以每秒 5 個影格的頻率同時控制 32 個環境;雖然觀測資料的取得頻率可以高得多,但較低的影格率有利於現今的強化學習演算法,因為這些演算法難以處理跨越多個時間步的依賴關係。

我們的代理程式在公眾互聯網上的「反應時間」平均約為 150ms:觀測資料抵達需時 110ms,計算動作需時 10ms,而動作生效需時 30ms。(作為比較,人類的反應時間(在新視窗中開啟)平均約為 250ms。)在本地網絡上,反應時間會降至 80ms;在單一機器內則為 40ms。
載入中...
展望未來
研究進展需要有意義的效能評估。未來數週內,我們將推出一項遷移學習基準測試,讓研究人員判斷自己在通用問題解決能力方面是否有所進展。
Universe 的靈感源自ImageNet(在新視窗中開啟)數據集在電腦視覺社群中的發展歷程。Fei-Fei Li(在新視窗中開啟)及其合作者刻意把 ImageNet 基準設計成幾乎不可能完成,但錯誤率已迅速由 2010 年的 28% 降至 2016 年的 3%,已達到(某些情況下甚至超越)人類水平(在新視窗中開啟)的表現。
如果人工智能社群也在 Universe 上做同樣的事,我們便能朝著建立具備廣泛通用智能的系統取得真正進展。
協助我們改進 Universe
Universe 只有在社群協助下才能成功。有很多方式可以作出貢獻(其中一個特別好的方式是加入我們):
授權我們使用你的遊戲、程式、網站或應用程式。
如果你的程式能為 AI 產生優質訓練任務,我們很樂意取得你的許可(在新視窗開啟),將它打包到 Universe。合適的項目會在畫面上顯示可解析為獎勵的數字(例如遊戲分數),或具備明確定義的目標(可原生具備,也可由使用者定義)。
在 Universe 任務上訓練代理。
AI 的進步有賴整個社群通力合作,我們歡迎社群協助在這些任務上訓練代理。我們已推出一款入門代理(在新視窗開啟),它應該能為你建立自己的代理提供一個實用的起點。未來幾週,我們會發布我們認為最適合作為起點的子基準測試。
整合新環境。(即將推出)
等待整合的環境數量遠超我們獨力能處理的範圍。未來幾週,我們會發布環境整合工具,讓任何人都能協助整合新環境。同時,我們將為環境整合者舉辦測試計劃(在新視窗開啟)。
貢獻示範。(即將推出)
我們正在彙整一個大型資料集,收錄人類在 Universe 環境中的示範,之後會公開發布。如果你想為科學而玩遊戲,請報名參加我們的測試計劃(在新視窗開啟)。
作者
OpenAI
鳴謝
收購與合作夥伴關係: Erin Pettigrew, Jack Clark, Jeff Arnold
核心基礎設施: Greg Brockman, Catherine Olsson, Alex Ray
示範: Tom Brown, Jeremy Schlatter, Marie La, Catherine Olsson
分散式訓練基礎設施: Vicki Cheung, Greg Brockman, Jonas Schneider
文件與傳訊: Jack Clark, Andrej Karpathy, Catherine Olsson
環境整合: Alec Radford, Jonathan Gray, Tom Brown, Greg Brockman, Alex Ray, Catherine Olsson, Trevor Blackwell, Tambet Matiisen, Craig Quiter
初步代理成果: Rafal Jozefowicz, Dario Amodei, Ilya Sutskever, Jonathan Ho, Trevor Blackwell, Avital Oliver, Yaroslav Bulatov
遠端環境管理: Vicki Cheung, Greg Brockman, Catherine Olsson, Jie Tang
RL 基線: Dario Amodei, Harri Edwards
網站: Ludwig Petterson, Jie Tang, Tom Brown, Alec Radford, Jonas Schneider, Szymon Sidor
位元世界: Andrej Karpathy, Tianlin (Tim) Shi, Linxi (Jim) Fan, Jonathan Hernandez, Percy Liang
合作夥伴
以下合作夥伴一直是打造 Universe 的重要力量:EA, Valve, Microsoft, NVIDIA, Kongregate, Newgrounds, Yacht Club Games, Zachtronics, Ludeon Studios, Monomi Park, 2D Boy, Adam Reagle, Alvin Team, Rockspro, Anubhav Sharma, Arkadium, Beast Games, Char Studio, Droqen, Percy Pea, deeperbeige, Denny Menato, Dig Your Own Grave, Free World Group, Gamesheep, Hamumu Software, Hemisphere Games, Icy Lime, Insane Hero, inRegular Games, JackSmack, Nocanwin, Joe Willmott, Johnny Two Shoes, The Gamest Studio, László Cziglédszky, Madalin Games, Martian Games, Mateusz Skutnik, Mikalay Radchuk, Neutronized, Nitrome, ooPixel, PacoGames, Pixelante, Plemsoft, Rob Donkin, robotJam, Rumble Sushi 3D, SFB Games, Simian Logic, Smiley Gamer, Sosker, tequibo, kometbomb, ThePodge, Vasco Freitas, Vitality Games, Wolve Games, Xform Games, XGen Studios
來源:OpenAI News · openai.com