跳到正文
OpenAI News·· 2022-06-23精選AI 評分64

OpenAI 以 Video PreTraining 訓練神經網絡玩 Minecraft

Learning to play Minecraft with Video PreTraining

AI 導讀

OpenAI 透過 Video PreTraining(VPT),使用大量未標註的人類 Minecraft 遊玩影片,配合少量已標註的承包商數據訓練神經網絡玩 Minecraft。經微調後,模型可學會製作鑽石工具;熟練玩家完成這項任務通常需要超過 20 分鐘(24,000 次操作)。模型使用按鍵輸入和滑鼠移動這種原生人類操作介面,研究將其視為邁向通用電腦操作智能體的一步。

推薦理由

這項研究展示如何利用大量未標註的人類遊玩影片,配合少量標註數據訓練可透過鍵盤和滑鼠操作遊戲的模型。

正文 · 繁體中文

OpenAI

我們透過 Video PreTraining (VPT),以大量未標註的人類遊玩 Minecraft 影片數據集訓練神經網絡玩 Minecraft,同時只使用少量有標註的承包商數據。經過微調後,我們的模型可以學會製作鑽石工具,這項任務通常需要熟練的 Minecraft 玩家花超過 20 分鐘(24,000 次操作)。我們的模型採用人類原生介面,也就是按鍵和滑鼠移動,因此通用性相當高,並朝通用電腦使用智能體邁進了一步。

互聯網上有大量公開影片可供我們學習。你可以看到有人製作精美的簡報、數碼藝術家畫出美麗的日落,以及 Minecraft 玩家建造精巧的房屋。然而,這些影片只記錄了 發生了甚麼, 卻沒有準確記錄 如何 達成;換言之,你不會知道滑鼠移動和按鍵按下的確切次序。如果我們想建立大規模的 基礎模型⁠(在新視窗開啟) 並用於這些領域,正如我們在語言領域使用 GPT⁠(在新視窗開啟) 所做的一樣,缺少動作標籤便會帶來語言領域沒有的新挑戰,因為在語言領域,「動作標籤」就是句子中的下一個詞。

為了善用互聯網上豐富的未標註影片數據,我們提出一種創新而簡單的半監督模仿學習方法:Video PreTraining (VPT)。我們先從承包商收集一小批數據,不僅錄下他們的影片,也記錄他們採取的動作;在我們的案例中,這些動作是按鍵和滑鼠移動。利用這些數據,我們訓練逆向動力學模型(IDM),用來預測影片每一步所採取的動作。重要的是,IDM 可以利用過去 和未來 的資訊來推測每一步的動作。這項任務容易得多,因此所需數據遠少於行為克隆任務;後者只根據 過去的影片畫面 預測動作,並需要推斷當事人想做甚麼以及如何做到。接着,我們可以用訓練好的 IDM 為規模大得多的網上影片數據集加上標籤,並透過行為克隆學習採取動作。

VPT 零樣本結果

我們選擇在 Minecraft 驗證這個方法,因為它(1)是全球最熱門的電子遊戲之一,因此有大量可免費取得的影片數據;(2)內容開放,可做的事情種類繁多,與電腦使用等現實應用相似。不同於 以往⁠(在新視窗開啟) 研究⁠(在新視窗開啟) 在 Minecraft 中採用旨在簡化探索的精簡動作空間,我們的 AI 使用適用範圍廣得多、但也困難得多的人類原生介面:20Hz 畫面更新率,以及滑鼠和鍵盤。

以經 IDM 標註、長達 70,000 小時的網上影片訓練後,我們的行為克隆模型(「VPT 基礎模型」)能完成幾乎無法透過從零開始的強化學習達成的 Minecraft 任務。模型學會砍樹收集原木、把原木製成木板,再把木板製成工作台;這個流程需要熟悉 Minecraft 的玩家約 50 秒,或連續進行 1,000 次遊戲操作。

此外,模型還能執行人類在遊戲中經常做的其他複雜技能,例如游泳、獵取動物作食物,以及進食。模型也學會了「柱跳」這項技能;這是 Minecraft 中一種常見做法,透過反覆跳躍並在自己下方放置方塊來升高位置。

以行為克隆進行微調

基礎模型旨在具備廣泛的行為模式,並能勝任各種不同任務。為了納入新知識,或讓模型專精於範圍較窄的任務分佈,常見做法是用規模較小、內容更具體的數據集微調這些模型。為了研究 VPT 基礎模型在下游數據集上的微調效果,我們請承包商在全新的 Minecraft 世界中遊玩 10 分鐘,並用基本 Minecraft 材料建造房屋。我們希望這能增強基礎模型穩定執行「遊戲初期」技能的能力,例如建造工作台。用這個數據集微調時,我們不僅看到模型穩定執行基礎模型原有遊戲初期技能的能力大幅提升,微調後的模型還學會沿科技樹走得更遠,製作木製和石製工具。有時我們甚至觀察到一些初步的庇護所建造行為,以及智能體在村莊中四處搜尋,包括洗劫箱子。

數據規模擴展

我們工作的核心假設或許是:使用有標註的承包商數據訓練 IDM(作為 VPT 流程的一部分),比直接用同一批少量承包商數據訓練 BC 基礎模型有效得多。為了驗證這個假設,我們用 1 至 70,000 小時不等的數據訓練基礎模型。以少於 2,000 小時數據訓練的模型,使用的是原先為訓練 IDM 而收集、帶有真值標籤的承包商數據;以超過 2,000 小時數據訓練的模型,則使用經我們的 IDM 標註的互聯網數據。接着,我們將每個基礎模型用上一節所述的建屋數據集進行微調。

隨着基礎模型使用的數據增加,其製作物品的能力通常也會提升;只有在數據規模最大時,我們才觀察到石製工具製作能力的出現。

以強化學習微調

當獎勵函數可以明確指定時,強化學習(RL)可以成為促使系統達到高水平、甚至可能超越人類表現的強大方法。然而,許多任務都需要克服艱鉅的探索難題,而大多數 RL 方法會以 隨機 探索作為先驗,例如模型通常會因熵獎勵而受到鼓勵,採取隨機行動。VPT 模型應該能為 RL 提供好得多的先驗,因為模仿人類行為很可能比隨機採取行動有用得多。我們給模型設定了一項艱鉅任務:收集鑽石鎬。這是 Minecraft 中前所未見的能力,而使用人類原生介面更令任務難上加難。

製作鑽石鎬需要一連串漫長而複雜的子任務。為了讓這項任務變得可行,我們按序列中的每件物品給予智能體獎勵。

我們發現,從隨機初始狀態訓練的 RL 策略(標準 RL 方法)幾乎無法獲得任何獎勵,從未學會收集原木,也只偶爾收集木棍。相比之下,從 VPT 模型微調的策略不但學會製作鑽石鎬(在 10 分鐘的 Minecraft 遊戲回合中,有 2.5% 能做到),甚至在收集製作鑽石鎬所需的所有前置物品方面達到人類水平的成功率。這是首次有人展示電腦智能體能在 Minecraft 中製作鑽石工具;人類平均需要超過 20 分鐘(24,000 次操作)才能做到。

結論

VPT 為智能體開闢一條路,讓它們能 學會採取行動 ,透過觀看互聯網上的海量影片。相較於只能產生 表徵 先驗的生成式影片建模或對比方法,VPT 帶來令人振奮的可能性,可直接學習大規模的 行為先驗 ,並涵蓋語言以外的更多領域。雖然我們只在 Minecraft 中進行實驗,但這款遊戲的內容十分開放,而人類原生介面(滑鼠和鍵盤)也非常通用,因此我們相信這些結果對其他類似領域是個好兆頭,例如電腦使用。

詳情請參閱 我們的論文⁠(在新視窗開啟)。我們亦會以開放方式公開承包商數據、Minecraft 環境、模型程式碼和模型權重,希望能協助未來對 VPT 的研究。此外,今年我們與 MineRL NeurIPS 競賽合作。參賽者可以使用並微調我們的模型,嘗試解決 Minecraft 中許多困難任務。有興趣者可瀏覽 競賽網頁⁠(在新視窗開啟) ,並角逐 $100,000 的藍天獎;此外,常規獎金池總額為 $20,000。自我認定屬代表性不足群體的團體及個人可申請資助。

作者

Bowen Baker, Ilge Akkaya, Peter Zhokhov, Joost Huizinga, Jie Tang, Raul Sampedro, Jeff Clune

致謝

這是專責團隊投入大量心力完成的工作。每位作者都在許多方面作出重大貢獻,歷時甚久。所有成員都全職參與這個項目超過六個月。BB、IA、PZ 和 JC 是最初的 VPT 項目團隊成員,因此參與時間更長(超過一年)。除了這些原始團隊成員外,作者排序是隨機的。IA 和 PZ 之間的排序也經過隨機處理。

來源:OpenAI News · openai.com