跳到正文
OpenAI News·· 2019-04-15精選AI 評分79

OpenAI Five 連勝兩局,擊敗《Dota 2》世界冠軍隊伍 OG

OpenAI Five defeats Dota 2 world champions

AI 導讀

OpenAI Five 在本週末的 Finals 連續贏下兩場比賽,擊敗《Dota 2》世界冠軍隊伍 OG,成為首個在電競遊戲中戰勝世界冠軍的 AI。OpenAI Five 與 DeepMind 的 AlphaStar 此前都曾私下擊敗實力不俗的職業選手,但在直播職業賽中落敗;這也是 AI 首次在直播中擊敗電競職業選手。

推薦理由

OpenAI Five 與 AlphaStar 此前曾私下擊敗實力不俗的職業選手、卻在直播職業賽落敗,這次戰果因此有了清楚的賽事對照背景。

正文 · 繁體中文

OpenAI

OpenAI Five 是首個在電競遊戲中擊敗世界冠軍的 AI,曾連贏兩場,對手是 Dota 2 世界冠軍隊伍 OG⁠(在新視窗開啟),而比賽在 Finals⁠ 本週末舉行。OpenAI Five 和 DeepMind 的 AlphaStar 先前都曾在私下擊敗實力不俗的職業選手,卻在現場職業賽事中落敗;因此,這也是 AI 首次在直播中擊敗電競職業選手。

Side view of OpenAI Five Dota team posing behind a panel

在 OpenAI Five Finals 上,我們也分享了兩個驚喜:

  1. OpenAI Five 初步展現了與人類合作的能力,儘管我們的訓練過程只專注於擊敗其他機械人。我們能如此輕易地把競爭型 AI 轉變為合作型 AI,令我們期待未來的 AI 系統只要持續積極投入開發,便能為人類帶來莫大裨益。

  2. 於 April 18–21 期間,我們正擴大 OpenAI Five 的規模,以 玩轉互聯網⁠(在新視窗中開啟),無論是作為競爭對手還是隊友。這次最終測試將讓我們回答一個重要的研究問題——OpenAI Five 在多大程度上可以被利用,或可以透過其他方式被可靠地擊敗——而且這亦可能是迄今規模最大的一次部署,部署一個能力出眾的深度強化學習代理,讓人們可以在知情情況下與之互動。

為何選擇 Dota?

我們開始 OpenAI Five 計劃,是為了研究一個看來超出現有深度強化學習A 演算法能力範圍的問題。我們希望透過處理現有方法無法解決的問題,大幅提升工具的能力。我們原以為需要階層式強化學習等複雜的演算法構思,但研究結果令我們意外:要解決這個問題,最根本的提升其實是擴大規模。要達到並善用這種規模並不容易,而這也是我們研究工作的主要部分!

為了打造 OpenAI Five,我們建立了一套名為 Rapid⁠ 的系統,讓我們能以 PPO⁠ 達到以前 前所未有的規模⁠。成果遠超我們最樂觀的預期;我們打造出世界級的 Dota 機械人,過程中並未觸及任何根本性的效能上限。

當今 RL 演算法的驚人能力,代價是需要消耗海量經驗;在遊戲或模擬環境以外,這可能不切實際。這項限制或許沒有聽起來那麼嚴重,例如,我們使用 Rapid 控制一隻 機械手⁠ 靈巧地轉動方塊、改變其方向;整個過程完全在模擬環境中訓練,並在實體機械人上執行。不過,我們認為,減少所需經驗量是 RL 面對的下一項挑戰。

今天,我們讓 OpenAI Five 退出競賽,但已取得的進展和開發的技術將繼續推動我們未來的工作。我們對 Dota 的研究不會就此結束:我們認為,相比現今常用的標準環境,Dota 本身更有趣、也更具挑戰(而且我們現在已充分了解它!),是更適合 RL 開發的環境。

算力

相較於在 The International 2018 落敗,OpenAI Five 週六獲勝的原因是一項重大改變:訓練算力增加了 8x。在計劃過去的多個階段,我們都曾透過擴大訓練規模來取得進一步進展。但 The International 結束後,項目絕大部分的算力已用於訓練單一 OpenAI Five 模型。因此,我們只能用當時唯一可行的方法增加算力規模:延長訓練時間。

Compute versus Ts Final Log Smoothed

目前版本的 OpenAI Five 總共消耗了 800 petaflop/s-days,並在 10 個實際月份內累積了約 45,000 年的 Dota 自我對戰經驗(截至 The International 時,原為在 1.5 個實際月份內約 10,000 年),平均每日相當於 250 年的模擬經驗。Finals 版本的 OpenAI Five 對上 TI 版本時,勝率為 99.9%。B

遷移學習

OpenAI Five 目前版本自 June 2018 起一直持續訓練,儘管 模型規模⁠(在新視窗中開啟) 和遊戲規則(包括一些相當大型的遊戲更新補丁及新實作的功能)都曾改變。每次遇到改動,我們都能轉移模型並繼續訓練——這是一項 未解挑戰⁠ 而其他領域的強化學習也面對這個問題。據我們所知,這是首次以如此長時間的訓練 過程來訓練強化學習智能體。

為了做到這一點,我們持續完善 模型手術⁠ 工具,讓我們即使面對大幅度的架構變更,也能從已訓練的參數開始繼續訓練。

更多英雄

我們發現,訓練英雄數量從 5⁠ 增至 18⁠ 位英雄時,訓練速度幾乎沒有減慢。我們推想,即使再增加英雄,情況也會一樣;The International 之後,我們投入了大量工夫整合新英雄。

我們花了幾個星期,使用最多包含 25 名英雄的英雄池進行訓練,並將這些英雄提升至約 5k MMR(約為 Dota 玩家中的第 95th 百分位數)。雖然他們仍在進步,但學習速度不足以令他們在總決賽前達到職業級水平。我們尚未有時間調查原因,但我們的推測包括模型容量不足、擴大英雄池後需要更好的配對機制,以及需要更多訓練時間讓新英雄追上舊英雄。試想想,當其他人都已精通 各自的英雄時,人類要學會一名新英雄有多困難!

我們相信,這些問題從根本上都能解決,而解決它們本身也可能很有意思。Finals 版本使用 17 名英雄;由於 Lich 的技能在 Dota 版本 7.20 中有重大改動,我們便把他移除。

合作模式

其實感覺挺好的;有一次我的 Viper 為我犧牲了自己。牠試著幫我,心想:「我肯定她知道自己在做甚麼。」結果顯然我並不知道。不過,你知道,牠相信我。我很少遇到會這樣相信我的[人類]隊友。——Sheever⁠(在新視窗開啟)

Bracket of two competing Dota teams: Sheever and Blitz versus Capitalist and ODPixel

OpenAI Five 與人類一同遊玩的能力,展現了人類與 AI 未來互動的一幅令人振奮的願景:AI 系統與人類協作,提升人類的體驗。測試者表示,機械人隊友給予他們支持;與這些先進系統並肩遊玩時,他們也學到不少,而且整體而言過程相當有趣。

請注意,OpenAI Five 展現了零樣本遷移學習:訓練時,所有英雄均由它的複製版本操控;但它能泛化至只操控其中一部分英雄,並與人類並肩或對戰。它能做到這樣,令我們非常意外。事實上,我們曾考慮在 The International 舉行一場合作賽,但當時以為這需要專門訓練。

Arena

我們正推出 OpenAI Five Arena,這是一項公開實驗,讓任何人都可以在競技和合作模式下玩 OpenAI Five。我們早已知道,我們的 1v1 機械人 很容易被人⁠ 透過巧妙策略加以利用;我們不知道同樣情況是否也適用於 OpenAI Five,以及程度如何,但我們很期待邀請社群協助我們找出答案!

Arena⁠(在新視窗開啟) 將在星期四(April 18)6pm PST 開放,並於星期日(April 21)11:59pm PST 關閉。 請先登記,讓我們確保你所在的地區有足夠的伺服器容量!所有比賽結果都會自動提交至 Arena 公開排行榜。

Five Arena matchup

過去兩年來,Dota 社群給予我們很多支持,我們深表感激;也希望 Arena 能成為我們回饋社群的一點心意。祝大家玩得開心!

接下來

我們審視 OpenAI Five Arena 的結果後,會發佈一份更詳盡的 OpenAI Five 技術分析。

之後,我們會繼續在 OpenAI 內使用 Dota 2 環境開展工作。過去兩年來,我們看到 RL 能力迅速進步;我們認為,Dota 2 將繼續拓展可能性的邊界,無論是讓系統以較少資料達到稱職表現,還是真正實現人類與 AI 協作。

如果你有興趣提升 AI 能力,並協助我們實現確保 AI 造福人類的使命,我們正在 招聘⁠!

註腳

  1. A

    深度強化學習是一種概念:透過獎勵與懲罰,訓練深度神經網絡以達成目標。

  2. B

    勝率根據目前遊戲版本評估。由於 TI 版本是在較舊版本上訓練,這會令勝率偏向 Finals 版本;目前我們尚無其他方法可比較在不同遊戲版本上訓練的智能體。

作者

OpenAI

來源:OpenAI News · openai.com