OpenAI 的 Dota 2 系統一個月內由勉強匹敵高排名玩家提升至擊敗頂尖職業選手
More on Dota 2
OpenAI 的 Dota 2 系統在一個月內由勉強匹敵高排名玩家,提升至擊敗頂尖職業選手,之後仍持續進步。OpenAI 表示,在算力充足時,自我對弈可令機器學習系統由遠低於人類水平提升至超越人類水平。相較之下,監督式深度學習系統的表現受限於訓練數據集,而自我對弈的可用數據會隨智能體能力提升而自動改善。
文章以 Dota 2 系統的進展對比自我對弈與監督式學習,説明自我對弈的可用數據會隨智能體變強而自動改善。
更多 Dota 2 資訊

載入中…
分享
我們在 Dota 2 上的成果顯示,只要運算資源充足,自我對弈就能令機器學習系統的表現從遠低於人類水平躍升至超越人類水平。短短一個月內,我們的系統從只能勉強與高排名玩家匹敵,進步到擊敗頂尖職業選手,此後一直持續進步。監督式深度學習系統的表現受訓練資料集所限,但在自我對弈系統中,可用資料會隨智能體能力提升而自動改善。

TrueSkill(在新視窗中開啟)評分(與國際象棋中的 ELO 評分相近),反映我們最佳機械人隨時間的表現;評分數值透過模擬機械人之間的對戰並觀察勝率計算得出。系統各部分均有改進,從加入新功能、改良演算法到擴大規模皆然。圖表呈現出令人意外的線性趨勢,代表團隊隨時間以指數速度改進了機械人。
這個項目的時間線如下。作為參考,15% 的玩家 MMR 低於 1.5kMMR(在新視窗中開啟);58% 的玩家低於 3k;99.99% 的玩家低於 7.5k。
March 1st:我們首次取得傳統強化學習成果(在新視窗中開啟),在一個簡單的 Dota 環境中,Drow Ranger 學會了對硬編碼的 Earthshaker 放風箏。
May 8th:一名 1.5k MMR 測試玩家表示,自己進步得比機械人更快。
June 初:擊敗 1.5k MMR 測試玩家
June 30th:對上 3k MMR 測試玩家時贏下大部分對局
July 8th:才勉強取得首場勝利(在新視窗中開啟),對手是 7.5k MMR 半職業測試玩家。
August 7th:擊敗Blitz(在新視窗中開啟)(6.2k 前職業選手),戰績為 3–0;擊敗Pajkatt(在新視窗中開啟)(8.5k 職業選手),戰績為 2–1;以及擊敗CC&C(在新視窗中開啟)(8.9k 職業選手),戰績為 3–0。三人都認為 Sumail 會想出擊敗它的方法。
August 9th:以 10–0 擊敗 Arteezy(10k 職業選手、頂尖玩家)。他表示 Sumail 應該能找出擊敗這個機械人的方法。
August 10th:以 6–0 擊敗 Sumail(8.3k 職業選手、頂尖 1v1 玩家);他認為這個機械人無法擊敗。他與 Aug 9th 版本的機械人對戰,戰績為 2–1。
August 11th:以 2–0 擊敗 Dendi(7.3k 職業選手、前世界冠軍、老派觀眾的寵兒)。機械人對上 August 10th 版本的機械人時,勝率為 60%。
任務
完整對局採 5v5 制,但 1v1 亦會出現(在新視窗中開啟)於部分賽事(在新視窗中開啟)。我們的機械人按照標準賽事規則參賽——我們沒有為 1v1 加入專為 AI 設置的簡化措施。
機械人透過以下介面運作:
**觀察資料:**機械人 API 的特徵經過設計,與人類玩家可見的資訊相同,涵蓋英雄、小兵、信使,以及英雄附近的地形。遊戲狀態只能部分觀測。
**動作:**機械人透過 API 可執行的動作,其選擇頻率與人類玩家相若,包括移動至某個位置、攻擊一個單位或使用物品。
**回饋:**機械人會因取勝而獲得獎勵,亦會收到生命值和補刀數(在新視窗中開啟)等基本指標的回饋。
我們將幾十種機械人可用的出裝方案列入白名單,並選定其中一種作評估。我們亦另外使用傳統強化學習技術訓練開局擋兵,因為這個環節發生於對手出現之前。
The International
我們的方法結合少量「指導」與自我對弈,讓智能體在 The International 的星期一至星期四期間大幅進步。星期一晚上,Pajkatt 以一套罕見的出裝方案取勝(提早購買魔杖)。我們把這套出裝方案加入訓練白名單。
星期三下午約 1pm,我們測試了最新版本的機械人。它在第一波兵時會損失大量生命值。我們原以為可能要回退版本,但發現它之後的遊戲表現非常出色;第一波兵時的表現原來是在引誘其他機械人主動攻擊它。之後更多自我對弈修正了問題,機械人學會反制這種引誘策略。同時,我們把它與星期一版本的機械人拼接起來,只讓星期一版本負責第一波兵,並在 Arteezy 於 4pm 到場前二十分鐘完成整個流程。
Arteezy 的比賽結束後,我們更新了開局擋兵模型,令 TrueSkill 提升一點。Sumail 星期四的比賽前,進一步訓練又令 TrueSkill 提升兩點。Sumail 指出,機械人已學會在敵人視野之外施放影壓。這是由於一項我們之前不知道的遊戲機制:在敵人視野外施放技能,會令敵人無法獲得魔杖充能。
Arteezy 亦曾與我們的一名 7.5k 半職業測試玩家對戰。整場比賽 Arteezy 一直佔上風,但測試玩家仍以從機械人學來的策略讓他大感意外。Arteezy 事後表示,Paparazi 曾用過這種策略對付他一次,但平常並不常見。
Pajkatt 擊敗星期一版本機械人的片段。留意他如何引誘機械人接戰,並透過生命恢復道具(仙靈之火和魔杖)回血。機械人通常很擅長判斷一場交戰的勝負,但之前從未對戰過提早購買魔杖的玩家。
利用機械人的弱點
雖然 Sumail 稱這個機械人「無法擊敗」,但遇到與它曾見過的情況截然不同的場面時,它仍可能被弄糊塗。我們在 The International 的 LAN 活動現場設置了這個機械人,玩家竭盡所能挑戰它,總共進行了超過 1,000 場對局。
成功奏效的取巧策略可分為三類:
拉兵:兵線小兵一生成(位置在機械人的 2 級塔和 3 級塔之間),就可以反覆引誘牠們追着你跑。最後會有幾十隻小兵在地圖上追着你,機械人的防禦塔終會被慢慢磨掉。
Orb of venom + wind lace:這套出裝讓你在 1 級時的移動速度大幅高於機械人,並能快速拿下一血。你要利用這個先發優勢,再擊殺機械人一次。
1 級影壓:這需要很高技巧,但有幾名 6–7k MMR 玩家能在短時間內成功命中 3–5 次影壓,並在 1 級擊殺機械人。
在 1v1 中修正這些問題,會與修正 Pajkatt 遇到的程式錯誤相似。但在 5v5 中,這些根本不算漏洞;我們需要一套能應付從未見過的各種古怪情況的系統。
基礎設施
我們暫時還未準備好談論智能體的內部運作;團隊目前專注於先解決 5v5。
這個項目的第一步,是找出如何在雲端的實體 GPU 上執行 Dota 2。遊戲在雲端 GPU 執行個體上顯示了一則難以理解的錯誤訊息。不過,在 Greg 的個人 GPU 桌面電腦上啟動遊戲時(這部電腦就是演示期間帶上台的那部),我們發現接上螢幕時 Dota 會啟動,拔掉螢幕時則會顯示相同的錯誤訊息。因此,我們把雲端 GPU 執行個體設定成假裝接上了實體螢幕。
Dota 當時不支援自訂專用伺服器,因此若要大規模執行而又不用 GPU,就只能採用速度非常慢的軟件渲染。之後我們建立了一個轉接層,為大部分 OpenGL 呼叫提供空殼實作,只保留啟動遊戲所需的呼叫。
同時,我們編寫了一個腳本式機械人——我們需要一個基準作比較(尤其是內建機械人在 1v1 中表現不佳),亦要了解機械人 API(在新視窗中開啟)的所有語義。這個腳本式機械人在沒有對手的兵線上十分鐘可取得 70 次補刀,但仍會輸給實力不俗的人類玩家。目前我們最佳的 1v1 機械人可取得約 97 次補刀(它會在那之前摧毀防禦塔,所以我們只能推算),而理論最高值是 101 次。
機械人對戰SirActionSlacks(在新視窗中開啟)。利用信使快速突襲來分散機械人注意力的策略並不奏效。
5v5
1v1 已經十分複雜,但 5v5 的複雜程度猶如一片汪洋。我們知道,要解決這個問題,就必須進一步突破人工智能的界限。
一個廣為採用的起點是行為複製。Dota 每日約有一百萬場公開對局。這些對局的重播會在 Valve 的伺服器上保存兩星期。我們自去年 November 起便一直下載所有專家級重播,累積了 5.8M 場對局的資料集(每場約 45 分鐘,有 10 名人類玩家)。我們透過OpenDota(在新視窗中開啟)尋找這些重播,並捐出$12k(相當於他們 10 年的籌款目標)支持這個計劃。
我們還有更多構想,並正在招聘工程師(須對機器學習感興趣,但毋須是專家)和研究人員,協助我們實現這個目標。我們感謝 Microsoft Azure 和 Valve 支持這項工作。
作者
OpenAI
來源:OpenAI News · openai.com