OpenAI 推出深度強化學習教育資源 Spinning Up in Deep RL
OpenAI 推出 Spinning Up in Deep RL,這是一套旨在讓任何人學習成為深度強化學習熟練實踐者的教育資源。內容包括清晰易明的 RL 程式碼範例、教學練習、文件及教學指南。
OpenAI 推出 Spinning Up in Deep RL,這是一套旨在讓任何人學習成為深度強化學習熟練實踐者的教育資源。內容包括清晰易明的 RL 程式碼範例、教學練習、文件及教學指南。
OpenAI 開發出能量模型,僅需五次示範便能學習以 2D 點集表示的概念,並識別及生成其實例。模型亦能將在 2D 粒子環境中學到的概念遷移至 3D 物理機械人任務。
OpenAI 開發了 Random Network Distillation(RND),一種以基於預測的獎勵鼓勵強化學習智能體出於好奇心探索環境的方法。OpenAI 表示,RND 在 Montezuma’s Revenge 上首次超越人類平均表現。
推薦理由:文中把 RND 的探索方法與 Montezuma’s Revenge 上超越人類平均表現的結果連結,提供理解其研究成果的具體比較基準。
OpenAI 提出迭代放大這項 AI 安全技術,用來指定超出人類規模的複雜行為與目標。方法是示範如何把任務拆解為較簡單的子任務,而非提供標註資料或獎勵函數。這項構想仍處於非常早期階段,目前只在簡單的玩具演算法領域完成實驗;OpenAI 認為它可能成為可擴展的 AI 安全方法。
OpenAI 現正接受 OpenAI Scholars 2019 第二屆計劃申請。計劃向來自代表性不足羣體的人士提供 6–10 份津貼及指導,讓他們全職研習深度學習 3 個月並開源一個專案。
OpenAI Scholars 2018 首屆學員已完成計劃,內容聚焦該屆學員的最終項目。
OpenAI Five 本週在温哥華舉行的 The International 2018 中,對陣頂尖 Dota 2 選手兩場皆敗。兩場比賽的前 20–35 分鐘,OpenAI Five 都維持不錯的獲勝機會。
推薦理由:兩局的時間進程呈現出 OpenAI Five 對陣頂尖 Dota 2 選手時的賽場表現,前 20–35 分鐘仍保持不錯勝算,最終均告落敗。
OpenAI Five 昨日以三局兩勝制擊敗一隊排名位於第 99.95 百分位的 Dota 玩家。對手是 Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾職業參與 Dota;比賽有現場觀眾,直播同時有 100,000 名觀眾觀看。
推薦理由:這場三局兩勝賽呈現 OpenAI Five 對陣 99.95 百分位 Dota 玩家時的直接結果,亦交代對手中有四人曾以職業身份參與 Dota。
OpenAI 訓練出一隻仿人機械手,能以前所未有的靈巧度操控實體物件。
OpenAI 首屆 Scholars 班已展開,參與者是一羣資深軟件開發者,正轉型為機器學習從業者。公眾現可跟進這批學員的進程。
OpenAI Five Benchmark 對賽現已結束;公告確認比賽完結,但未列出賽果、比分或其他賽事資訊。
OpenAI 提出 Glow,一種使用可逆 1x1 卷積的生成模型,延伸既有可逆生成模型並簡化架構。Glow 可生成逼真的高解像度圖像、支援高效採樣,並發現可用於操控數據屬性的特徵;OpenAI 同時釋出模型程式碼和線上視覺化工具,供人探索及延續相關成果。
OpenAI 訓練的智能體僅憑一次人類示範,便在《Montezuma’s Revenge》取得 74,500 分,超越此前所有已發表結果。智能體從示範中挑選的狀態開始連續遊玩多局,並以 PPO 優化遊戲分數;PPO 亦是支撐 OpenAI Five 的強化學習算法。
OpenAI 已完成 Retro Contest 首輪賽事。競賽探索能從過往經驗中泛化的算法開發,文中未列出具體賽果。
OpenAI 現正接受下一屆 OpenAI Fellows 計劃的申請,該計劃提供在 OpenAI 進行 AI 研究的 6 個月有薪學徒培訓。
OpenAI 發佈 Gym Retro 完整版本,這是一個以遊戲進行強化學習研究的平台。平台公開遊戲數量由約 70 款 Atari 遊戲和 30 款 Sega 遊戲,增至涵蓋多種模擬器的 1,000 多款。OpenAI 亦發佈了用於向平台新增遊戲的工具。
推薦理由:Gym Retro 的公開遊戲數量由約 70 款 Atari 遊戲和 30 款 Sega 遊戲擴至多種模擬器上的 1,000 多款,新增遊戲工具亦交代平台擴充遊戲集合的方式。
OpenAI 發佈分析指出,自 2012 年起,最大規模 AI 訓練所用算力以 3.4 個月的週期翻倍。同期該指標增長逾 300,000 倍;相比之下,Moore’s Law 的翻倍週期為 2 年,按此週期只會增長 7 倍。OpenAI 指出,算力改進是 AI 進步的重要組成部分;若趨勢延續,應預備面對能力遠超今日的系統所帶來的影響。
推薦理由:文中以大型 AI 訓練算力的 3.4 個月翻倍週期對照 Moore’s Law 的 2 年週期,並量化自 2012 年以來逾 300,000 倍的增長。
OpenAI 提出一種 AI 安全技術,透過訓練智能體互相辯論議題,再由人類判定勝方。
OpenAI 發佈名為 Evolved Policy Gradients 的實驗性元學習方法,透過演化學習智能體的損失函數,讓智能體可在新任務上快速訓練。採用 EPG 訓練的智能體在測試時能完成訓練範圍以外的基本任務,例如前往訓練時放在房間另一側的物件。
OpenAI 推出遷移學習競賽,衡量強化學習算法能否從過往經驗中泛化。
OpenAI 於 3 月 3 日舉辦首場黑客松,與人工智能社羣的 100 名成員一同參與。
OpenAI 開發了 Reptile,一種可擴展的元學習演算法:反覆抽樣任務並執行隨機梯度下降,再把初始參數朝該任務學得的最終參數更新。Reptile 是 Shortest Descent 演算法在元學習中的應用,數學上類似一階 MAML,只需黑盒存取 SGD 或 Adam 等優化器,計算效率與表現亦與一階 MAML 相近。
OpenAI Scholars 為來自代表性不足羣體的人士提供 6–10 份津貼及導師指導,支持他們全職研習深度學習 3 個月。參與者並會開源一個項目。
OpenAI 發佈 8 個機械人模擬環境,以及 Hindsight Experience Replay 的 Baselines 實作,這些資源均為其過去一年的研究開發成果。OpenAI 曾用這些環境訓練可在實體機械人上運作的模型,並同時發佈一組機械人研究需求。
OpenAI 邀請參加者於 3 月 3 日(星期六)到訪其位於三藩市 Mission District 的辦公室,參加演講及黑客松。
OpenAI 表示,歡迎新捐助者加入,並對此感到欣喜。
OpenAI 與多個研究機構合著論文,預測惡意行為者可能如何濫用 AI 技術,並探討防止及減輕相關威脅的方法。
OpenAI 設計了一種透過教學實現可解釋機器學習的方法,讓 AI 以人類也能理解的示例互相教學。該方法會自動挑選最具資訊量的示例來教授概念,例如用最合適的圖片説明「狗」的概念。實驗結果顯示,該方法能有效教導 AI。
OpenAI 建立了一套系統,讓神經網絡判斷詞語是否屬於約 100 種自動發現的類型,藉此識別詞語所指的對象。這些類型並非互斥類別。
OpenAI 發佈新一批 7 個在其研究過程中出現的未解問題。
OpenAI 開發出一種階層式強化學習演算法,可學習適用於多種任務的高層動作,並快速解決需要數千個時間步的任務。應用於一組導航問題時,演算法會發現可朝不同方向行走和爬行的高層動作,令智能體能迅速掌握新的導航任務。
OpenAI 展示一種用於模擬機械人摔跤的元學習智能體,能迅速擊敗較強的非元學習智能體。該智能體亦能適應物理故障。
OpenAI 發佈 LOLA(Learning with Opponent-Learning Awareness)演算法,讓智能體將其他智能體也在學習納入考量。它在重複囚徒困境中找出以自身利益為先、同時具合作性的策略,例如以牙還牙。這是朝能建模其他心智的智能體邁出的一小步。
OpenAI 的 Dota 2 系統在一個月內由勉強匹敵高排名玩家,提升至擊敗頂尖職業選手,之後仍持續進步。OpenAI 表示,在算力充足時,自我對弈可令機器學習系統由遠低於人類水平提升至超越人類水平。相較之下,監督式深度學習系統的表現受限於訓練數據集,而自我對弈的可用數據會隨智能體能力提升而自動改善。
推薦理由:文章以 Dota 2 系統的進展對比自我對弈與監督式學習,説明自我對弈的可用數據會隨智能體變強而自動改善。
OpenAI 開發的 Dota 2 機械人在遵循標準賽事規則的 1v1 對局中擊敗世界頂尖職業選手。機械人從零開始透過自我對弈學習,沒有使用模仿學習或樹搜索。OpenAI 將此視為朝建立能在涉及真實人類的混亂複雜情境中完成明確目標的 AI 系統邁出的一步。
推薦理由:這則公告同時交代對局成果與訓練方式,呈現自我對弈在規則明確、局勢複雜且有人類參與的遊戲環境中的應用。
OpenAI 發現,在強化學習演算法的參數中加入自適應噪聲,往往能提升效能。這種探索方法簡單易實作,且極少令效能下降,因此值得在任何問題上嘗試。
OpenAI 發佈近端策略優化(PPO),一類強化學習算法,其表現可媲美或優於最先進方法,同時更易實作和調校。OpenAI 表示,PPO 因易用且表現良好,已成為其預設的強化學習算法。
推薦理由:材料比較 PPO 與前沿方法的表現,並交代較簡單的實作和調校如何與良好性能共同構成 OpenAI 採用它作為預設算法的理由。
OpenAI 製作出在不同尺度和視角下仍能可靠欺騙神經網絡分類器的圖像。這挑戰了上週一項説法,即自動駕駛汽車會因拍攝多種尺度、角度和視角的圖像而難以遭惡意欺騙。
OpenAI 與 DeepMind 安全團隊合作開發了一種演算法,透過人類判斷兩種候選行為何者較好,推斷人類想要甚麼。他們將減少人類撰寫目標函數的需要視為構建安全 AI 系統的一步,因以簡單代理目標代表複雜目標,或把目標設定得稍有偏差,都可能導致不良甚至危險行為。
推薦理由:材料呈現以人類比較兩種候選行為的回饋推斷其意願的演算法思路,並連結到降低複雜目標函數設定偏差的安全目標。
OpenAI 指出,多智能體環境是邁向 AGI 的踏腳石,智能體可在資源競爭中學習合作、競爭與溝通。這類環境形成自然課程,難度由競爭者的技能決定;與自身複製體競爭時,難度恰好匹配自身技能。環境沒有穩定均衡,持續帶來變得更聰明的壓力,而要有效應對仍需更多研究。