OpenAI 研究指出 CNN、ResNet 與 Transformer 出現雙重下降現象
OpenAI 的研究指出，雙重下降現象會出現在 CNN、ResNet 和 Transformer 中。隨模型規模、數據量或訓練時間增加，性能會先改善、再變差，然後再次改善。這種情況常可透過謹慎的正則化避免，但其成因尚未完全理解，後續研究仍是重要方向。
推薦理由：研究在 CNN、ResNet 與 Transformer 中觀察到雙重下降，並指出性能會隨模型規模、數據量或訓練時間增加而先升、再降、再升。
論文研究
全部主題值得讀的 AI 論文與研究成果：架構創新、訓練方法、能力測量與理論進展的精選解讀。
最新精選
第 61–67 條 · 共 67 條OpenAI News精選AI 評分6666
OpenAI News精選AI 評分6969 OpenAI 以神經網絡訓練機械手解魔方
OpenAI 訓練兩個神經網絡，讓仿人機械手解開魔方。網絡完全在模擬環境中訓練，使用與 OpenAI Five 相同的強化學習程式碼，並結合新技術 Automatic Domain Randomization（ADR）。系統能應對訓練中未曾遇到的情況，例如被毛絨長頸鹿玩偶戳碰；OpenAI 指出，這展示了強化學習可用於需要前所未有靈巧度的現實世界問題。
推薦理由：這項工作以全程模擬訓練的兩個神經網絡讓仿人機械手解魔方，並用 ADR 應對訓練中未見情況，呈現強化學習應用於實體操作的方法。
OpenAI News精選AI 評分7070 OpenAI 以人類偏好微調 GPT-2
OpenAI 使用人類回饋微調 774M 參數的 GPT-2，使模型在多項任務上匹配外部人類標註者的偏好。摘要任務需 60k 個人類標註，標註者偏好整句照抄輸入，模型因此學會複製；多種風格的續寫任務則需 5k 標註。OpenAI 指出，標註者的偏好並不總與自身一致，並希望藉由讓安全技術更接近「機器與人交談」的一般任務，提取人類價值資訊。
推薦理由：這項實驗對比摘要與續寫任務的標註需求，並呈現標註者偏好整句照抄輸入時，微調模型也會學會相同行為。
OpenAI News精選AI 評分6161 OpenAI 開發 Random Network Distillation（RND），以預測獎勵促進強化學習探索
OpenAI 開發了 Random Network Distillation（RND），一種以基於預測的獎勵鼓勵強化學習智能體出於好奇心探索環境的方法。OpenAI 表示，RND 在 Montezuma’s Revenge 上首次超越人類平均表現。
推薦理由：文中把 RND 的探索方法與 Montezuma’s Revenge 上超越人類平均表現的結果連結，提供理解其研究成果的具體比較基準。
OpenAI News精選AI 評分6969 OpenAI 發佈 AI 訓練算力增長分析
OpenAI 發佈分析指出，自 2012 年起，最大規模 AI 訓練所用算力以 3.4 個月的週期翻倍。同期該指標增長逾 300,000 倍；相比之下，Moore’s Law 的翻倍週期為 2 年，按此週期只會增長 7 倍。OpenAI 指出，算力改進是 AI 進步的重要組成部分；若趨勢延續，應預備面對能力遠超今日的系統所帶來的影響。
推薦理由：文中以大型 AI 訓練算力的 3.4 個月翻倍週期對照 Moore’s Law 的 2 年週期，並量化自 2012 年以來逾 300,000 倍的增長。
OpenAI News精選AI 評分6868 OpenAI 的 Dota 2 系統一個月內由勉強匹敵高排名玩家提升至擊敗頂尖職業選手
OpenAI 的 Dota 2 系統在一個月內由勉強匹敵高排名玩家，提升至擊敗頂尖職業選手，之後仍持續進步。OpenAI 表示，在算力充足時，自我對弈可令機器學習系統由遠低於人類水平提升至超越人類水平。相較之下，監督式深度學習系統的表現受限於訓練數據集，而自我對弈的可用數據會隨智能體能力提升而自動改善。
推薦理由：文章以 Dota 2 系統的進展對比自我對弈與監督式學習，説明自我對弈的可用數據會隨智能體變強而自動改善。
OpenAI News精選AI 評分6464 OpenAI 與 DeepMind 安全團隊合作開發從人類偏好推斷意願的演算法
OpenAI 與 DeepMind 安全團隊合作開發了一種演算法，透過人類判斷兩種候選行為何者較好，推斷人類想要甚麼。他們將減少人類撰寫目標函數的需要視為構建安全 AI 系統的一步，因以簡單代理目標代表複雜目標，或把目標設定得稍有偏差，都可能導致不良甚至危險行為。
推薦理由：材料呈現以人類比較兩種候選行為的回饋推斷其意願的演算法思路，並連結到降低複雜目標函數設定偏差的安全目標。