OpenAI 以神經網絡訓練機械手解魔方
Solving Rubik’s Cube with a robot hand
OpenAI 訓練兩個神經網絡,讓仿人機械手解開魔方。網絡完全在模擬環境中訓練,使用與 OpenAI Five 相同的強化學習程式碼,並結合新技術 Automatic Domain Randomization(ADR)。系統能應對訓練中未曾遇到的情況,例如被毛絨長頸鹿玩偶戳碰;OpenAI 指出,這展示了強化學習可用於需要前所未有靈巧度的現實世界問題。
這項工作以全程模擬訓練的兩個神經網絡讓仿人機械手解魔方,並用 ADR 應對訓練中未見情況,呈現強化學習應用於實體操作的方法。
OpenAI
我們訓練了一對神經網絡,讓它們以一隻類人機械人手解扭計骰。神經網絡完全在模擬環境中訓練,採用與 OpenAI Five 相同的強化學習程式碼,並配合一項名為自動領域隨機化(ADR)的新技術。系統能應付訓練期間從未遇過的情況,例如被一隻 長頸鹿毛公仔戳碰。這說明強化學習不只是處理虛擬任務的工具,還能解決需要前所未有的靈巧度的現實世界問題。
人類的雙手讓我們能完成各式各樣的任務。在過去 60 年的機械人發展中,人類憑一雙固定不變的手便能完成的高難度任務,一直需要為 每項任務(在新視窗開啟)設計一款專用機械人。另一方面,人們花了 數十年嘗試使用通用機械人硬件(在新視窗開啟),但成效有限,因為這類硬件的自由度很高。尤其是,我們在這裏使用的硬件並不新:我們使用的機械人手已有 15 年歷史,但軟件方法卻是新的。
自 May 2017 起,我們一直嘗試訓練一隻類人機械人手來解 扭計骰(在新視窗開啟)。我們訂下這個目標,是因為相信,成功訓練這類機械人手執行複雜操作任務,能為通用機械人奠定基礎。我們在模擬環境中於 July 2017 解出了扭計骰。但截至 July 2018,我們只可以 操控一個方塊。如今,我們已達成最初的 目標。
完整解出扭計骰。這段影片以實時速度播放,沒有經過任何剪輯。
我們的方法

我們面對的最大挑戰,是建立多樣性足夠、能涵蓋現實世界物理特性的模擬環境。對於扭計骰或機械人手這類複雜物件,摩擦力、彈性和動力學等因素極難測量和建模;我們發現,單靠領域隨機化並不足夠。
為了解決這個問題,我們開發了一種名為 自動領域隨機化 (ADR) 的新方法,它會在模擬環境中無止境地產生難度逐步提高的環境。B這令我們無須準確掌握現實世界的模型,並讓在模擬環境中學得的神經網絡能遷移至現實世界中應用。
ADR 從一個沒有隨機化的單一環境開始,神經網絡會在其中學習解扭計骰。當神經網絡在任務上的表現提升並達到效能門檻時,領域隨機化的程度便會自動提高。這令任務變得更難,因為神經網絡現在必須學會泛化至隨機化程度更高的環境。網絡會持續學習,直到再次超越效能門檻;此時會進一步提高隨機化程度,並重複整個過程。
我們會隨機化的其中一個參數,是扭計骰的大小(上圖)。ADR 會從固定的扭計骰大小開始,並隨着訓練進展逐步擴大隨機化範圍。我們對其他所有參數也採用相同方法,例如方塊的質量、機械人手指的摩擦力,以及機械人手的視覺表面材質。因此,神經網絡必須學會在所有這些日益困難的 條件下解扭計骰。
領域隨機化要求我們手動指定隨機化範圍,這很困難,因為隨機化過多會令學習變得困難,過少則會妨礙遷移至真實機械人。ADR 會隨時間自動擴大隨機化範圍,無需人手介入。ADR 免除了對領域知識的需要,並令我們更容易把方法應用到新任務上。與手動領域隨機化相比,ADR 也會持續令任務保持挑戰性,使訓練永不 收斂。
我們在方塊翻轉任務上比較 ADR 和手動領域隨機化;該任務已有 強勁的基準方法。起初,ADR 在真實機械人上的成功次數較少,表現較差。但隨着 ADR 提高熵值(衡量環境複雜程度的指標),遷移表現最終達到基準方法的兩倍,而且無需人手調校。
分析
測試穩健性
透過 ADR,我們能在模擬環境中訓練神經網絡,使其能在真實機械人手上解扭計骰。這是因為 ADR 讓網絡接觸到無窮無盡、經過隨機化的模擬情境。正是訓練期間對複雜情況的接觸,讓網絡做好由模擬環境遷移至現實世界的準備,因為它必須學會迅速識別並適應自己面對的任何物理環境。
為了測試方法的極限,我們在機械人手解扭計骰時施加多種擾動。不但可以藉此測試控制網絡的穩健性,還能測試視覺網絡;我們在這裏用它來估算扭計骰的位置和方向。
我們發現,使用 ADR 訓練的系統即使從未接受過這些擾動訓練,面對擾動時仍出奇地穩健:在所有受測擾動下,機械人都能成功完成大部分翻轉和轉面操作,雖然表現未達最佳水平。
我們相信 元學習(在新視窗開啟),即學習如何學習,是建立通用系統的重要先決條件,因為它讓系統能迅速適應環境中的變化。ADR 背後的假說是,配備記憶的網絡結合隨機化程度足夠高的環境,會產生 湧現式元學習;在這種情況下,網絡會實現一種學習算法,使自身能迅速調整行為,以適應部署所在的環境。C
為了有系統地測試這一點,我們量度神經網絡在不同擾動下,每次方塊翻轉成功所需的時間(轉動方塊,令不同顏色的一面朝上),例如重設網絡記憶、重設動態,或弄斷一個關節。我們在模擬環境中進行這些實驗,讓我們能在受控 環境中計算 10,000 次試驗的平均表現。
開始時,隨着神經網絡成功完成的翻轉次數增加,每次其後達成成功所需的時間都會縮短,因為網絡正在學習適應。施加擾動時(上圖中的垂直灰線),我們看到達成成功所需的時間急升。這是因為網絡正在採用的策略在環境改變後不再奏效。之後網絡會重新學習新環境,我們再次看到達成成功所需的時間下降至先前的 基準水平。
我們亦量度失敗機率,並對旋轉方塊面(將頂面順時針或逆時針旋轉 90 度)進行相同實驗,發現適應模式亦相同。D
了解我們的神經網絡
將網絡視覺化,讓我們了解它們在記憶中儲存的內容。隨着網絡變得愈來愈複雜,這一點也愈見重要。
上方展示了我們神經網絡的記憶。我們使用 可解釋性工具箱中的一個基礎組件(在新視窗中開啟),即非負矩陣分解,將這個高維向量濃縮為 6 個群組,並為每個群組指定一種獨有顏色。然後,我們會逐個 時間步顯示當下佔主導地位的群組顏色。
我們發現,每個記憶群組都與一種具有語義意義的行為相關。舉例來說,只看網絡記憶中佔主導地位的群組,我們便能判斷它是否即將旋轉方塊,或順時針轉動頂面 在它 發生之前。
挑戰
使用機械手解 Rubik’s Cube 仍然不容易。我們的方法目前解開 Rubik’s Cube 的成功率為 20%,在採用 難度最高的打亂序列(在新視窗中開啟) 時需轉動方塊面 26 次。對於較簡單的打亂序列,只需轉動 15 次即可還原,成功率為 60%。當 Rubik’s Cube 掉落或超時,我們會將該次嘗試視為失敗。不過,我們的網絡能夠從任何初始狀態解開 Rubik’s Cube。因此,如果方塊掉落,可以把它放回機械手中,並繼續 解題。
我們通常發現,神經網絡在最初幾次轉動方塊面和翻轉時,失敗的可能性高得多。這是因為在早期的轉動和翻轉過程中,神經網絡需要同時兼顧解開 Rubik’s Cube 和適應物理環境。
幕後花絮:Rubik’s Cube 原型
為了評估進展並令問題變得可處理,我們設計並製作了特製的方塊版本,作為最終解開一般 Rubik’s Cube 的踏腳石。E

原型 | 位置 + 方向 | 內部自由度(感測器) |
鎖定方塊 | 視覺 | 0(無感測器) |
面方塊 | PhaseSpace | 2 (PhaseSpace) |
完整方塊 | PhaseSpace | 6 (PhaseSpace) |
Giiker cube | 視覺 | 6 (內置感應器) |
普通扭計骰 | 視覺 | 6 (視覺) |
下一步
我們相信,達到人類水平的靈巧度是打造通用機械人道路上的一環,亦期待沿着這個方向繼續推進。
如果你想協助打造愈來愈通用的 AI 系統,無論是機械人系統還是虛擬系統, 我們正在招聘!
註腳
- A
我們聚焦於目前機械難以掌握的問題:感知和靈巧操作。因此,我們訓練神經網絡,讓它們完成 Kociemba 演算法所產生的指定轉面和扭計骰翻轉動作。
- B
我們的研究與 POET(在新視窗開啟)密切相關;它會自動生成 2D 環境。然而,我們的方法會在所有環境上學習一個聯合策略,並可遷移至任何新生成的環境。
- C
具體而言,我們假設,在複雜度沒有上限的環境中訓練一個容量有限的神經網絡,會迫使它學習一種專用學習算法,因為它無法記住每個個別環境的解法,而且不存在能應付所有隨機化設定的單一穩健策略。
- D
- E
我們唯一作出的改動,是在每個中心小方塊的彩色貼紙上剪去一小塊。這是打破 旋轉對稱(在新視窗開啟)。
作者
OpenAI, Ilge Akkaya, Marcin Andrychowicz, Maciek Chociej, Mateusz Litwin, Bob McGrew, Arthur Petron, Alex Paino, Matthias Plappert, Glenn Powell, Raphael Ribas, Jonas Schneider, Nikolas Tezak, Jerry Tworek, Peter Welinder, Lilian Weng, Qiming Yuan, Wojciech Zaremba, Lei Zhang
致謝
感謝以下人士對本文和論文草稿提出意見:Josh Achiam, Greg Brockman, Nick Cammarata, Jack Clark, Jeff Clune, Ruben D’Sa, Harri Edwards, David Farhi, Ken Goldberg, Leslie P. Kaelbling, Hyeonwoo Noh, Lerrel Pinto, John Schulman, Ilya Sutskever & Tao Xu。
影片:Peter Jordan(導演)、Yvette Solis(製片人)、Brooke Chan(製片人)
編輯:Ashley Pilipiszyn
設計:Justin Jay Wang & Ben Barry
攝影:Eric Haines
來源:OpenAI News · openai.com