Gemini Robotics 2 為機械人帶來全身智能控制
Gemini Robotics 2 brings whole body intelligence to robots
Google DeepMind 發佈 Gemini Robotics 2 系列模型,為機械人帶來全身控制、靈巧操作及多機協作能力。系列包括將視覺與語言輸入轉為動作控制的 Gemini Robotics 2、用於具身推理與多步任務規劃的 Gemini Robotics ER 2,以及可在機械人裝置本地運行的 Gemini Robotics On-Device 2。
全身控制、靈巧操作、多機協作與本地適配均有具體案例,呈現 Gemini Robotics 2 系列面向機械人任務的能力佈局。
2026 年 7 月 30 日 模型
Carolina Parada
從腳尖到指尖——我們正教導機械人具備智能全身控制、精細靈巧操作和團隊協作能力,以完成廣泛而複雜的任務
數十年來,我們一直夢想機械人能自然融入我們的生活並伸出援手。如今,這個願景向前邁進了一大步。
大多數機械人都是預先編程,或透過遙距操作執行範圍狹窄、重複性的任務序列。它們缺乏真正自主學習或適應不可預測環境的能力。此外,把已學會的技能從一種機械人身上轉移到另一種機械人,至今仍極為困難。要大規模應對最棘手的問題,各種形狀和大小的機械人都需要 AI 模型賦予它們思考、行動及智能互動的能力,從而安全地完成任務。
我們曾展示 Gemini 的多模態理解如何透過Gemini Robotics驅動真實世界的行動。今天,我們推出 Gemini Robotics 2,為新一代真正適應力強的機械人提供智能層。這項重大進展正邁出最初的實質一步,解鎖智能全身控制、先進靈巧操作及多機械人協作能力。
Gemini Robotics 2 讓機械人能推理每個動作,從而完成廣泛任務。例如,它可以讓人形機械人行走、蹲下、伸展和操作物件,整理凌亂的房間;甚至能與其他機械人合作,更快完成工作。這種強大的智能也可直接在裝置上本機運行,並只需數小時便能順暢適應全新的機械人本體。
我們透過三款能力強大的模型實現這些功能:
- Gemini Robotics 2:我們最先進的視覺-語言-動作模型(VLA),能把視覺和語言輸入轉換為電機控制,令機械人採取行動。這個模型可控制完整的人形機械人,從腳尖到指尖,也可控制其他雙臂機械人。它亦讓雙手和夾爪的靈巧操作能力提升至全新層次。
- Gemini Robotics ER 2:我們能力最強的具身推理(ER)模型。這是一個視覺語言模型(VLM),擔任代理程式角色,使機械人可以與人溝通、理解物理世界,並規劃需時數分鐘的多步驟任務。我們亦加入了讓機械人團隊協作的能力。
- Gemini Robotics On-Device 2:我們效率最高的視覺-語言-動作模型(VLA),專為在機械人裝置上本機運行而最佳化。只需數小時的資料,這個模型現在便能迅速適應全新的機械人本體。
我們的推理模型 Gemini Robotics ER 2 現已在Google AI Studio提供,並在Gemini Enterprise Agent Platform以私人預覽形式推出。我們的 VLA 和 On-Device 模型則開放予早期使用合作夥伴。請閲讀我們的開發者網誌,瞭解如何把這些模型部署到你的硬件。
人形機械人動起來:管理全身任務
世界是按照人類的動作方式建造的;我們需要在狹窄、雜物堆積的空間中伸手、彎腰和平衡。以往的模型能控制人形機械人的上半身,完成桌面任務;Gemini Robotics 2 則把實體 AI 擴展至全身動作。
我們的模型首次能控制整台人形機械人,把意圖轉化為智能的全身控制。例如,控制Apptronik 的 Apollo 2人形機械人時,我們可以要求它「把水壺放進底層架上的綠色箱子。」Apollo 會處理指令、走到桌旁、拿起水壺,再走幾步到架子旁,並準確地把水壺放到指定位置。雖然我們的機械人仍需提升移動速度,但這是邁向所需技能的重要一步,讓它們能協調全身,完成更複雜的真實世界任務。
讓雙手和夾爪具備進階靈巧操作能力
機械人若要在家居和工作場所真正發揮作用,就需要細膩而精準的操作能力。Gemini Robotics 2 讓不同末端執行器的實體靈巧度提升至全新層次,無論機械人使用的是手還是夾爪,都能比以往更有用。
這個模型現在能控制 Apollo 2 機械人上的 SharpaWave 手部裝置。它有五根手指和 22 個自由度,可完成打結或封好夾鏈袋等精細動作。模型亦能操作Franka Duo 平台上常見的雙指平行夾爪,執行複雜的靈巧任務(例如緊密收納)。我們會繼續提升精準度和速度,朝人類水平的靈巧度邁進。
透過代理式推理與多機械人協作,解鎖進階任務
大多數真實世界任務都需要在一段較長時間內完成多個步驟。為了處理這種複雜性,我們的具身推理(ER)模型 Gemini Robotics ER 2 擔任機械人的高層次大腦,負責處理用戶指令並與人溝通。它會觀察房間、推理完成任務所需的步驟、協調 VLA 執行動作,並持續追蹤進度直至任務完成。這種配置讓機械人能執行複雜的多步驟任務,在某一步驟失敗時自行修正,並泛化至新情境和新目標。
這次更新讓機械人能更可靠地執行較長的任務序列,任務可持續數分鐘並涉及數百個決策。Gemini Robotics ER 2 現在能理解任務何時開始和結束,亦能準確指出關鍵事件發生的時刻,令它在掌握進度方面有重大提升。
此外,我們推出多機械人協作功能,讓不同類型的機械人可以互相溝通、合作完成複雜流程,處理單一機械人無法獨力完成的工作。
讓本機模型快速適應任何機械人
許多機械人應用必須在沒有網絡延遲或互聯網連線的情況下運作。Gemini Robotics On-Device 2 專為應對這些限制而設,是我們效率最高、並為在機械人裝置上本機運行而最佳化的視覺-語言-動作模型(VLA)。
這個模型原生支援多種機械人本體,並承襲了我們從Gemini Robotics 1.5開發的先進「動作轉移」技術。現在只需數小時的適應時間,通常少於 200 個示例,便能讓模型適應新的雙臂機械人本體。即使新本體在形狀、感測器和自由度方面大不相同,這項技術仍然有效;下方展示 Dexmate、SO101 和 Trossen 平台執行多種任務的情況。
推進我們對安全、負責任機械人的承諾
安全是我們機械人研究的基礎。隨着機械人具備更多實體能力,我們致力確保端到端安全及行為一致性。每次發布,我們都採用多層次方法,結合傳統實體安全措施和穩健的 AI 安全框架。
Gemini Robotics 2 特別加強了機械人在面對真實世界的不確定性,以及與人類並肩合作時的安全能力。
我們推出ASIMOV-Agentic,這是一項用於代理式安全協調和不確定性處理的新基準測試。例如,它會衡量具身推理代理程式拒絕 VLA 不安全工具呼叫的能力;亦會評估代理程式能否預測任務是否可行,並在不確定時主動要求人類介入。
此外,憑藉加強的具身推理能力,Gemini Robotics ER 2 在遵循安全限制及人類近距離基準測試方面,是我們至今最安全的機械人模型。它能更準確地偵測附近是否有人、觸發安全工具呼叫,並在人靠得太近時令機械人安全停下。這是協作安全標準中的一項關鍵要求。詳情請參閲《Gemini Robotics 2:安全技術報告》。
邁向通用實體 AI
Gemini Robotics 2 是邁向在實體世界解決通用人工智能(AGI)道路上的重要里程碑。要釋放機械人的真正潛力,就必須超越單一任務自動化,發展通用智能。透過建構這種核心智能,我們希望讓實體世界中的 AI 能與人類協作,一同解決複雜挑戰。
探索 Gemini Robotics 2
鳴謝
這項工作由 Gemini Robotics 團隊開發:Abhijit Ogale, Abhishek Jindal, Adil Dostmohamed, Adrian Collister, Alan Thompson, Alessio Quaglino, Alex Bewley, Alex Hofer, Alex Taeho Kim, Alex X. Lee, Alex Zihao Zhu, Allen Chai, Amaris Paryag, Amit Hampaul, Amy Nommeots-Nomm, Amy Shen, Andre Araujo, Andrew Gallagher, Anirudha Majumdar, Anna Volosina, Annie S. Chen, Annie Xie, Anthony Brohan, Antoine Laurens, Arunkumar Byravan, Asaf Revach, Assaf Hurwitz Michaely, Baruch Tabanpour, Ben Moran, Benoit Landry, Bingyi Cao, Bogdan Mazoure, Brandon Hernaez, Brijen Thananjeyan, Bryan Anenberg, Caden Lu, Carl Doersch, Carolina Parada, Caroline Pantofaru, Charles Shu, Chengda Wu, Christine Chan, Christy Koh, Chuyuan Fu, Claire Cui, Clare Lee, Claudio Fantacci, Connor Schenck, David Rendleman, Deepali Jain, Demetra Brady, Dennis Li, Dhruv Shah, Dimple Vijaykumar, Dirk Ehrlich, Divya Garikapati, Dmitry Kalashnikov, Dre Mahaarachchi, Dushyant Rao, Erik Frey, Fangchen Liu, Federico Casarini, Francesco Nori, Francesco Romano, Frankie Garcia, Gabor Simko, Gautam Salhotra, Giulia Vezzani, Grace Popple, Grace Vesom, Graziano Misuraca, Guangyao Zhou, Hagen Soltau, Hanzi Mao, Hao-Tien Lewis Chiang, Harris Chan, Hila Noga, Howard Zhou, Ian Storz, Idan Lev-Yehudi, Ignacio Rocco, Inessa Konstanz, Isaac Reid, Ishita Prasad, Ivan Kapelyukh, J. Chase Kew, Jacky Liang, Jake Varley, James Susilo, Jasmine Hsu, Jerad Kirkland, Jeremy Plassmann, Jessica Lo, Jie Tan, Jimmy Yan, Jingwei Zhang, Jinyu Xie, Jose Enrique Chen, Joshua Ainslie, Joss Moore, Juanita Bawagan, Junkyung Kim, Justin Lidard, Kanishka Rao, Kathryn Quinn Shea, Kaustubh Sridhar, Keerthana Gopalakrishnan, Ken Caluwaerts, Kenneth Oslund, Khimya Khetarpal, Konstantinos Bousmalis, Krista Reymann, Krzysztof Choromanski, Ksenia Konyushkova, Kun Zhang, Kunal Aneja, Laura Graesser, Leen Verburgh, Leonard Hasenclever, Li-Heng Lin, London Chappellet-Volpini, Lucie Kerley, Maria Attarian, Maria Bauza Villalonga, Marissa Giustina, Max McCabe, Meet Kirankumar Dave, Mehdi S. M. Sajjadi, Metin Tokosz-Exley, Michael Neunert, Michael Noseworthy, Michiel Blokzijl, Miguel Rivas, Mithun George Jacob, Mitsuhiko Nakamoto, Mo Dawoud, Mohan Kumar Srirama, Mohit Sharma, Mohit Shridhar, Muinat Abdul, Murilo F. Martins, Nadav Olmert, Nathan Batchelor, Nicolas Heess, Niko Milonopoulos, Norman Di Palo, Oliver Groth, Ouais Alsharif, Padmini Copparapu, Parth Parekh, Paul Ruiz, Paul Wohlhart, Peide Huang, Peng Xu, Pengfei Xing, Peter Pastor, Petko Yotov, Phil Duffy, Philemon Brakel, Rachel Sterneck, Rajkumar Vasudeva Raju, Ravin Kumar, Razvan Surdulescu, René Wagner, Reza Sanatinia, Robert Baruch, Robert McDonald, Robert Moreno, Rohan Thakker, Roland Hafner, Ryan Doss, Sajjad Zafar, Sally Jesmonth, Sam Haves, Saminda Abeyruwan, Sandy Han Huang, Scott Crowell, Seliem El-Sayed, Sergey Yaroshenko, Sergio Martinez Abad, Serkan Cabi, Sharath Maddineni, Shuang Li, Sichun Xu, Silvia Cruciani, Skanda Koppula, Skye Yang, Soo Sung, Stefan Welker, Stefani Karp, Stefano Saliceti, Steven Hansen, Stuart Bowers, Sumeet Singh, Svetlana Grant, Takahiro Miki, Takuma Yoneda, Thomas Buschmann, Thomas Lampe, Thomas Power, Thomas Schaeff, Tim Hertweck, Tingnan Zhang, Todd McInally, Todor Davchev, Tong Zhao, Travers Rhodes, Tsang-Wei Edward Lee, Vika Koriakin, Vikas Sindhwani, Wenhao Yu, Wentao Yuan, Xiaolin Fang, Yahav Nussbaum, Ying Sheng, Ying Xu, Yuheng Kuang, Yuxiang Yang, Yuxiang Zhou
我們感謝 Jean-Baptiste Alayrac、Zoubin Ghahramani、Koray Kavukcuoglu 和 Demis Hassabis 對這項工作的領導和支持。我們亦感謝 Google 和 Google DeepMind 多個團隊的貢獻,包括法務、市場推廣、傳訊、責任與安全委員會、負責任開發與創新、政策、策略與營運,以及業務和企業發展團隊。感謝以上未有明確提及的 Robotics 團隊成員一直以來的支持和指導。最後,也感謝合作夥伴 Apptronik、Boston Dynamics 和 Agile Robots 團隊的支持。
來源:Google DeepMind · deepmind.google