Google DeepMind 發佈 Gemini Robotics ER 2,支援影片理解、任務編排與多機械人協作
Gemini Robotics ER 2: powering robotics with video understanding, task orchestration, and multi-robot collaboration
Google DeepMind 發佈 Gemini Robotics ER 2,這款面向機械人的具身推理模型可理解連續影片、編排多步任務,並支援多機械人協作。它在任務進度分類達 57.4% 準確率,關鍵時刻定位達 91.3% 準確率、平均絕對距離為 0.96s。
文章將影片進度追蹤與多機械人協作納入模型更新,並提供任務評測數據,讓讀者掌握 Gemini Robotics ER 2 的具身推理能力變化。
2026 年 7 月 30 日
|
Gemini Robotics ER 2 能以影片理解、任務協調和多機械人協作,顯著提升機械人的能力,讓它們在真實世界中提供更多協助。
Steven Hansen
資深軟件工程師
Peng Xu
軟件工程師
要讓機械人在日常環境中協助人類,準確的空間推理並不足夠。機械人亦必須思考迅速,按實體世界的即時節奏作出判斷和推理。
因此,我們今天推出 Gemini Robotics ER 2,這是我們能力最強的機械人「具身推理」模型。你可以把 Gemini Robotics ER 2 想像成機械人的高階大腦,讓機械人與人交談、理解物理世界並規劃多步驟任務,然後把動作執行交由任何指定的低階視覺-語言-動作(VLA)模型處理。Gemini Robotics ER 2 亦可原生呼叫 Google Search 等工具搜尋資料,或呼叫用戶自訂函式。Gemini Robotics ER 2 的設計讓機械人能在執行動作的同時,「思考」下一步該做甚麼。
Gemini Robotics ER 2 較Gemini Robotics ER 1.6大幅提升。透過持續觀看影片,機械人現在可追蹤自身進度、在出錯時調整做法,並準確判斷何時開始下一步。我們亦引入多機械人協作,讓機械人在共用空間中合作,完成單一機械人無法獨力處理的複雜工作流程。
Gemini Robotics ER 2 現已透過 Gemini API和 Google AI Studio向開發者公開,亦在 Gemini Enterprise Agent Platform提供私人預覽。為協助你開始使用,我們分享了範例,示範如何設定模型並編寫提示,讓它支援更多實用的實體 AI 任務。
推進實體代理能力
實體世界的大部分任務都很複雜,需要多個步驟才能完成。Gemini Robotics ER 2 是一個實體代理,可為機械人協調各個步驟,讓它自行修正錯誤,並應對更多新穎情境。要建構代理式系統,開發者可把低階控制介面(例如視覺-語言-動作(VLA)模型或導航 API)設為工具,並直接向模型串流多模態影片、音訊或文字。
Gemini Robotics ER 2 改進了這套工具協調工作流程。我們可以在模擬環境中使用真實世界機械人控制來評估它的效能,甚至可讓人遠端操控機械人,與模型配合使用。
在三種控制模式下,Gemini Robotics ER 2 的工具協調表現持續勝過 ER 1.6:真實 VLA、模擬 VLA 和人工遙距操控。
在機械人領域,高階推理能力取決於執行速度。Gemini Robotics ER 2 整合至 Gemini Live API,使用專為講求低延遲任務最佳化的雙向串流端點。結果是流暢的工作流程協調:Gemini Robotics ER 2 能指揮動作模型和機械人 API 完成多步驟任務,不會出現令人突兀的「停下來思考」停頓。
為展示這項能力,我們與合作夥伴 Spot和Boston Dynamics合作。我們使用 Gemini Robotics ER 2 協調 Spot API,例如導航和機械臂動作,製作一款互動機械人,按你的要求取回物件。
只要用自然語言下達指令,由 Gemini Robotics ER 2 驅動的 Boston Dynamics Spot 便會取來爆谷零食。
程式碼和其他範例已在 GitHub提供。
解鎖時間理解能力,可靠完成任務
機械人面對的最大挑戰之一,是判斷任務何時完成。Gemini Robotics ER 2 大幅提升影片理解和進度追蹤能力,可在轉換至下一項任務前,確認複雜任務(例如扭緊燈泡或綁好垃圾袋)已按要求完成。
這次更新改進了理解任務進度的兩項基礎能力:進度分類和時刻定位。
持續進度分類
進度分類是指機械人追蹤任務完成進度的能力。在評估中,我們把影片串流的每一格影像分為五個進度級別(0-20%、20-40%、40-60%、60-80%、80-100%)。Gemini Robotics ER 2 透過量化任務進度,讓機械人即時掌握情況,並可即場調整動作,或重試失敗步驟,無須重新開始整個工作流程。
Gemini Robotics ER 2 在進度分類任務中達到 57.4% 準確率,勝過上一代模型和其他競爭的前沿模型。
精準定位時刻
時刻定位用來衡量模型能否找出關鍵事件發生的確切影片畫格(例如何時停止把咖啡倒入杯中)。Gemini Robotics ER 2 大幅提升時刻定位效能,讓機械人能精確切換任務、確認是否成功並提出修正建議。
在時刻定位任務中,Gemini Robotics ER 2 的準確率達到 91.3%,平均絕對距離為 0.96s。它的表現媲美大得多的模型類別,但運算成本只需一小部分,執行速度則快 4x;低於一秒的延遲,正是機械人在真實世界安全運作所需。
多機械人協作
沒有一款機械人適合所有任務:輪式漫遊車擅長室內環境,人形機械人則可能更適合崎嶇地形。Gemini Robotics 2 支援多機械人協作,讓不同機器透過共享的語義理解互相溝通,交接並完成複雜任務。看看 Gemini Robotics ER 2 如何令 Apptronik的 Apollo 2和 Franka F3 Duo合作完成任務。
提升整體空間智能
Gemini Robotics ER 2 推進了我們的核心空間推理能力,並以三項基準測試衡量:
- 成功/失敗偵測:現在可分析原始影片串流,而非靜態快照,從而發現執行期間的失誤,例如溢出、滑倒或位置偏差。
- 通用儀器讀數:不再侷限於圓形錶盤和視液鏡,亦涵蓋數碼顯示屏、線性刻度、尺和液體温度計。我們以 10 種不同儀器進行測試。
- 強化空間視覺問答:透過 Gemini 在多模態理解方面的改進,提升視覺問答能力。
Gemini Robotics ER 2 在所有核心能力上持續取得最高準確率,表現突出的範疇包括成功偵測(圖像/影片)、問答(ERQA)和通用儀器讀數。
提升具身智能的安全性
Gemini Robotics ER 2 是我們最安全的模型,在安全指令遵循和人類接近度基準測試中大幅進步。這些測試評估模型在推理任務中如何遵守實體限制,以及如何透過空間感知偵測人類。我們發現,附近有人時,Gemini Robotics ER 2 能成功令一部人形機械人停下,只有在該區域清空後才會自行恢復工作。為進一步提升實體代理的安全性,我們推出一項基準測試,評估基礎模型作為安全 VLA 協調器的能力,包括執行安全限制、監察環境、評估物理可行性,以及向人類尋求澄清。詳情請參閲安全技術報告。
在安全指令遵循和人類接近度基準測試中,Gemini Robotics ER 2 勝過 ER 1.6 和其他前沿模型。
展望未來,我們計劃推動模型處理更複雜的任務,加快開發實用機械人,並支援機械人社羣。
在收件箱接收 Google 最新消息
訂閲電子通訊,接收產品更新、活動資訊、特別優惠等內容。
Google 會按照私隱權政策使用你的資料。你可隨時選擇退出。
來源:Google DeepMind · deepmind.google