跳到正文
Google DeepMind·· 2025-11-13精選AI 評分66

Google DeepMind 推出 SIMA 2:能在虛擬 3D 世界中遊玩、推理並與你一同學習的智能體

SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds

AI 導讀

Google DeepMind 推出研究智能體 SIMA 2,將 Gemini 推理能力整合至虛擬 3D 遊戲,使其能理解目標、規劃行動並與用户對話。它能將在不同遊戲中學到的概念遷移,也可透過試錯及 Gemini 回饋利用自身經驗繼續訓練,並在 Genie 3 生成的新世界中嘗試執行任務。

推薦理由

SIMA 2 結合 Gemini 推理、跨遊戲技能遷移與自生成經驗訓練,並交代長程任務、記憶和精細鍵盤滑鼠操作的限制。

正文 · 繁體中文

2025 年 11 月 13 日 研究

SIMA 團隊

去年,我們介紹了 SIMA(Scalable Instructable Multiworld Agent),這是一種通用 AI,能在各種虛擬環境中遵循基本指令。SIMA 是教導 AI 將語言轉化為豐富 3D 世界中有意義行動的重要第一步。

今天,我們介紹 SIMA 2,這是我們在研發通用且有助益的 AI 代理程式方面又一重要里程碑。透過整合 Gemini 模型的先進能力,SIMA 正從指令跟隨者演變成互動式遊戲夥伴。SIMA 2 不但能在虛擬世界遵循人類語言指令,現在亦能思考目標、與用戶交談,並隨時間自我改進。

這是邁向通用人工智能(AGI)的重要一步,對機械人技術及具身 AI 的未來發展都有重大影響。

推理的力量

第一代 SIMA 學會了在多款不同商業電子遊戲中,執行超過 600 種遵循語言指令的技能,例如「左轉」、「爬上梯子」和「打開地圖」。它像人一樣在這些環境中運作:透過「觀看」畫面,並使用虛擬鍵盤和滑鼠操作,而無須存取遊戲底層機制。

有了 SIMA 2,我們已超越單純的指令跟隨。把 Gemini 模型融入代理程式核心後,SIMA 2 不再只會回應指令,還能理解並推理指令內容。

SIMA 2 的全新架構整合 Gemini 強大的推理能力,協助它理解用戶的高層次目標、為達成目標進行複雜推理,並在遊戲中靈活執行以目標為導向的行動。

我們使用人類示範影片及其語言標籤,再配合 Gemini 生成的標籤,混合訓練 SIMA 2。因此,SIMA 2 現在能向用戶説明打算採取甚麼行動,並逐步描述為達成目標而進行的步驟。

測試中,我們發現與代理程式互動時,感覺不再像是向它下達命令,反而更像與能就眼前任務進行推理的夥伴合作。

此外,透過與現有及新加入的遊戲合作夥伴合作(詳見「鳴謝」),我們得以在更多不同遊戲中訓練和評估 SIMA 2。

這就是 Gemini 為具身 AI 帶來的能力:一個世界級推理引擎,現在能在複雜而互動的 3D 環境中感知、理解並採取行動。

泛化效能大幅提升

加入 Gemini 亦提升了泛化能力和可靠性。與前代相比,SIMA 2 現在能理解更複雜、更細膩的指令,執行成功率也高得多;尤其在從未訓練過的情境或遊戲中,例如全新的維京生存遊戲 ASKA,或 MineDojo(熱門開放世界沙盒遊戲 Minecraft 的研究實作)。

SIMA 2 能理解並完成漫長而複雜的任務

SIMA 2 能理解多模態提示

SIMA 2 能理解不同語言,甚至表情符號

此外,它能把已學概念遷移至其他情境,例如將在一款遊戲中學到的「採礦」概念應用於另一款遊戲的「收割」任務。這種能力是達成人類認知所展現的廣泛泛化能力的基礎。事實上,憑藉這項能力,SIMA 2 在各類任務中的表現已大幅接近人類玩家。

SIMA 2 能在多款遊戲(包括從未受訓的 MineDojo 和 ASKA)中泛化行動。

終極測試:在全新構想的世界中遊玩

為測試 SIMA 2 泛化能力的極限,我們把它與另一項突破性研究計劃 Genie 3 結合。該技術能根據單張圖片或文字提示,即時生成全新的 3D 模擬世界。

我們讓 SIMA 2 在這些新生成的世界中遊玩,發現即使從未接觸過這類環境,它仍能合理判斷方向、理解用戶指令,並朝目標採取有意義的行動,展現前所未有的適應能力。

邁向可擴展的多任務自我改進

SIMA 2 最令人振奮的新能力之一,是能夠自我改進。我們觀察到,在訓練過程中,SIMA 2 代理程式透過反覆嘗試及 Gemini 提供的回饋作為起點,逐漸學會執行更複雜和全新的任務。

例如,最初透過人類示範學習後,SIMA 2 能轉而在新遊戲中完全透過自主遊玩學習,即使沒有額外的人類生成資料,也能在未曾見過的世界中培養技能。在後續訓練中,SIMA 2 自身的經驗資料可用來訓練下一代能力更強的代理程式。我們甚至利用 SIMA 2 的自我改進能力,在新建立的 Genie 環境中訓練,這是朝着在多種生成世界中訓練通用代理程式邁出的重要里程碑。

SIMA 2 的自我改進循環始於 Gemini 提供初始任務,並估算 SIMA 2 行為所得的獎勵。這些資料會加入自動生成的經驗資料庫,供代理程式在往後世代中進一步訓練。整個過程讓代理程式能完全獨立於人類示範和介入,自行改進先前未能完成的任務。

這種反覆改進的良性循環,為未來鋪路:代理程式只需極少人手介入,便能學習和成長,成為具身 AI 領域中能不斷自主學習的系統。

展望未來:邁向通用具身智能

SIMA 2 能在各類遊戲環境中運作,為通用智能提供重要試驗場,讓代理程式掌握技能、練習複雜推理,並透過自主遊玩持續學習。

SIMA 2 是邁向通用、互動式具身智能的重要一步,但從根本上説,它仍是一項研究計劃;目前的限制亦突顯了未來工作的重要方向。我們發現代理程式在需要大量多步驟推理和目標驗證、時間跨度極長且非常複雜的任務上仍面對挑戰。SIMA 2 的互動記憶亦相對短暫,因為為了達致低延遲互動,它必須使用有限的上下文視窗。最後,透過鍵盤和滑鼠介面精準執行低層次動作,以及可靠理解複雜 3D 場景,仍是整個領域持續努力解決的難題。

這項研究為以行動為導向的 AI 新方向提供了基礎驗證。SIMA 2 證實,接受廣泛能力訓練的 AI,若運用多世界資料和 Gemini 強大的推理能力,便能成功把多個專用系統的能力整合到同一個連貫的通用代理程式中。

SIMA 2 亦為機械人應用帶來一條具潛力的發展路徑。它學會的技能——從導航、工具使用到協作執行任務——都是實現具身智能的基本組件,未來可用於實體世界中的 AI 助理。

負責任的開發

SIMA 2 是一個以人為本的互動式代理程式,使用體驗有趣,尤其是它能以生動方式解釋自身推理。與我們所有先進及基礎技術一樣,我們從一開始便致力負責任地開發 SIMA 2。其技術創新,尤其是自我改進能力,更是我們重視的範疇。

開發 SIMA 2 時,我們與 Responsible Development & Innovation Team 合作。為繼續探索其潛在應用,我們宣佈以有限研究預覽形式推出 SIMA 2,並向小批學者和遊戲開發者提供早期存取。這種做法讓我們在探索這個新領域、持續瞭解相關風險及適當緩解方法時,收集重要意見和跨學科觀點。我們期待繼續與社羣合作,以負責任的方式開發這項技術。

進一步瞭解 SIMA

鳴謝

本研究由 SIMA 2 團隊開發,成員包括:Maria Abi Raad、John Agapiou、Frederic Besse、Andrew Bolt、Sarah Chakera、Harris Chan、Jeff Clune、Alexandra Cordell、Martin Engelcke、Ryan Faulkner、Maxime Gazeau、Arne Olav Hallingstad、Tim Harley、Ed Hirst、Drew Hudson、Laura Kampis、Sheleem Kashem、Thomas Keck、Matija Kecman、Oscar Knagg、Alexander Lerchner、Bonnie Li、Yulan Liu、Cong Lu、Maria Loks-Thompson、Joseph Marino、Kay McKinney、Piermaria Mendolicchio、Anna Mitenkova、Alexandre Moufarek、Fabio Pardo、Ollie Purkiss、David Reichert、John Reid、Tyson Roberts、Daniel P. Sawyer、Tim Scholtes、Daniel Slater、Hubert Soyer、Kaustubh Sridhar、Peter Stys、Tayfun Terzi、Davide Vercelli、Bojan Vujatovic、Jane X. Wang、Luyu Wang、Duncan Williams 和 Lei M. Zhang。

感謝以下人士的領導、指導和支援:Satinder Singh Baveja、Adrian Bolton、Zoubin Ghahramani、Raia Hadsell、Demis Hassabis、Shane Legg、Volodymyr Mnih 和 Daan Wierstra。

亦衷心感謝曾作部分貢獻的成員和前團隊成員:Alex Cullum、Karol Gregor、Rosemary Ke、Junkyung Kim、Matthew Jackson、Andrew Lampinen、Loic Matthey、Hannah Openshaw 和 Zhengdong Wang。

特別感謝所有與我們合作的遊戲開發者:Coffee Stain(Valheim, Satisfactory, Goat Simulator 3), Foulball Hangover(Hydroneer), Hello Games(No Man's Sky), Keen Software House(Space Engineers), RubberbandGames(Wobbly Life), Strange Loop Games(Eco), Thunderful Games(ASKA, The Gunk, Steamworld Build)、Digixart(Road 96),以及 Tuxedo Labs & Saber Interactive(Teardown).

感謝 Vika Koriakin、Duncan Smith、Nilesh Ray、Matt Miller、Leen Verburgh、Ashyana Kachra、Phil Esposito、Dimple Vijaykumar、Piers Wingfield 和 Lucie Kerley,感謝他們在開發和改良本項目關鍵組件時提供寶貴合作。

我們亦感謝 Jack Parker-Holder、Shlomi Fruchter 及 Genie 團隊其他成員,讓我們能使用 Genie 3 模型。

我們謹向 Google 和 Google DeepMind 眾多參與此項工作的團隊致謝,包括法律、市場推廣、傳訊、責任與安全委員會、負責任開發與創新、政策、策略與營運,以及商業與企業發展團隊。我們亦感謝所有未有在此逐一列出的 GDM 團隊一直以來的支持。

最後,我們謹以此研究紀念同事 Felix Hill 和 Fabio Pardo;他們對本領域的貢獻至今仍啟發着我們。

來源:Google DeepMind · deepmind.google