Gaia2 智能體基準與 ARE 框架推出,支援複雜互動評測
Gaia2 and ARE: Empowering the community to study agents
Hugging Face 推出 Gaia2 智能體基準及 Meta Agents Research Environments(ARE)框架,用於在更複雜、接近真實情境的環境中執行、除錯和評估智能體。
Gaia2 將智能體評測從唯讀檢索擴展至含模糊指令、時間要求和環境故障的互動任務,ARE 記錄執行 traces,便於分析智能體在複雜情境中的失誤。
理想情況下,AI 智能體會是可靠的助理。收到查詢時,它們能輕鬆處理指示中的歧義,制定逐步計劃、正確找出所需資源、執行計劃時不會偏離目標,並適應突發事件,同時保持準確,避免產生幻覺。 然而,開發智能體並測試這些行為並非易事:如果你曾嘗試除錯自己的智能體,大概會知道這有多繁瑣和令人沮喪。現有評測環境與其評估的任務緊密耦合、缺乏真實世界的靈活性,也無法反映開放世界智能體混亂的現實:模擬頁面從不會載入失敗、事件不會突然出現,也沒有非同步混亂。
因此,我們非常高興推出 Gaia2,這是智能體基準 GAIA 的後續版本,讓大家能分析複雜得多的行為。Gaia2 隨開源的 Meta Agents Research Environments (ARE) 框架一同發布,可用來執行、除錯和評估智能體。ARE 模擬複雜、近似真實世界的情況,亦可自訂以進一步研究智能體行為。Gaia2 資料集採用 CC BY 4.0 授權發布,ARE 則採用 MIT 授權。
Gaia2:真實生活助理任務的智能體評測
GAIA 是於 2023 年發布的智能體基準,包含 3 個層級的資訊檢索問題,需要使用工具、瀏覽網頁和推理才能解決。短短 2 年,模型已能輕易應付最簡單的層級,社羣亦快要解決最難的問題,因此是時候推出全新、難度更高的智能體基準了!
Gaia2 是 GAIA 的後續版本,研究的能力範圍遠遠超越前作!
GAIA 是唯讀基準,Gaia2 則加入讀取和寫入能力,聚焦互動行為及複雜度管理。評估智能體時,現在不只看搜尋和檢索,也會測試它們如何遵循含糊或受時間限制的查詢指示,以及如何在帶有受控故障的嘈雜環境中應對;這比任何其他模擬環境都更貼近現實。我們希望測試智能體如何處理偶爾失效的工具或 API、如何在非常具體的時限內規劃一連串行動,以及如何適應新事件,涵蓋全新的複雜情況!
為此,我們採用以下任務組別(感謝 1000 個全新、由人類編寫的情境):
- 執行:多步驟指示遵循及工具使用(例如更新聯絡人)
- 搜尋:跨來源收集資訊(例如從 WhatsApp 找出朋友所在的城市)
- 歧義處理:釐清互相衝突的要求(例如行程安排衝突)
- 適應能力:應對模擬中的變化(例如根據後續資訊更新電郵)
- 時間/時序推理:受時間限制的行動(例如延遲 3 分鐘後才叫車)
- 智能體之間的協作:沒有直接 API 存取權時,智能體之間的通訊
- 抗噪能力:應對 API 故障和環境不穩定的能力
秉承 GAIA 的理念,這些情境不需要專門知識:理論上,人類應能取得 100% 的成績,讓模型開發者更容易除錯。
想探索這項基準?歡迎查看我們的資料集,並在這裏的示範中更直觀地瀏覽。
Gaia2 如何運作?
Gaia2 在 ARE 執行環境中運作,你選擇的智能體可存取一組應用程式及其預先填入的資料。
我們為 Gaia2 建立了智能手機模擬環境,模擬人們日常使用的情境。當中有真實世界常見的應用程式,例如訊息(電郵)、實用工具(日曆、聯絡人、購物、檔案系統等等),以及可與智能體交談的聊天介面。智能體亦可透過工具呼叫存取所有應用程式。最後,示範環境還包含模擬人物的對話及應用程式互動紀錄。
執行期間,所有智能體互動都會自動記錄為結構化追蹤資料,方便深入分析:內容包括工具呼叫、API 回應、模型思考、時間指標(例如回應延遲)、使用者互動等,而且全部都可以匯出為 JSON。
結果
作為參考,我們比較了多款大型開源和閉源模型:Llama 3.3-70B Instruct、Llama-4-Maverick、GPT-4o、Qwen3-235B-MoE、Grok-4、Kimi K2、Gemini 2.5 Pro、Claude 4 Sonnet,以及使用所有推理模式的 GPT-5。
所有模型均使用相同設定評估(為保持一致而採用統一的 ReAct 循環、temperature 為 0.5、生成上限為 16K 個 token),並按個別任務採用模型評審(Llama 3.3 Instruct 70B)或完全匹配評估。系統提示中提供全部 101 個工具(以及一般環境説明)。
在受評模型之中,截至 September 2025,整體得分最高的模型是採用高推理模式的 GPT-5,而最佳開源模型是 Kimi K2。
最佳模型在部分能力上似乎已接近解決:執行簡單工具呼叫和遵循指示(execution),以及整體的search(從 GAIA 目前的結果看來,這也在意料之中)。目前所有模型在歧義、適應能力和噪聲這幾個部分仍然面對挑戰;有趣的是,在傳統上被視為複雜智能體任務的表現(遵循指示及搜尋),並不能代表模型處理更貼近現實任務的能力。最後,現階段對所有模型而言,最難的部分是time:模型目前很難正確處理受時間限制的行動(不過,使用專用工具並改善時序推理,或許可以減輕這個問題)。論文提供了這些結果的詳細分析。
不過,我們認為評測報告不應只列原始分數:如果模型雖然答對,卻花了數千個 token 才找到正確解答,或運行了數小時,那就「不如」以快上好幾個數量級的速度成功的模型。因此,我們亦會按成本標準化分數,成本以平均 LLM 呼叫次數和輸出 token 數量衡量(兩者共同界定成本效能 Pareto 前沿)。論文亦會列出分數與金錢成本及時間的對照。
比較你喜愛的模型!在 Gaia2 上評估
如果你想在 Gaia2 上評估自己的模型,可以按照以下步驟進行:
首先,在你選用的 Python 環境(uv、conda、virtualenv 等)安裝 Meta's Agent Research Environment。
pip install meta-agents-research-environments
然後,執行所有設定的基準測試:execution、search、adaptability、time 和 ambiguity。別忘了使用 hf_upload 參數將所有結果上載至 Hub!
are-benchmark run --hf meta-agents-research-environments/Gaia2 --split validation --config CONFIGURATION --model YOUR_MODEL --model_provider YOUR_PROVIDER --agent default --max_concurrent_scenarios 2 --scenario_timeout 300 --output_dir ./monitored_test_results --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS
執行 oracle 以取得彙總分數檔案。
are-benchmark judge --hf meta-agents-research-environments/Gaia2 --split validation --config CONFIGURATION --agent default --max_concurrent_scenarios 2 --scenario_timeout 300 --output_dir ./monitored_test_results --hf_upload YOUR_HUB_DATASET_TO_SAVE_RESULTS
最後,在 README 加入模型的所有相關資訊,並在這裏分享,集中展示 Gaia2 追蹤資料!
超越 Gaia2:使用 ARE 研究你的智能體
除了基準情境,你亦可在 ARE 使用 Gaia2 的應用程式和內容,測試模型能否妥善完成較難驗證的任務,例如載入電郵、撰寫跟進訊息、在日曆新增活動或預約會議。總括而言,這是透過互動評估 AI 助理的理想環境!
你也可以輕鬆自訂環境:1) 連接自己的工具(透過 MCP 或直接連接),在環境中測試智能體;2) 實作自己的情境,包括設定觸發事件或定時事件(例如 2 分鐘後,郵件應用程式會收到聯絡人寄來的新電郵),觀察智能體如何適應不斷變化的環境。
(智能體預設為json agents,因此不會搞亂你的機器;除非你把它們連接到權限不安全的外部應用程式。新增自己的應用程式或使用不受信任的 MCP 時,請務必小心。)
以下是我們使用 ARE 的幾個例子:
- 以真實或模擬資料快速檢視任何智能體,研究各種設定,以及各自的規則、工具、內容和驗證方式
- 測試智能體的工具呼叫及協調能力,可使用本機應用程式或 MCP 工具
- 產生自己的工具呼叫追蹤資料,供微調工具呼叫模型之用
- 在統一框架中輕鬆收集及重現現有智能體基準
- 在使用者介面中即時除錯及研究智能體之間的互動
- 在嘈雜環境(例如 API 逾時及歧義)中研究模型的限制
我們錄製了 3 段影片,讓你看看其中一些應用情境(當然,我們也期待社羣發揮創意使用 ARE :hugging_face:)。影片使用上述預設示範,當中模擬了 Linda Renne 的生活;她是一名機器學習博士生。
1) 測試智能體執行簡單任務:籌辦活動
要測試預設模型籌辦活動的能力,不如一起計劃生日派對!
我們先請智能體向 Renne 家族的所有人傳訊息,通知他們使用者將於 November 7 舉辦 30 歲生日派對。預設環境的聯絡人清單有 21 人,其中 5 人是 Renne 家族成員:模擬環境的「主人」Linda、她的父母 George 和 Stephie、她的姊妹 Anna,以及她的祖父 Morgan。智能體成功查閲聯絡人清單,找出其中四位家人並向他們傳訊息。
接著,我們請智能體建立日曆邀請,並把他們加入為受邀者。智能體記得上述情境!它在正確日期建立日曆邀請,也正確加入家族成員。
你的瀏覽器不支援 video 標籤。
2) 瞭解智能體:深入追蹤資料
ARE 亦讓我們檢視智能體執行操作時留下的追蹤資料。 在左側開啟 Agent logs 工具後,我們可以看到系統提示、思維鏈、使用工具執行的多步驟操作,以及整理整齊的結果紀錄。如要離線查看,所有資料都可以匯出為 json!
你的瀏覽器不支援 video 標籤。
3) 動手擴充示範:把智能體連接到自己的 MCP
最後這個例子中,我們透過 MCP 把 ARE 連接到遠端機械臂,讓它向我們比劃,然後請智能體用機械臂揮動,回答我們的是非問題!以下就是示範效果。
你的瀏覽器不支援 video 標籤。
不過,這些例子只是非常簡單的起點,我們更期待看看你會打造甚麼!進階使用者甚至可以直接在這裏安裝並編輯 Meta-ARE 程式碼。
結語
Gaia2 和 ARE 是全新的研究工具。我們希望它們能讓任何人都更容易打造可靠、適應力強的 AI 智能體:透過輕鬆實驗,讓所有人都能進行真實世界評估,並藉由透明、可重現的基準和可除錯的追蹤資料提升信任。
我們很期待看看你會如何運用這個專案!
來源:Hugging Face Blog · huggingface.co



