跳到正文
Hugging Face Blog·· 9 天前精選AI 評分61

Tether AI Research 介紹 BotPsy:0.8B 參數端側個人助理智能體模型

BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model

AI 導讀

Tether AI Research 介紹 BotPsy,一款基於 Qwen3.5-0.8B、面向工具調用和智能體工作流的 0.8B 參數端側個人助理模型。在六項工具使用及智能體基準中,它勝過所有受測 ≤1.2B 模型,並在五項基準高於 2.5 倍大小的 Qwen3.5-2B-Think;Claw-Eval 則由後者領先。

推薦理由

文章以六項工具使用基準比較 BotPsy 與同級及較大模型,並列出多輪任務、推理效率和安全限制,呈現小型端側智能體的能力範圍。

正文 · 繁體中文

頂尖雲端 LLM 的營運成本高昂,而且可能出現難以預料的波動;依賴這類第三方模型亦會帶來風險,因為供應商可隨時修改、拒絕或停止提供存取權。此外,專有模型在配合特定工作流程方面的自訂空間有限,同時亦會帶來私隱、數據控制權及透明度方面的風險。再者,並非每項任務都需要頂尖級別的智能:小型專用 Agent 在特定任務上同樣可以勝任,而且運行成本低得多,因為許多日常或規模較小的工作負載都可在裝置上高效處理。隨着每個參數所代表的智能水平持續迅速提升,我們致力於走在這股轉向高效能、注重私隱及自行託管模型的趨勢前沿。

Tether AI Research 推出 BotPsy,一個擁有 0.8B 個參數的模型 推出 BotPsy,一個擁有 0.8B 個參數的模型,專為函數呼叫及 Agent 工作流程而設,基於 Qwen3.5-0.8B 構建,適合在裝置上部署。BotPsy 是一款「個人助理」,會使用工具為用戶執行各種簡單任務,涵蓋網頁搜尋及研究、旅遊及生活、商務及金融、商業及客戶營運、裝置及車輛控制、檔案及文件、日曆,以及電郵及訊息等範疇。由於參數量較少,它最適合處理難度較低至中等的任務。以其規模而言,BotPsy 在工具使用及 Agent 能力表現方面達到最先進水平(SOTA),在我們測試的所有參數量不超過 1.2B 的模型中表現最佳(圖 1 及圖 2)。BotPsy 專為安全的裝置端工作流程而設,在保障用戶資料私隱的同時,提供出色的指令遵循可靠性及效率。作為小型模型,BotPsy 仍會出錯,並不適用於攸關重大利益的用途;詳情請參閲預期用途及限制。

🤗 模型(safetensors)  |  📦 GGUF(bf16、Q8、Q4)

Bar chart of tool-use and agentic benchmark scores for BotPsy-0.8B and four comparison models
圖 1:BotPsy-0.8B 的表現遠勝其基礎模型,並在六項工具使用及 Agent 基準測試中有五項排名領先,包括勝過規模為其 2.5 倍的 Qwen3.5-2B-Think;只有在 Claw-Eval 上,Qwen3.5-2B-Think 稍勝一籌。
Bar chart of knowledge and instruction-following benchmark scores for BotPsy-0.8B and four comparison models
圖 2:知識:與參數量相近的模型相比,工具使用訓練保留並提升了 BotPsy 的一般知識,但整體知識水平仍主要隨參數量增加而提升。指令遵循:BotPsy 擅長遵循明確指令及處理多輪任務,但隨着指令累積,其表現會下降,在低資源語言上的表現亦較弱。

版權投訴

如收到侵犯版權的通知,我們會採取適當行動。如果你認為自己的作品遭人以侵犯知識產權的方式使用或複製,請電郵至 data-apps@tether.io,指出並描述相關版權作品及涉嫌侵權的內容,以提交侵權通知。

主要亮點

基準測試結果

  • 表現是基礎模型的兩倍:在重要基準測試中,BotPsy 的 Agent 能力大致是 Qwen3.5-0.8B-Think 的兩倍:BFCL v4 從 23.4 升至 44.0,ACEBench 從 30.1 升至 58.7,而 τ-bench 從 23.2 升至 51.5(零售、電訊及銀行子集的平均值)。
  • 同類別中表現最佳的 Agent:BotPsy 在所有六項工具使用及 Agent 基準測試中,均優於 ≤1.2B 參數量級的領先模型(Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think、MiniCPM5-1B-Think):BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus。
  • 表現優於同系列較大型模型:BotPsy 在六項基準測試中的五項取得所有受測模型中的最高分,並在 BFCL v4(44.0 對 37.7)、ACEBench(58.7 對 55.4)、τ-bench(51.5 對 46.5)、ToolSandbox(64.6 對 41.2)和 BrowseComp-Plus(4.5 對 2.8)中擊敗體積是它 2.5× 的 Qwen3.5-2B-Think。只有在 Claw-Eval 中,Qwen3.5-2B-Think 領先(48.9 對 46.5)。

模型能力

  • 多輪工作流程更可靠:在 τ²-bench 中,Agent 必須與客戶進行長時間對話、遵守嚴格政策,並代客戶採取行動;BotPsy 在電訊領域取得 82.5 分,高於 Qwen3.5-2B-Think(69.3)。在 BFCL v4 的多輪任務中,BotPsy 的分數由基礎模型的 7.5 升至 46.1,接近 Qwen3.5-2B-Think(23.8)的兩倍。按應用領域分類,BotPsy 在商業與服務(58.3;次高分為 Qwen3.5-2B-Think 的 47.4)以及裝置與系統管理(46.1 對 31.9)中的多步驟任務得分,均領先所有受測模型。
  • 懂得何時(不)調用工具:能夠採取行動的 Agent,也必須懂得何時不應採取行動。在 BFCL v4 的幻覺測試中,模型在沒有合適工具時須拒絕執行;BotPsy 得分 86.1,為所有受測模型中最高。在 ACEBench 的特殊情況中,當請求不完整、包含錯誤參數,或無法透過提供的工具處理時,BotPsy 得分 51.3,高於其基礎模型的 13.7。
  • 遵循指示,同時保留知識:BotPsy 專注於工具使用,同時保留一般技能。指示遵循能力大幅提升:IFEval 由 59.7 升至 90.8,IFBench 由 22.0 升至 55.9,後者是所有受測模型中的最高分。一般知識亦有所提升:GPQA Diamond 由 33.2 升至 38.1,MMLU-Pro 則由 41.6 升至 48.9。在全部四項基準測試中,BotPsy 的表現均優於我們測試的所有其他 1.2B 或以下參數模型。

安全性、效率與部署

  • 比同類別的領先模型更安全:在涵蓋六類有害內容的自動化紅隊測試中,BotPsy 產生不安全回應的比例為 21%,低於其基礎模型的 36%。在所有參數量不超過 1.2B 的模型中,這是最低比例(LFM2.5-1.2B-Think:35%;MiniCPM5-1B-Think:47%)。在提示詞注入攻擊下,對於會讀取不可信工具輸出的 Agent 而言,這類攻擊尤其重要;BotPsy 的不安全回應比例由基礎模型的 46% 降至 31%。
  • 推理效率更高,重複循環更少:在五個模型都答對的問題中,BotPsy 得出答案所需的推理 token,較其基礎模型少約 3 倍(GPQA Diamond:3,690 對 11,563),在 MMLU-Pro 則少 2.7 倍(1,912 對 5,105)。在所有 IFBench 嘗試中,陷入重複推理循環的比例由 22.9% 降至 1.4%;觸及 32k-token 上限的運行次數,則由 28.3% 降至 0.2%。更簡短、更果斷的推理應可降低裝置端延遲。
    • 開源並可即時使用:BotPsy 將以開放權重形式發布,並採用 Apache 2.0 授權,供研究及教育用途。模型將提供三種精度(bf16、Q8、Q4),格式包括 Hugging Face safetensors,以及供 QVAC SDK 和 llama.cpp 使用的 GGUF 檔案。

更廣闊的願景

以 BotPsy 為基礎,Tether Data, S.A. de C.V.(「Tether AI Research」、「我們」)未來將致力擴展裝置端的 Agent 能力,無縫整合更多種類的硬件及本地服務。Tether 的 Hypersearch 將逐步支援更穩健的去中心化點對點(P2P)查詢,進一步確保私密、加密的網頁搜尋能繞過企業追蹤器。QVAC Fabric 的本地微調機制將會優化,以更深入地適應個別用戶的偏好、工作流程及專用工具環境。未來版本將可讓智能手機介面在離線與線上狀態切換期間,順暢地把繁重的運算工作交由家用電腦或可信賴的安全 P2P 節點處理。私隱協定將持續加強,確保所有個人資料、憑證及決策嚴格保留在本地硬件上。我們亦會推出協作功能,讓 Agent 能在可信賴的本地網絡中安全地互相通訊,同時保障用戶保密性。這些進展最終將使 BotPsy 成為一個全自主、功能強大的個人 AI 生態系統,讓用戶完全掌控自己的數碼生活。

方法

BotPsy 以 Qwen3.5-0.8B 為基礎,並經過四個連續階段的後訓練:監督式微調(SFT)、多教師同策略蒸餾(MOPD),以及兩輪強化學習(RL)。每個階段均以前一階段的最佳檢查點作為起點,並採用不同的學習訊號:模仿參考軌跡、採用規模大得多的教師模型的 token 分佈,以及基於規則的工具呼叫獎勵(見圖 3)。

Diagram of the four-stage BotPsy training recipe
圖 3:BotPsy 的訓練方案。學生模型會經歷四個階段。三個專門的 Qwen3.5-4B 教師模型各自經 RL 訓練,專精於一項技能,並在蒸餾階段為學生模型提供指導。

訓練流程:四個階段,三種回饋

我們採用四個訓練階段,從三種訊號中學習:示範、專門教師模型及可驗證獎勵。

從示範中學習(SFT)

首先,我們對工具使用對話進行全參數監督式微調。這些對話包括來自模擬環境的多輪 Agent 軌跡、重播的單次、並行及多步呼叫,以及不應呼叫任何工具的情況。

從教師模型中學習(MOPD)

接下來,我們以同策略蒸餾(OPD)訓練學生模型:學生模型自行生成回應,專門教師模型則對每個 token 提供回饋,並以逐 token 反向 KL 散度作為訓練訊號。為建立教師模型,我們先以 RL 訓練三個 Qwen3.5-4B 模型,分別專精於工具使用、一般推理及遵循指令。訓練期間,每個提示詞都會路由至其中一個教師模型。此階段的主要目標,是恢復在 SFT 階段有所退步的知識及遵循指令能力,不過工具使用指標亦有所提升(見圖 4)。

Line chart of mean tool-use, instruction-following and knowledge scores after each training stage
圖 4:各訓練階段完成後,每個能力組別的平均分數。SFT 提升工具使用能力,但令知識和指令遵循表現低於基礎模型;蒸餾使兩者回升至基礎模型以上,而 RL 階段則進一步提升這三方面的表現。

從規則與環境中學習(RL 階段)

最後,模型使用 DAPO [1] 進行強化學習訓練,只從根據規則和驗證器計算得出的獎勵中學習。第一輪訓練主要針對工具呼叫,並加入指令遵循及 STEM 選擇題。與 Tool-N1 [2] 一樣,工具呼叫獎勵會先檢查推理和工具呼叫格式。不過,這裏沒有採用 Tool-N1 的二元正確性獎勵,而是借鑑 ToolRL [3] 的做法,提供細緻的部分分數,將預測的工具名稱、引數名稱和引數值與標準答案比對。

第二輪訓練將數據組合擴展至通用領域的可驗證任務:數學、程式碼、知識(選擇題)、指令遵循、結構化輸出,以及在模擬工作環境中多步驟使用工具。雖然這組數據不包含多輪對話,卻進一步提升了多輪函數呼叫能力。

數據組成

每個訓練階段採用不同的數據組合(圖 5)。SFT 階段主要集中於工具使用,為後續階段奠定基礎。MOPD 數據組合結合工具使用、知識和指令遵循數據,既進一步提升函數呼叫能力,也彌補 SFT 階段後通用領域表現的退步。第一個 RL 階段再次主要集中於工具使用;第二個 RL 階段則將重心轉向通用領域數據(指令遵循、知識、數學和程式碼),同時保留較小比例的工具使用數據。

Stacked bar chart of the training-data mix for each of the four stages
圖 5:各階段訓練數據的大約組成,按能力分類。

結果

工具使用與amp; Agent

BotPsy 的工具使用表現約為其基礎模型 Qwen3.5-0.8B 的兩倍,並在六個 Agent 基準測試中的五個排名五個模型之首:BFCL v4(44.0 對 23.4)、ACEBench(58.7 對 30.1)、τ-bench(51.5 對 23.2)、BrowseComp-Plus(4.5 對 1.9)和 ToolSandbox(64.6 對 30.5)。在這五項基準測試中,它的表現也勝過體積是其 2.5× 的模型 Qwen3.5-2B-Think(分別為 37.7、55.4、46.5、2.8 和 41.2;見表 1)。在 Claw-Eval 上,Qwen3.5-2B-Think 則領先(48.9 對 46.5)。

基準測試 BotPsy-0.8B
我們的
Qwen3.5-0.8B-Think
基礎模型 · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
BFCL v4¹ 44.0 23.4 37.7 28.1 22.8
ACEBench² 58.7 30.1 55.4 39.4 24.5
τ-bench³ 51.5 23.2 46.5 6.5 28.8
Claw-Eval⁴ 46.5 39.3 48.9 31.6 31.0
BrowseComp-Plus⁵ 4.5 1.9 2.8 0.2 0.8
ToolSandbox⁶ 64.6 30.5 41.2 45.7 28.1
平均 45.0 24.7 38.8 25.3 22.7

表 1:工具使用及 Agent 基準測試(0–100,分數越高越好)。每行最高分以粗體標示,第二高分則加底線;倍數表示相對於 BotPsy-0.8B 的參數量。平均分數為六項基準測試的未加權平均值。評估設定詳情請參閲評估註腳。

知識

工具使用訓練並未犧牲一般知識:GPQA Diamond 得分由 33.2 升至 38.1,MMLU-Pro 則由 41.6 升至 48.9,是參數量不超過 1.2B 的模型中最佳的成績(LFM2.5-1.2B-Think:35.0 和 39.4;MiniCPM5-1B-Think:15.8 和 40.0)。知識水平仍主要隨參數量增加而提升,而 Qwen3.5-2B-Think 的得分明顯更高(59.9 和 65.5)。因此,BotPsy 的設計目標是為它不知道的事實呼叫工具,而非充當知識模型。

基準測試 BotPsy-0.8B
我們的
Qwen3.5-0.8B-Think
基礎 · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
GPQA Diamond⁷ 38.1 33.2 59.9 35.0 15.8
MMLU-Pro⁸ 48.9 41.6 65.5 39.4 40.0

表 2:一般知識基準測試(0–100,越高越好)。每行最高分以粗體顯示,次高分加底線。評估設定詳情請參閲評估註腳。

指令遵循

在遵循明確指令方面,BotPsy 的表現是五個模型中最佳:IFEval 得分為 90.8(基礎模型為 59.7;Qwen3.5-2B-Think 為 80.0),IFBench 得分為 55.9(基礎模型為 22.0;Qwen3.5-2B-Think 為 40.9)。在測試八種語言中跨三輪指令遵循能力的 Multi-IF 上,它得分 67.2,與 Qwen3.5-2B-Think(66.9)和 LFM2.5-1.2B-Think(68.2)相若。它在第一輪表現最強(84.3,是五個模型中最高),但隨着指令累積,分數下降得較快(第三輪為 51.0,而上述兩個模型分別為 56.5 和 56.2)。資源較少的語言仍是弱項:印地語(24.5)和俄語(57.6)的得分遠低於英文、中文、法文、西班牙文、意大利文和葡萄牙文的 72–80。

基準測試 BotPsy-0.8B
我們的
Qwen3.5-0.8B-Think
基礎 · 1×
Qwen3.5-2B-Think
2.5×
LFM2.5-1.2B-Think
1.5×
MiniCPM5-1B-Think
1.25×
IFEval⁹ 90.8 59.7 80.0 85.6 78.4
IFBench⁹ 55.9 22.0 40.9 33.9 40.6
Multi-IF¹⁰ 67.2 43.2 66.9 68.2 53.4

表 3:指令遵循基準測試(0–100,越高越好)。每行最高分以粗體顯示,次高分加底線。評估設定詳情請參閲評估註腳。

多輪對話

最大的相對提升出現在多輪、有狀態的互動中;在五項多輪基準測試中,BotPsy 有四項領先(圖 6)。在 BFCL v4 多輪測試中,它的得分由 7.5 升至 46.1,接近 Qwen3.5-2B-Think(23.8)的兩倍;在 ACEBench Agent 測試中,則由 7.9 升至 28.3(Qwen3.5-2B-Think:16.2)。在 τ²-bench 零售項目中,它的得分是基礎模型的兩倍(67.8 對 33.9),並以些微優勢領先得分為 65.5 的 Qwen3.5-2B-Think;在電訊項目中,它得分 82.5。該項目要求 Agent 透過多輪對話引導用戶排解問題(MiniCPM5-1B-Think:74.0;Qwen3.5-2B-Think:69.3)。在單次呼叫方面,它也是五個模型中最可靠的(BFCL non-live:83.0);在沒有合適工具時不呼叫工具方面亦然(BFCL hallucination:86.1)。

Bar chart of multi-turn agentic benchmark scores for BotPsy-0.8B and four comparison models
圖 6:多輪 Agent 任務:BFCL v4 多輪、ACEBench Agent、τ²-bench(零售、電訊)及 τ³-bench(銀行)。BotPsy 在五項基準測試中有四項領先;在 τ³-banking 中,所有模型的得分均低於 5。

弱項

BotPsy較弱的環節包括開放式搜尋,以及 Qwen3.5-2B-Think 仍然領先的少數項目。BotPsy在 BrowseComp-Plus 的得分為 4.5,是五個模型中最高的,但絕對分數仍然偏低;在 BFCL 的網頁搜尋(14.0)和記憶(16.3)項目中,BotPsy則落後於 Qwen3.5-2B-Think(分別為 19.8 和 26.1)。在 Claw-Eval 上,BotPsy的表現明顯優於基礎模型(46.5 對 39.3),但仍略低於 Qwen3.5-2B-Think(48.9)。在 ACEBench 的特殊情況(請求不完整或有錯誤)中,Qwen3.5-2B-Think 同樣領先(58.0 對 51.3),不過 BotPsy在這方面遠勝其基礎模型(13.7)。τ³-banking 是唯一一項 BotPsy未能領先的多輪基準測試:沒有模型得分高於 5(BotPsy為 4.1,與其基礎模型相同;Qwen3.5-2B-Think 為 4.8)。

按應用程式組別劃分的表現

BotPsy能夠處理多種用例和場景。圖 7 按應用程式組別細分基準測試場景,並將簡單場景(單輪、一次工具呼叫)與複雜場景(多輪或多工具)分開。本節所列的整體分數是所有場景的平均值;圖 7 最底一行則是七個組別的非加權平均,因此數字有所不同。

單次工具呼叫在各方面都表現良好

在樣本數足夠的每個應用程式組別中,簡單場景的得分均為 70–79(Communication & Social 只有 6 個場景)。整體而言,BotPsy得分為 75,比其基礎模型(54)高約 21 分,亦略高於 Qwen3.5-2B-Think(70)。

Horizontal bar chart of per-app-group scores for simple and complex scenarios across five models
圖 7:按應用程式組別劃分的每個場景平均分數(0–100,越高越好),簡單場景(左)和複雜場景(右)分開列出。n 表示各組別中簡單/複雜場景的數量;最底一行是七個組別的非加權平均。

多步驟任務的提升幅度最大

在複雜場景中,BotPsy的整體得分為 39.5,高於其基礎模型的 17.9 和 Qwen3.5-2B-Think 的 30.8。Communication & Social(61 對基礎模型的 13)、Commerce & Services(58 對 27),以及 Device & System Management(46 對 15)的提升幅度最大。Qwen3.5-2B-Think 只有在 Personal Productivity & Work 領先(64 對 58,共 38 個場景,主要來自 Claw-Eval);而 MiniCPM5-1B-Think 在 Communication & Social 略為領先(61.5 對 60.5)。多步驟任務的得分仍低於單次呼叫,這仍是處理較難任務的主要限制。

多步驟資訊檢索是較弱的一環

複雜的 Information Retrieval & Research 場景得分為 15(單次呼叫:79)。大部分場景都是 BrowseComp-Plus 的深度研究問題,對這個規模範圍內的所有模型而言仍然困難(基礎模型:9;Qwen3.5-2B-Think:14)。

推理效率

BotPsy以遠少於其基礎模型的推理量得出正確答案,並在多輪 Agent 任務中以較少輪次完成任務。這與我們在整個訓練過程中明確注重推理效率的方向一致。以下所有比較均採用相同的問題或任務(即五個模型全部答對或完成的項目),因此數字差異並非由難度不同所致。推理 token 按各模型自身的 tokenizer 計算。

Scatter plots of accuracy against reasoning tokens per correct answer on four benchmarks
圖 8:GPQA Diamond、MMLU-Pro、IFEval 和 IFBench 的準確率與每個正確答案所需推理 token 數量的比較。token 數量以五個模型全部答對的問題計算;準確率則以所有問題計算。左上方代表較佳表現;虛線為帕累托前沿。

推理內容更短,準確度更高。與其基礎模型相比,BotPsy 在 GPQA Diamond(3,690 對 11,563)、MMLU-Pro(1,912 對 5,105)、IFEval(3,148 對 4,433)及 IFBench(4,204 對 11,576)上,每個正確答案所需的推理 token 少 1.4–3.1 倍,同時在四項基準上的得分均較高(圖 8)。不過,BotPsy 並非在所有基準上都是推理內容最短的模型:LFM2.5-1.2B-Think 在 MMLU-Pro、IFEval 及 IFBench 上生成的推理內容較短,而 MiniCPM5-1B-Think 在 IFEval 及 IFBench 上生成的推理內容較短,但兩者在各項基準上的準確度都低於 BotPsy。

Scatter plots of pass rate against assistant turns per solved task on tau2-bench retail and telecom
圖 9:在 τ²-bench 零售及電訊任務中,通過率與每項已解決任務所需助理回合數的比較。回合數以五個模型均能完成的任務計算;通過率則以所有任務計算。越靠左上越好;虛線為帕累托前沿。

在多輪 Agent 任務中,所需回合數少於基礎模型。在五個模型均能完成的 τ²-bench 任務中,BotPsy 所需的助理回合數少於其基礎模型(圖 9):

  • τ²-retail:10.7 回合;基礎模型為 11.7 回合(少 9%),Qwen3.5-2B-Think 則為 10.6 回合。
  • τ²-telecom:13.1 回合;基礎模型為 17.6 回合(少 26%),Qwen3.5-2B-Think 則為 13.8 回合(少 5%)。

與此同時,BotPsy 通過的任務數分別是基礎模型的 2.0 倍(零售)及 2.6 倍(電訊)。MiniCPM5-1B-Think 在零售任務中所需回合數較少(8.7 回合),但只通過 9.9% 的零售任務。

預期用途及限制

BotPsy 的開發旨在推動技術發展,並支援研究及教育用途。以本研究為基礎開發的模型,或適用於多個領域的任務,例如裝置及系統管理(設定、檔案及文件、時鐘及鬧鐘)、個人效率及工作(日曆及任務、電郵、協作工具)、通訊(訊息)、資訊檢索及研究(網頁搜尋、天氣、新聞)、媒體及生活方式(影片、音樂、食譜及健身、相片),以及商業及服務(地圖及旅遊、金融、購物及送貨)。由於參數量較少,BotPsy最適合處理低至中等難度的任務。

BotPsy 主要以英文訓練及測試,建議使用英文。它亦曾在涵蓋另外七種語言(中文、法文、印地文、意大利文、葡萄牙文、俄文及西班牙文)的 Multi-IF 上接受評估:它在大部分語言上的表現良好,但在印地文及俄文上的得分低得多。BotPsy 是小型語言模型,可能會出錯。它不適用於攸關安全或影響重大的自動化決策,亦不適用於涉及金錢、個人資料、健康及其他敏感議題的應用。

引用

@misc{botpsy2026,
  title  = {BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model},
  author = {{Tether Data, S.A. de C.V. d.b.a. Tether AI Research}},
  year   = {2026},
  note   = {Hugging Face blog}
}

參考資料

[1] Yu, Qiying, et al. "DAPO:大規模開源 LLM 強化學習系統。" Advances in Neural Information Processing Systems 38 (2025): 113222–113244。

[2] Zhang, Shaokun, et al. "Nemotron-Research-Tool-N1:以強化推理探索使用工具的語言模型。" International Conference on Learning Representations (2026)。

[3] Qian, Cheng, et al. "ToolRL:工具學習所需的只有獎勵。" Advances in Neural Information Processing Systems 38 (2025)。

評估註腳

  • 所有分數均以百分比表示(越高越好)。
  • 所有模型均在思考(推理)模式下接受評估。
  • 所有使用外部 API 的基準測試均於 November 3, 2026 進行。
  • ¹ BFCL v4:整體分數按官方加權公式計算(智能體 40%、多輪 30%、即時 10%、非即時 10%、幻覺 10%),取 3 次執行的平均值。
  • ² ACEBench:整體準確率。所有模型均以函數呼叫(FC)模式進行評估;取 2 次執行的平均值。
  • ³ τ-bench:τ²-bench(零售、電訊)及 τ³-bench(銀行業)的平均值,不包括航空業;取 3 次執行的平均值。
  • ⁴ Claw-Eval:官方平均任務分數,每項任務的分數為安全性 ×(0.8 × 完成度 + 0.2 × 穩健性);取 3 次執行的平均值。
  • ⁵ BrowseComp-Plus:準確率;所有模型最多執行 30 個步驟。
  • ⁶ ToolSandbox:8 個設定的平均相似度分數。
  • ⁷ GPQA Diamond:全部 198 條問題的準確率,取 3 次執行的平均值,並啟用思考。
  • ⁸ MMLU-Pro:準確率。
  • ⁹ IFEval、IFBench:提示詞層級的嚴格準確率。
  • ¹⁰ Multi-IF:取 3 次執行的平均值。

來源:Hugging Face Blog · huggingface.co