跳到正文
Hugging Face Blog·· 2026-06-17精選AI 評分78

GLM-5.2 發佈,最大上下文擴至 1M tokens並提升長程任務能力

GLM-5.2: Built for Long-Horizon Tasks

AI 導讀

GLM-5.2 發佈,將最大上下文長度由 200K 擴至 1M tokens,並強化長程任務與編碼能力。它在 Terminal-Bench 2.1 和 SWE-bench Pro 分別取得 81.0、62.1,高於 GLM-5.1 的 63.5、58.4。

推薦理由

文章並列長程編碼基準成績與 IndexShare、MTP 的效率改動,讓讀者可對照模型性能數據和 1M-token 上下文的工程支撐。

正文 · 繁體中文

我們推出 GLM-5.2,這是最新旗艦模型,專為長程任務而設。與上一代 GLM-5.1 相比,長程任務能力大幅躍進;而且首次在穩定的 1M-token 上下文中提供這種能力。GLM-5.2 的新功能包括:

  • 穩定的 1M 上下文:穩定支援長程工作的 1M-token 上下文
  • 進階程式編寫與彈性 effort 控制:提升程式編寫能力,並提供多種思考 effort 等級,以平衡效能和延遲
  • 改良架構:我們提出 IndexShare,讓每四個稀疏注意力層重用同一個 indexer,在 1M 上下文長度下,每個 token 的 FLOPs 減少 2.9×。我們亦改良 GLM-5.2 的 MTP 層以支援推測解碼,接受長度最多增加 20%
  • 完全開放:採用 MIT 開源授權,不設地區限制,技術存取不受地域阻隔

支援長程任務,首先要令長上下文在工程工作中真正可用:模型必須在冗長、混亂的 coding-agent 執行軌跡中維持品質,而不只是接收更多 token。宣稱支援 1M 上下文很容易,但要在真實工程壓力下保持可靠則困難得多。為此,我們大幅擴充 coding-agent 情境的 1M 上下文訓練,涵蓋大型實作、自動化研究、效能最佳化和複雜除錯。最終打造的長上下文系統不只涵蓋範圍廣,執行亦穩健,可作為持續工程工作的實用基礎。

GLM-5.2 在三項長程程式編寫基準測試中的表現,反映了這項能力。FrontierSWE 評估 agent 能否完成需時數小時至數十小時的開放式技術專案,涵蓋系統最佳化、大型程式碼建構和應用機器學習研究。在這項基準測試中,GLM-5.2 只落後 Opus 4.8 1%,並以 1% 和 11% 的差距分別領先 GPT-5.5 和 Opus 4.7。PostTrainBench 會為每個 agent 配備 H100 GPU,並評估其透過後訓練改善小型模型的能力;GLM-5.2 勝過 Opus 4.7 和 GPT-5.5,排名僅次於 Opus 4.8。至於涵蓋建構編譯器、最佳化核心和開發正式環境服務等任務的超長程軟件工程基準測試 SWE-Marathon,GLM-5.2 仍有進步空間,落後 Opus 4.8 13%,但依然只排在 Opus 系列之後。三項基準測試中,GLM-5.2 均是排名最高的開源模型,顯示其 1M 上下文已轉化為實際長程交付能力。

figure1

在標準程式編寫基準測試中,GLM-5.2 是最強的開源模型,表現大幅超越 GLM-5.1:Terminal-Bench 2.1 得分為 81.0 對 63.5,SWE-bench Pro 則為 62.1 對 58.4。它亦大幅縮小與封閉模型前沿的差距:在 Terminal-Bench 2.1 上得分 81.0,僅比 Claude Opus 4.8 的 85.0 低幾分;同時仍領先 Gemini 3.1 Pro。

figure2

GLM-5.2 亦加入 effort 等級控制,讓使用者明確平衡模型能力、任務執行速度和運算成本。如圖所示,在 token 預算相若的情況下,GLM-5.2 的 agentic 程式編寫效能大幅高於 GLM-5.1;在 token 用量相近時,其能力大致介乎 Claude Opus 4.7 和 Claude Opus 4.8 之間。此外,遇到具挑戰性的任務而需要更高效能時,Max effort 等級可讓使用者分配更多運算資源,進一步提升模型的程式編寫能力。此設計令使用者在不同情境下可選擇最合適的推理模式,使用 GLM-5.2 編寫程式時更具彈性。

figure3

1M 上下文架構

figure4

用於 DSA 的 IndexShare

為支援 1M 上下文長度,GLM-5.2 使用 IndexShare 降低 DSA 中 indexer 的運算成本。具體而言,GLM-5.2 每 4 個 transformer 層共用一個輕量 indexer。Indexer 放在 4 層中的第一層,topk indices 則供 4 層使用。這令 3/4 層的 indexer dot product 和 topk 運算量減少。GLM-5.2 從中期訓練階段起便以 IndexShare 和 128K 序列長度訓練,在長上下文基準測試中以較少運算量勝過 GLM-5.1。

結合 IndexShare 和 KVShare 的 MTP

我們為 GLM-5.2 的 MTP 層改良推測解碼,目標有兩個:1) 將 MTP 層作為草稿模型時的成本降至最低;2) 將推測解碼的接受率提升至最高。

針對第一個目標,我們亦在 MTP 層套用 IndexShare。在多步 MTP 中,indexer 會放在第一步,而後續所有步驟都使用 topk indices。不過,與骨幹模型不同,各 MTP 步驟的輸入 token 並不相同。如以下圖片所示,如果將 $h_4$ 的 topk indices 重用於 $h_5$,$h_5$ 便只能注意 $h_1$ 至 $h_4$,不能注意 $h_5$。我們會展示這項特性如何透過消除 GLM-5.1 的 MTP 層中訓練與推理的差異,協助實現第二個目標。

figure5

上圖展示兩步 MTP 層的推理過程。第一步的推理與訓練一致,所有隱藏狀態均來自目標模型。然而第二步的 $h_{1:4}$ 來自目標模型,而 $h_5$ 則來自 MTP 層。因此,$h_5$ 的 KV cache 混合了由目標模型計算的 $kv_{1:4}$,以及由 MTP 層計算的 $kv_5$。相較之下,使用 IndexShare 時,$h_5$ 的 KV cache 只包含 $kv_{1:4}$,而且全部來自目標模型的隱藏狀態。訓練時,我們重用 MTP 第一步的 KV cache 和 topk indices。請注意,與 GLM-5.1 相同,不同步驟的 MTP 參數亦會共用。此外,受到 https://arxiv.org/abs/2606.12370 啟發,我們在推測解碼中加入 rejection sampling,並使用端到端 TV loss 進行訓練。

下表比較各項技術在程式編寫情境下對接受長度的影響。實驗使用 GLM-5.1 的骨幹和訓練資料。訓練和推理的 MTP 步數均設為 7。與基準版本相比,最終 MTP 層的接受長度增加了 20%。

方法 接受長度
基準 4.56
+ IndexShare + KV Share 5.10
+ Rejection Sampling 5.29
+ End-to-end TV Loss 5.47 (+20%)

高效服務 1M 上下文長度

GLM-5.2 將最大上下文長度由 200K 擴展至 1M token 後,程式編寫工作預計會大幅轉向較長提示詞。推理的主要瓶頸亦會由運算轉為 KV cache 容量、長上下文 kernel 開銷和 CPU 端開銷。雖然 GLM-5.2 的新架構減少每個 token 的運算 FLOPs,卻未有按比例減少每個 token 的 KV cache 大小。因此,在 GPU 資源有限的情況下支援更長上下文、更高並行度和更高 token 吞吐量,成為推理引擎最佳化的一大挑戰。

figure6

為應對這項挑戰,我們從三方面最佳化推理引擎。第一,建基於 LayerSplit,引入更細緻的記憶體管理和並行策略,以提升 KV cache 容量,並為超長上下文請求提供更多可用 cache 空間。第二,最佳化成本會隨上下文長度增加的 kernels,並與 cache 傳輸流程更緊密協調,盡量減少 cache 傳輸對預填和解碼效能的影響。第三,最佳化 CPU 端的 cache 管理、請求排程和執行時路徑,減少 GPU 執行流程中的空檔並提升端到端吞吐量。如圖所示,上下文越長,GLM-5.2 的吞吐量優勢越大,顯示它在長上下文推理情境中更具可擴展性。

用於 Agentic RL 的 slime

GLM-5.2 的 agentic RL 後訓練涵蓋規模更大、領域更多、執行模式更複雜的任務。異質資料和任務需要在統一訓練流程中整理,而長程互動、工具使用、子任務分解和多輪環境回饋,亦對 rollout 和訓練協調提出更高要求。為支援這項流程,slime 提供由訓練到大規模推理 rollout 的整合基礎架構層。它支援多種訓練和任務組織模式,包括 white-box rollout、black-box rollout、緊湊軌跡和 sub-agent 工作流程,讓同一系統可擴展至規模更大、複雜度更高的 RL 和 OPD 訓練工作負載。在 GLM-5.2 的後訓練過程中,我們使用 slime 框架執行平行 OPD 訓練,有效將十多個專家模型合併至最終模型。整個 OPD 訓練過程約需兩天,展現出高訓練效率。

Agentic RL 對系統資源和推理基礎架構亦有更高要求。slime 提供高度開放、靈活的推理系統介面:訓練端可以不同方式連接推理服務,並靈活配合不同並行策略、路由政策、PD 分離配置和部署模式。同時,RL rollout 累積的設定經驗、排程策略和最佳化方法,可在正式服務階段重用並進一步改善,讓訓練端和服務端互相促進。這為後訓練到正式環境部署提供更直接的途徑。配合靈活的訓練與推理資源組織,以及 KV-cache FP8,slime 為 GLM-5.2 大規模 agentic RL 訓練提供關鍵基礎架構支援,進一步提升系統效率、rollout 吞吐量和大規模推理並行能力。

用於長程任務並防止作弊的 RL

長程任務的 RL。對 GLM-5.2 而言,長程任務會產生長得多的執行軌跡;超長軌跡經壓縮分成多段子軌跡後,同一提示詞的不同 rollout 會產生數量不一、長度差異很大的可訓練軌跡。因此,我們由羣組式最佳化改用以 critic 為基礎的 PPO 設計,從個別 rollout 學習,並依靠 critic 估算 token 層級優勢,而非進行羣組相對比較。這種單一 rollout 設計自然適合壓縮,不限制一個提示詞可產生多少軌跡,亦不限制它們的相對長度:我們將所有壓縮後的子軌跡納入訓練作為可訓練軌跡,並套用 token 層級損失,處理它們長度不均的問題。

程式編寫 agent 的反作弊。程式編寫 RL 特別容易受到獎勵作弊影響,因為獎勵通常是可驗證的通過/不通過訊號。我們發現 GLM-5.2 比 GLM-5.1 更可能出現潛在作弊行為。這會令驗證訊號容易被最佳化,卻無法真正提升模型的基本能力。Agent 可能讀取受保護的評估 artifacts、從參考資料或上游 commits 複製答案,或在 GitHub 相關任務中直接取得目標原始碼。例如,agent 可能透過 curl https://raw.githubusercontent.com/<path-to-file> 下載解答,甚至串連洩漏,例如

1. find /workspace -name "*hidden*"
2. cat /workspace/.eval/secret_cases.json
3. python solve.py --case "$(cat /workspace/.eval/secret_cases.json)"

這些行為會虛增獎勵並污染訓練訊號,因此需要明確機制區分真正解題與走捷徑。為此,我們在 RL 訓練和評估中引入反作弊模組。偵測分兩階段:首先由規則式過濾器捕捉潛在作弊,以提高召回率;然後由 LLM 評審檢查這些可疑操作的意圖,以維持高精確率。我們採用即時策略監察每一步的工具呼叫。如果偵測到作弊,系統會封鎖該呼叫,並傳回虛擬資訊作為結果。重要的是,即使抓到作弊操作,這項即時防護仍會讓模型繼續 rollout。此方法只處理特定無效行為,而非拒絕整條軌跡,有助避免突然停止 rollout 所引致的訓練不穩定和模型崩潰。

完整基準測試表

基準測試 GLM-5.2 GLM-5.1 Qwen3.7-Max MiniMax M3 DeepSeek-V4-Pro Claude Opus 4.8 GPT-5.5 Gemini 3.1 Pro
推理
HLE 40.5 31 41.4 37 37.7 49.8* 41.4* 45
HLE(含工具) 54.7 52.3 53.5 - 48.2 57.9* 52.2* 51.4*
CritPt 16.7 4.6 13.4 3.7 12.9 20.9 27.1 17.7
AIME 2026 99.2 95.3 97 - 94.6 95.7 98.3 98.2
HMMT Nov. 2025 94.4 94 95 84.4 94.4 96.5 96.5 94.8
HMMT Feb. 2026 92.5 82.6 97.1 84.4 95.2 96.7 96.7 87.3
IMOAnswerBench 91.0 83.8 90 - 89.8 83.5 - 81
GPQA-Diamond 91.2 86.2 90 93 90.1 93.6 93.6 94.3
程式編寫
SWE-bench Pro 62.1 58.4 60.6 59 55.4 69.2 58.6 54.2
NL2Repo 48.9 42.7 47.2 42.1 35.5 69.7 50.7 33.4
DeepSWE 46.2 18 18 20 8 58 70 10
ProgramBench 63.7 50.9 - - 47.8 71.9 70.8 39.5
Terminal Bench 2.1(Terminus-2) 81.0 63.5 75 65 64 85 84 74
Terminal Bench 2.1(最佳已報告 Harness) 82.7 69 - - - 78.9 83.4 70.7
FrontierSWE(支配度) 74.4 30.5 - - 29.0 75.1 72.6 39.6
PostTrainBench 34.3 20.1 - - - 37.2 28.4 21.6
SWE-Marathon 13.0 1.0 - - - 26.0 12.0 4.0
Agentic
MCP-Atlas(公開子集) 76.8 71.8 76.4 74.2 73.6 77.8 75.3 69.2
Tool-Decathlon 48.2 40.7 - - 52.8 59.9 55.6 48.8

開始使用 GLM-5.2

透過 GLM Coding Plan 使用 GLM-5.2

在你喜愛的 coding agents 中試用 GLM-5.2,包括 ZCode、Claude Code、OpenCode 等。https://docs.z.ai/devpack/overview

GLM Coding Plan 訂閲者請留意:我們已向所有 Coding Plan 用戶推出 GLM-5.2。現在只需將模型名稱改為 "GLM-5.2",即可啟用 GLM-5.2(在 Claude Code 中使用 GLM-5.2[1m] 可啟用 1M 上下文長度)。你亦可按任務選擇不同的thinking effort:High 或 Max。GLM-5.2 是我們能力最強的模型,尖峯時段會消耗 3× 額度,非尖峯時段則消耗 2×。限時優惠至 9 月底,非尖峯用量按 1× 計算。(每日尖峯時段為 UTC+8,即北京時間 14:00–18:00。)

偏好圖形介面?我們提供 ZCode——由 GLM-5.2 驅動的桌面 agent,支援長程任務的 /goal、SSH 遠端開發和手機控制。特別優惠:在 ZCode 中透過 Coding Plan 使用 GLM-5.2,有效額度可提升至 1.5x,優惠至 6 月 30 日。

立即開始構建:https://z.ai/subscribe

在 Z.ai 與 GLM-5.2 對話

GLM-5.2 現已在 Z.ai 上線。

在本機執行 GLM-5.2

GLM-5.2 的模型權重已公開於 HuggingFace 和 ModelScope。本機部署方面,GLM-5.2 支援 transformers、vLLM、SGLang、xLLM 和 ktransformers 等推理框架。

註腳

  • Humanity’s Last Exam(HLE)及其他推理任務:評估時使用的取樣參數為 temperature=1.0、top_p=0.95。最大生成長度設為 163,840 個 token。預設報告純文字子集;標有 * 的結果則來自完整資料集。AIME、HMMT 和 IMOAnswerBench 的每條問題均使用以下 system prompt 評估:Your response should be in the following format:\nExplanation: {your explanation for your final answer}\nExact Answer: {your succinct, final answer}\nConfidence: {your confidence score between 0% and 100% for your answer}. 我們使用 GPT-5.5(medium)作為評審模型。HLE-with-tools 使用 300,000 token 的最大上下文長度,且不採用上下文管理策略。
  • SWE-Bench Pro:我們使用 OpenHands 和自訂指令提示詞執行 SWE-Bench Pro 套件。設定:temperature=1、top_p=1、max_new_tokens=32k,上下文視窗為 400K。
  • NL2Repo:我們在 400k 上下文下,以 temperature=1.0、top_p=1.0 和 max_new_tokens=48k 評估 NL2Repo。為防止作弊,我們使用規則式和 LLM 判斷,阻止惡意行為(例如未經授權的 pip 或 curl 操作)。
  • DeepSWE:我們使用官方 pier 評估框架和 mini-swe-agent harness 執行 DeepSWE(temperature=1.0、top_p=1.0、timeout=2h、400K 上下文)。每項任務都在獨立容器中解決,配置 2 個 CPU、8 GB RAM,並停用互聯網存取。
  • ProgramBench:我們使用 Claude-Code 2.1.156 評估 ProgramBench(200 個實例),設定為 temperature=1.0, top_p=1.0, max_tokens=64000, max_turns=2000, sample_timeout=6h, reasoning_effort=max,上下文視窗為 400K。每個實例都在停用互聯網的沙盒中執行(4 個 CPU、8 GB RAM)。
  • Terminal-Bench 2.1(Terminus 2):我們使用 Terminus-2 框架評估 Terminal-Bench 2.1,設定為 parser=json、timeout=4h、temperature=1.0、top_p=1.0、max_new_tokens=48k、max_episodes=500,上下文視窗為 256K。資源上限為 4 個 CPU 和 8 GB RAM。
  • Terminal-Bench 2.1(Claude Code):我們使用 Claude Code 2.1.167 評估,設定為 temperature=1.0, top_p=0.95, max_new_tokens=131072。我們透過透明 proxy 將 max_new_tokens 覆寫為 128k,繞過 CLI 的 64k 上限,恢復 CLAUDE_CODE_MAX_OUTPUT_TOKENS 的可設定性。我們移除實際時間限制,同時保留每項任務的 CPU 和記憶體限制。分數取 5 次執行的平均值。
  • MCP-Atlas:所有模型均以 think mode 在 500 項任務的公開子集上評估,每項任務限時 10 分鐘。我們使用 Gemini-3.0-Pro 作為評審模型。
  • Tool-Decathlon:我們使用官方評估服務,並將 max_token 設為 128K。
  • FrontierSWE:評估由 Proximal 執行,上下文長度為 1M、effort 等級設為 max,最大輸出 token 為 128K。支配度分數截至 2026/06/16。
  • PostTrainBench:評估由 PostTrainBench 執行,上下文長度為 1M、effort 等級設為 max,最大輸出 token 為 128K。
  • SWE-Marathon:評估由 Abundant AI 執行,上下文長度為 1M、effort 等級設為 max,最大輸出 token 為 128K。

來源:Hugging Face Blog · huggingface.co