跳到正文
Hugging Face Blog·· 2026-04-24精選AI 評分87

DeepSeek-V4 發佈 Pro 與 Flash 系列,均支援智能體可用的 1M-token 上下文

DeepSeek-V4: a million-token context that agents can actually use

AI 導讀

深度求索(DeepSeek)發佈 DeepSeek-V4,Pro、Flash 系列各有 instruct 與 base 版本,四款 checkpoint 均支援 1M-token 上下文。

推薦理由

文章把 KV cache 成本、混合注意力設計與智能體工作流串連起來,並以基準數據呈現長上下文能力在工具任務中的表現。

正文 · 繁體中文

DeepSeek 今天發布 V4。Hub 上有兩個 MoE 檢查點:DeepSeek-V4-Pro 總參數量為 1.6T、啟用 49B;DeepSeek-V4-Flash 總參數量為 284B、啟用 13B。兩者的上下文視窗均為 1M token。基準測試數字具競爭力,但並非最先進。這並不重要。真正創新之處在於 DeepSeek V4 專為高效支援長上下文而設計,因此是代理任務的理想候選模型之一。

專注於長時間運作的代理工作負載。現時以開放式前沿模型執行代理程式,總會遇到一些可預期的問題:模型停止回應,你要再次提示;執行軌跡超出上下文預算、KV 快取佔滿 GPU,或工具呼叫往返在長任務中途逐漸變慢。V4 專為解決這些已知問題而打造,也為社羣指出後續發展方向。

本文涵蓋三方面:架構如何以不同方式降低長上下文推論成本、針對代理程式所作的後訓練決策如何進一步累積效益,以及論文中有助理解這些改動的一些重點。

代理程式的 KV 快取問題

1M 上下文視窗只是容量,不代表效能。能否實際使用,取決於在該上下文深度執行每次前向傳播的成本。代理程式進行長時間工具操作(例如 SWE-bench 任務、多步驟瀏覽工作階段,或包含數百個命令的終端工作階段)時,每項工具結果都會附加到上下文中,而之後生成的每個 token 都要支付對之前全部內容進行注意力運算的成本。

有兩個數字很重要:單 token 推論 FLOPs 和 KV 快取大小。兩者都會隨序列長度增加。在 1M token 下,DeepSeek-V4-Pro 所需的單 token 推論 FLOPs 是 DeepSeek-V3.2 的 27%,因此在相同硬件上執行得更快。它使用的 KV 快取記憶體也只有 10%。V4-Flash 的數字更低:FLOPs 為 10%,KV 快取則為 7%。

若以常見架構作比較,例如採用 8 個頭、以 bfloat16 格式儲存的分組查詢注意力,DeepSeek V4 所需的 KV 快取大小約為其 2%。因此更容易部署,以處理極長上下文。

Figure 1 from the DeepSeek-V4 technical report, benchmarks on the left, inference FLOPs and KV cache scaling on the right 圖 1:基準測試比較(左),以及每 token FLOPs 和 KV 快取隨序列長度增加的情況(右)。

混合注意力:CSA 和 HCA

效能提升來自把注意力分拆成兩種機制,並在不同層之間交替使用。

壓縮稀疏注意力(CSA)透過帶學習式位置偏差的 softmax 閘控池化,沿序列維度把 KV 項目壓縮 4 倍。lightning indexer(FP4、以 ReLU 計分的多頭點積)會為每個查詢挑選得分最高的 k 個壓縮區塊。它沿用 V3.2 中 DeepSeek Sparse Attention 的稀疏選取概念,但處理的是已比原始序列短 4 倍的區塊,因此索引器的搜尋空間也隨之縮小。

Figure 3: Compressed Sparse Attention, showing compressor, lightning indexer over compressed blocks, and sliding-window branch 圖 3:CSA。壓縮器把每 4 個 token 合併為一個壓縮 KV 項目。lightning indexer 為每個查詢選出得分最高的 k 個壓縮區塊。滑動視窗分支則處理最近、尚未壓縮的 token。

高度壓縮注意力(HCA)把 KV 項目壓縮 128 倍,並省略稀疏選取。每個查詢都會密集註意所有壓縮區塊。壓縮後的序列足夠短,因此密集註意力的成本很低。

Figure 4: Heavily Compressed Attention, 128x compression with dense MQA over compressed blocks 圖 4:HCA。採用更強的壓縮器(128 倍,相對於 4 倍),再對壓縮序列執行密集註意力,同時保留相同的滑動視窗分支以維持近期資訊。

各層會在 CSA 和 HCA 之間交替。不同層負責不同注意力模式,若強制所有層使用同一種機制,便會浪費容量。V4-Pro 有 61 層:第 0–1 層使用 HCA,第 2–60 層交替使用 CSA 和 HCA,末端的 MTP 區塊則只使用滑動視窗。

兩種路徑的大部分 KV 項目都以 FP8 儲存,只有 RoPE 維度採用 BF16。CSA 內的 lightning indexer 則使用 FP4。這些儲存方式與壓縮率相乘,令 KV 快取縮減至 2%。

Figure 2: overall architecture, showing embedding, hybrid CSA/HCA attention, DeepSeekMoE, manifold-constrained hyper-connections 圖 2:整體架構。注意力層交替使用 CSA 和 HCA;前饋層使用 DeepSeekMoE;流形約束超連接(mHC)則取代殘差連接。

代理程式有哪些改變

高效長上下文注意力是代理工作流程的必要條件,但並不足夠。論文亦介紹了三項直接針對代理使用場景的後訓練和基礎設施設計。

跨工具呼叫交錯保留推理

V3.2 會在工具結果往返之間保留推理軌跡,但每當收到新用戶訊息時便會丟棄。對只處理單一用戶回合的代理程式而言,這樣沒有問題;但在多回合代理工作流程中,用戶可能在代理程式已串接多次工具呼叫後再發送跟進訊息,模型便會失去累積的推理過程,必須重新重建狀態。

當對話中包含工具呼叫時,V4 會在用戶訊息之間保留推理內容。模型會在所有回合中保留完整推理歷史,包括跨越用戶回合。這使長期代理任務能維持連貫、累積的思路。若是沒有工具的對話,則沿用舊行為:每個回合都清除推理,以保持上下文精簡。

Figure 7: thinking management, with tools (top) preserves reasoning across turns; without tools (bottom) discards reasoning at each new user message 圖 7:使用工具時(上方)會在所有回合中保留推理;不使用工具時(下方)則會在每次收到新用戶訊息時丟棄推理。

採用專用 token 的工具呼叫結構描述

V4 引入 |DSML| 特殊 token 和基於 XML 的工具呼叫格式。相較於把 JSON 放在字串中的工具呼叫方式,XML 格式較少出現跳脱字元失敗;模型輸出巢狀引號內容時,這是常見故障模式。

結構描述會區分字串參數(以 string="true" 原樣傳送)和結構化參數(以 JSON 傳送,並使用 string="false")。這可避免 JSON 工具呼叫格式常見的數字和布林值解析錯誤。

DSec:為 RL rollout 而建的沙盒

代理行為透過真實工具環境中的 RL 訓練。論文介紹了為此建立的沙盒基礎設施。DeepSeek Elastic Compute(DSec)是一個 Rust 平台,透過單一 Python SDK 提供四種執行環境:函數呼叫、容器、microVM(Firecracker)和完整 VM(QEMU)。單一叢集可同時運行數十萬個沙盒。

DSec 有三項特性對代理訓練很重要:透過分層 3FS 儲存快速載入映像(避免 RL rollout 等待容器啟動)、支援搶佔安全的軌跡重播(中斷的訓練步驟可繼續而毋須重跑工具呼叫),以及在各種執行環境間提供統一 API(訓練 harness 可使用函數呼叫或完整 VM,毋須重寫)。這些基礎設施設計支撐了代理基準測試分數。

代理基準測試結果

知識和推理方面的數字具競爭力,但並非領先。V4-Pro-Max 與其他模型拉開差距的,是代理任務的分數。

DeepSeek-V4-Pro-Max benchmark comparison across frontier models

第 6 表代理部分的具體數字:

  • Terminal Bench 2.0:V4-Pro-Max 得分 67.9,高於 GLM-5.1(63.5)和 K2.6(66.7),但低於 GPT-5.4-xHigh(75.1)和 Gemini-3.1-Pro(68.5)。
  • SWE Verified:解決率 80.6,與 Opus-4.6-Max(80.8)和 Gemini-3.1-Pro(80.6)相差不到 1 分。
  • MCPAtlas Public:得分 73.6,僅次於 Opus-4.6-Max(73.8)。
  • Toolathlon:得分 51.8,高於 K2.6(50.0)、GLM-5.1(40.7)和 Gemini-3.1-Pro(48.8)。

在論文的內部研發編碼基準測試中,30 項涵蓋 PyTorch、CUDA、Rust 和 C++ 的精選任務裏,V4-Pro-Max 的通過率為 67%,Sonnet 4.5 為 47%,Opus 4.5 則為 70%。在一項針對 85 位每天使用 V4-Pro 的 DeepSeek 開發者調查中,52% 表示已準備好以它取代目前主要的編碼模型,另有 39% 傾向同意。

長上下文檢索數據見圖 9。MRCR 8-needle 準確率在 256K token 前一直高於 0.82,在 1M 時仍維持 0.59。

Figure 9: MRCR 8-needle retrieval performance across context lengths up to 1M tokens 圖 9:MRCR 8-needle 檢索。V4-Pro-Max 在 256K token 前一直高於 0.82,在 1M 時仍維持 0.59。

使用模型

Hub 上有四個檢查點。Instruct 模型的 MoE 專家權重使用 FP4,其餘部分使用 FP8;基礎模型則全程使用 FP8。

兩款 Instruct 模型都支援三種推理模式:Non-think(快速、不進行思路鏈推理)、Think High(在 <think> 區塊中明確推理),以及 Think Max(使用專用系統提示詞,以最高推理強度運作)。Think Max 需要至少 384K token 的上下文視窗。所有模式建議採用的取樣參數均為 temperature=1.0, top_p=1.0。

V4-Pro 在 SWE Verified、MCPAtlas 和內部研發基準測試中的數字,顯示它在代理任務方面可與前沿封閉模型匹敵。仍待觀察的是,社羣的工具 harness 會如何配合 |DSML| 結構描述,以及交錯推理帶來的提升能否延伸至訓練領域以外的代理框架。

本文圖片取自技術報告:DeepSeek_V4.pdf。

來源:Hugging Face Blog · huggingface.co