Alibaba 發佈 Qwen4-Max:2.4T MoE 主幹、每個 token 啟用 71B 參數,支援 1M-token 上下文窗口
Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context
Alibaba 的 Qwen 團隊發佈 Qwen4 世代首個模型 Qwen4-Max,採用 2.4T MoE 主幹,每個 token 啟用 71B 參數,支援 1M-token 上下文窗口。
文章並列 Qwen4-Max 的基準成績與 API 定價,呈現其代理任務表現、編碼與視覺短板,以及成本下降幅度,方便讀者一併比較能力與費用。
Alibaba 的 Qwen 團隊發布了 Qwen4-Max,這是 Qwen4 世代的首個模型。Qwen4-Max 是一款專有的稀疏 MoE 模型,主幹包含 2.4T 個參數,每個 token 啟用 71B 個參數。模型支援文字、圖片和影片輸入,並支援 1M-token 上下文窗口。Alibaba 亦下調 API 價格,並表示每項任務的平均成本下降了 62%。
簡而言之
- 規模:主幹參數為 2.4T,每個 token 啟用 71B 個參數,另有 328B 個 N-gram Embedding 參數。上下文長度為 1M,最多可輸出 393K 個 token。
- 運行方式:只提供託管服務:QwenCloud API、Token Plan、Qwen Studio、QwenWork 和 Qoder。沒有開放權重,因此不能自行託管或使用量化版本。
- 效能:相比 Qwen3.8-Max 大幅提升。在 Agent 工作方面可與前沿模型競爭,但在高難度程式編寫和視覺方面仍落後。
- 最佳表現:HLAB-Vals-1.1(法律 Agent 工作):21.3;次高的 Kimi K3.1 為 11.7。
Qwen4-Max 是甚麼?
Qwen4-Max 是 Alibaba 推出的多模態 MoE 語言模型,針對長時間跨度的專業工作而打造。僅限 Token Plan 的預覽版只在本月開放。
Qwen4-Max 的架構如何運作?
Qwen4 在 3 個方面升級了稀疏 MoE 設計:注意力、殘差連接和嵌入。
- GDN + Qwen Sparse Attention (QSA):每個 QSA 層均配搭 3 個 Gated DeltaNet 層,將歷史資訊壓縮為固定大小的狀態。接着,QSA 使用輕量級索引器,以微區塊粒度挑選相關上下文。這可降低長序列的注意力和索引成本。
- Gated Residual (GR):4 個並行殘差分支使用動態讀取和寫入閘門,旨在加強資訊流動並提升訓練穩定性。
- N-gram Embedding:額外的 328B 個參數可在第 2 層查找局部 token 模式,以少量額外運算增加模型容量。
Alibaba 表示,在規模達 2.4T 的預訓練過程中沒有出現損失尖峯。在內部測試中,Qwen4-Max-Base 的每位元組位元數比 Qwen3.8-Max-Base 低 5% 至 13%,同時啟用的參數少 25%。
Qwen4-Max 在基準測試中的表現如何?
Alibaba 的比較圖表涵蓋 16 項基準測試。對比模型包括 Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra 和 Kimi K3.1。部分分數引自第三方排行榜。發布時,這些分數均未經獨立重現。
Qwen4-Max 在 16 項基準測試中有 4 項排名第一:
- HLAB-Vals-1.1(法律 Agent):21.3;Kimi K3.1 為 11.7,Opus 5.5 為 9.2。
- Agents’ Last Exam v1.1:46.7;Opus 5.5 和 Kimi K3.1 均為 43.4。
- BioMysteryBench:85.0;GPT-6.1 Sol 為 84.4。
- DeepSWE v1.1:75.7;Kimi K3.1 為 75.5。
Claude Opus 5.5 在 16 項比較中有 7 項領先。Qwen4-Max 在程式編寫和視覺方面差距最明顯:
- ProgramBench:31.5;Opus 5.5 為 65.0。
- Terminal-Bench 4.0:48.5;Kimi K3.1 為 67.2。
- Chartography:54.2;GPT-6 Astra 為 71.1。
- Humanity’s Last Exam:51.7;Opus 5.5 為 59.8。
在 Alibaba 自家的 Work360 基準測試中,Qwen4-Max 得分 52.69,高於 Qwen3.8-Max 的 47.74。Work360 涵蓋 26 個頂層領域和 721 個專門領域。
為甚麼 Qwen4-Max 的運行成本較低?
兩項因素疊加:token 用量更少,價格更低。在 Work360 上,Xhigh effort 下的 token 用量減少約 24%,High effort 下減少 35%。在 Terminal-Bench 4.0 上,減幅約為 48% 和 49%。Work360 每項任務的平均成本由 $4.43 降至 $1.67,減幅達 62%。
標價亦下調。輸入價格為 $1.50/每百萬個 token,較 Qwen3.8-Max 的 $2 下調。輸出價格為 $4.50,較 $6 下調。隱式快取讀取價格下跌 70%,由 $0.25 降至 $0.075。
Qwen4-Max 與競爭對手比較
| 指標 | Qwen4-Max | Qwen3.8-Max | Claude Opus 5.5 | GPT-6.1 Sol | Kimi K3.1 Pro |
|---|---|---|---|---|---|
| 總參數量 | 2.4T 主幹網絡 + 328B N-gram 嵌入 | 2.4T | 未公開 | 未公開 | 2.8T |
| 活躍參數量 | 71B | 未公開(網誌暗示約 95B) | 未公開 | 未公開 | 104B |
| 上下文長度 | 1M | 1M | 1M | 1,050,000 | 1,048,576 |
| 最大輸出長度 | 393K | 131K | 128K | 128K | 未公開 |
| 輸入模態 | 文字、圖片、影片 | 未公開 | 文字、圖片 | 文字、圖片 | 文字、圖片 |
| 權重 | 專有,僅限 API 存取 | 未公開 | 專有 | 專有 | 開放(Kimi K3.1 Pro License) |
| 輸入/輸出價格(每 1M token) | $1.50 / $4.50 | $2 / $6 | $4 / $20 | $2 / $10 | $2 / $10 |
| 快取輸入價格(每 1M token) | $0.075 | $0.25 | $0.20 | $0.10 | $0.20 |
| DeepSWE v1.1* | 75.7 | 69.3 | 74.2 | 75.2 | 75.5 |
| Terminal-Bench 4.0* | 48.5 | 38.9 | 59.6 | 56.1 | 67.2 |
| Humanity’s Last Exam* | 51.7 | 43.9 | 59.8 | 54.0 | 51.1 |
| ProgramBench* | 31.5 | 28.0 | 65.0 | 52.5 | 25.0 |
| HLAB-Vals-1.1* | 21.3 | 15.4 | 9.2 | 6.3 | 11.7 |
*分數來自 Alibaba 的 Qwen4-Max 圖表。Qwen3.8 欄的數據來自 Qwen3.8-Max-0902。圖表將 Kimi 標示為「Kimi K3.1」。Moonshot 自家的資料卡列出,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的得分為 65.7,Opus 5.5 則為 66.4。
開發者如何使用 Qwen4-Max?
模型 ID 在 QwenCloud 上為 qwen4-max。API 可配合兼容 OpenAI 及 Anthropic 的客戶端使用。支援的功能包括函數呼叫、結構化輸出、上下文快取、批次處理、網頁搜尋及微調。預設速率限制為每分鐘 5,000,000 個 token。思考模式可透過 enable_thinking 切換。
訂閲服務透過 Token Plan 提供。
重點摘要
- 2.4T MoE 主幹網絡,每個 token 僅啟用 71B 參數。
- 採用全新的 QSA 注意力機制、門控殘差和 328B N-gram 嵌入。
- 在圖表列出的 16 項基準測試中,有 4 項排名第一;HLAB-Vals-1.1 得分為 21.3。
- 每百萬個 token 收費 $1.50/$4.50,快取輸入價格下調 70%。
- 弱項:ProgramBench(31.5)和 Terminal-Bench 4.0(48.5)。
參閲 Qwen4-Max 官方網誌、 QwenCloud 模型頁面及 Token Plan 價格頁面。你亦可透過我們的 GPULeaderboard.com Chrome 擴充功能在此查看部署選項及規格。
另外, 歡迎在 Twitter 關注我們,並別忘了加入我們的 150k+ML SubReddit 及訂閲我們的電子報。等等!你有使用 Telegram 嗎? 現在你也可以加入我們的 Telegram。
需要與我們合作,推廣你的 GitHub 儲存庫、Hugging Face 頁面、產品發布或網上研討會等嗎? 聯絡我們
文章 Alibaba 發布 Qwen4-Max:2.4T MoE、71B 活躍參數、1M 上下文最初刊登於 MarkTechPost。
來源:MarkTechPost · marktechpost.com