跳到正文
MarkTechPost· Asif Razzaq·· 3 天前精選AI 評分76

Alibaba 發佈 Qwen4-Max:2.4T MoE 主幹、每個 token 啟用 71B 參數,支援 1M-token 上下文窗口

Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context

AI 導讀

Alibaba 的 Qwen 團隊發佈 Qwen4 世代首個模型 Qwen4-Max,採用 2.4T MoE 主幹,每個 token 啟用 71B 參數,支援 1M-token 上下文窗口。

推薦理由

文章並列 Qwen4-Max 的基準成績與 API 定價,呈現其代理任務表現、編碼與視覺短板,以及成本下降幅度,方便讀者一併比較能力與費用。

正文 · 繁體中文

Alibaba 的 Qwen 團隊發布了 Qwen4-Max,這是 Qwen4 世代的首個模型。Qwen4-Max 是一款專有的稀疏 MoE 模型,主幹包含 2.4T 個參數,每個 token 啟用 71B 個參數。模型支援文字、圖片和影片輸入,並支援 1M-token 上下文窗口。Alibaba 亦下調 API 價格,並表示每項任務的平均成本下降了 62%。

簡而言之

  • 規模:主幹參數為 2.4T,每個 token 啟用 71B 個參數,另有 328B 個 N-gram Embedding 參數。上下文長度為 1M,最多可輸出 393K 個 token。
  • 運行方式:只提供託管服務:QwenCloud API、Token Plan、Qwen Studio、QwenWork 和 Qoder。沒有開放權重,因此不能自行託管或使用量化版本。
  • 效能:相比 Qwen3.8-Max 大幅提升。在 Agent 工作方面可與前沿模型競爭,但在高難度程式編寫和視覺方面仍落後。
  • 最佳表現:HLAB-Vals-1.1(法律 Agent 工作):21.3;次高的 Kimi K3.1 為 11.7。

Qwen4-Max 是甚麼?

Qwen4-Max 是 Alibaba 推出的多模態 MoE 語言模型,針對長時間跨度的專業工作而打造。僅限 Token Plan 的預覽版只在本月開放。

Qwen4-Max 的架構如何運作?

Qwen4 在 3 個方面升級了稀疏 MoE 設計:注意力、殘差連接和嵌入。

  • GDN + Qwen Sparse Attention (QSA):每個 QSA 層均配搭 3 個 Gated DeltaNet 層,將歷史資訊壓縮為固定大小的狀態。接着,QSA 使用輕量級索引器,以微區塊粒度挑選相關上下文。這可降低長序列的注意力和索引成本。
  • Gated Residual (GR):4 個並行殘差分支使用動態讀取和寫入閘門,旨在加強資訊流動並提升訓練穩定性。
  • N-gram Embedding:額外的 328B 個參數可在第 2 層查找局部 token 模式,以少量額外運算增加模型容量。

Alibaba 表示,在規模達 2.4T 的預訓練過程中沒有出現損失尖峯。在內部測試中,Qwen4-Max-Base 的每位元組位元數比 Qwen3.8-Max-Base 低 5% 至 13%,同時啟用的參數少 25%。

Qwen4-Max 在基準測試中的表現如何?

Alibaba 的比較圖表涵蓋 16 項基準測試。對比模型包括 Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra 和 Kimi K3.1。部分分數引自第三方排行榜。發布時,這些分數均未經獨立重現。

Qwen4-Max 在 16 項基準測試中有 4 項排名第一:

  • HLAB-Vals-1.1(法律 Agent):21.3;Kimi K3.1 為 11.7,Opus 5.5 為 9.2。
  • Agents’ Last Exam v1.1:46.7;Opus 5.5 和 Kimi K3.1 均為 43.4。
  • BioMysteryBench:85.0;GPT-6.1 Sol 為 84.4。
  • DeepSWE v1.1:75.7;Kimi K3.1 為 75.5。

Claude Opus 5.5 在 16 項比較中有 7 項領先。Qwen4-Max 在程式編寫和視覺方面差距最明顯:

  • ProgramBench:31.5;Opus 5.5 為 65.0。
  • Terminal-Bench 4.0:48.5;Kimi K3.1 為 67.2。
  • Chartography:54.2;GPT-6 Astra 為 71.1。
  • Humanity’s Last Exam:51.7;Opus 5.5 為 59.8。

在 Alibaba 自家的 Work360 基準測試中,Qwen4-Max 得分 52.69,高於 Qwen3.8-Max 的 47.74。Work360 涵蓋 26 個頂層領域和 721 個專門領域。

為甚麼 Qwen4-Max 的運行成本較低?

兩項因素疊加:token 用量更少,價格更低。在 Work360 上,Xhigh effort 下的 token 用量減少約 24%,High effort 下減少 35%。在 Terminal-Bench 4.0 上,減幅約為 48% 和 49%。Work360 每項任務的平均成本由 $4.43 降至 $1.67,減幅達 62%。

標價亦下調。輸入價格為 $1.50/每百萬個 token,較 Qwen3.8-Max 的 $2 下調。輸出價格為 $4.50,較 $6 下調。隱式快取讀取價格下跌 70%,由 $0.25 降至 $0.075。

Qwen4-Max 與競爭對手比較

指標Qwen4-MaxQwen3.8-MaxClaude Opus 5.5GPT-6.1 SolKimi K3.1 Pro
總參數量2.4T 主幹網絡 + 328B N-gram 嵌入2.4T未公開未公開2.8T
活躍參數量71B未公開(網誌暗示約 95B)未公開未公開104B
上下文長度1M1M1M1,050,0001,048,576
最大輸出長度393K131K128K128K未公開
輸入模態文字、圖片、影片未公開文字、圖片文字、圖片文字、圖片
權重專有,僅限 API 存取未公開專有專有開放(Kimi K3.1 Pro License)
輸入/輸出價格(每 1M token)$1.50 / $4.50$2 / $6$4 / $20$2 / $10$2 / $10
快取輸入價格(每 1M token)$0.075$0.25$0.20$0.10$0.20
DeepSWE v1.1*75.769.374.275.275.5
Terminal-Bench 4.0*48.538.959.656.167.2
Humanity’s Last Exam*51.743.959.854.051.1
ProgramBench*31.528.065.052.525.0
HLAB-Vals-1.1*21.315.49.26.311.7

*分數來自 Alibaba 的 Qwen4-Max 圖表。Qwen3.8 欄的數據來自 Qwen3.8-Max-0902。圖表將 Kimi 標示為「Kimi K3.1」。Moonshot 自家的資料卡列出,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的得分為 65.7,Opus 5.5 則為 66.4。

開發者如何使用 Qwen4-Max?

模型 ID 在 QwenCloud 上為 qwen4-max。API 可配合兼容 OpenAI 及 Anthropic 的客戶端使用。支援的功能包括函數呼叫、結構化輸出、上下文快取、批次處理、網頁搜尋及微調。預設速率限制為每分鐘 5,000,000 個 token。思考模式可透過 enable_thinking 切換。

訂閲服務透過 Token Plan 提供。

重點摘要

  • 2.4T MoE 主幹網絡,每個 token 僅啟用 71B 參數。
  • 採用全新的 QSA 注意力機制、門控殘差和 328B N-gram 嵌入。
  • 在圖表列出的 16 項基準測試中,有 4 項排名第一;HLAB-Vals-1.1 得分為 21.3。
  • 每百萬個 token 收費 $1.50/$4.50,快取輸入價格下調 70%。
  • 弱項:ProgramBench(31.5)和 Terminal-Bench 4.0(48.5)。

參閲 Qwen4-Max 官方網誌、 QwenCloud 模型頁面及 Token Plan 價格頁面。你亦可透過我們的 GPULeaderboard.com Chrome 擴充功能在此查看部署選項及規格。

另外, 歡迎在 Twitter 關注我們,並別忘了加入我們的 150k+ML SubReddit 及訂閲我們的電子報。等等!你有使用 Telegram 嗎? 現在你也可以加入我們的 Telegram。

需要與我們合作,推廣你的 GitHub 儲存庫、Hugging Face 頁面、產品發布或網上研討會等嗎? 聯絡我們

文章 Alibaba 發布 Qwen4-Max:2.4T MoE、71B 活躍參數、1M 上下文最初刊登於 MarkTechPost。

來源:MarkTechPost · marktechpost.com