跳到正文
Hacker News 熱門(buzzing.cc 中文翻譯)·· 2 小時前精選AI 評分82

Kimi K3.1 Pro 開放權重模型推出,提供 1-million-token 上下文窗口

Kimi K3.1 Pro 各款车型的重量已公布

AI 導讀

Kimi K3.1 Pro 以開放權重、多模態智能體模型形式推出,提供 1-million-token 上下文窗口。模型由 Kimi K3 經大規模聯合強化學習後訓練,涵蓋數百個下游領域;總參數量為 2.8T,啟用參數為 104B。

推薦理由

模型卡列出多類編碼、智能體、推理與多模態基準,並附上評測工具、設定及數據來源,方便理解各項分數的比較口徑。

正文 · 繁體中文

Kimi K3.1 Pro

Chat Homepage

Hugging Face X Discord ModelScope

License

📰  科技網誌 |     🚀  API 快速入門

1. 模型簡介

Kimi K3.1 Pro 是一款開放權重、原生多模態的智能體模型,也是我們至今能力最強的 3T 級模型。它以 Kimi K3 為基礎,經過後訓練,並在數百個下游領域進行大規模聯合強化學習,是 K3.1 系列的首個模型。Kimi K3.1 Pro 擁有 1 百萬 Token 的上下文視窗,在編碼、3D 創作、金融研究、事實準確度及其他智能體能力方面均有顯著提升。

2. 模型摘要

架構 混合專家模型(MoE)
總參數量 2.8T
啟用參數量 104B
層數 93
密集層數 1
注意力層組成 69 KDA + 24 Gated DSA*
注意力隱藏維度 7168
注意力頭數 96
DSA 索引頭維度 128
DSA 索引頭數 32
DSA 索引 Top-K 2048
MoE 潛在維度 3584
MoE 隱藏維度(每個專家) 3072
專家數量 896
每個 Token 選取的專家數 16
共享專家數量 2
詞彙表大小 160K
上下文長度 1048576
注意力機制 KDA & Gated DSA
激活函數 SiTU-GLU
視覺編碼器 MoonViT-V2
視覺編碼器參數量 401M
量化 MXFP4 權重 / MXFP8 激活值
(量化感知訓練)
模態 文字、圖像

* 與 Kimi K3 相比,我們以 Gated DeepSeek Sparse Attention(Gated DSA)層取代全注意力 Gated MLA 層,以更有效地進行長上下文建模。

3. 評測結果

除非另有註明,所有 Kimi K3.1 Pro 的結果均採用推理力度 max、temperature = 1.0 和 top-p = 0.95。破折號(—)表示來源表格沒有列出分數。除基準名稱明確註明 lower is better 的情況外,分數越高越好;Elo 分數及其他基準專用指標不能直接與準確率或通過率分數比較。

基準 Kimi K3.1 Pro
(最高)
Claude Fable 5.1
(最高,含回退)
GPT-6 Astra
(最高,含回退)
Claude Opus 5.5
(最高,含回退)
DeepSeek-V4.1-Flash-1017
(最高)
GLM-5.3
(最高)
編碼
Terminal-Bench 4.0 65.7 57.9 58.2 66.4 42.3 41.8
Terminal-Bench-Science 0.1 38.1 40.0 68.1 63.3 15.7 8.1
SWE Marathon v1.1 51.7 45.6 42.5 46.3 40.0 42.5
BenchCAD w/o tools 72.8 60.6 — 73.0 41.2 —
BenchCAD w/ tools 92.7 92.6 95.9 96.2 81.6 —
Program Bench 31.5 53.5 50.0 65.0 29.1 19.0
DeepSWE v1.1 75.5 67.4 74.1 74.2 77.0 66.9
PostTrain Bench v1.2 36.5 44.6 41.9 43.8 30.5 34.5
Kimi Code Bench 2.0(內部) 77.1 — — — 76.1 61.7
Kimi Code Bench 3.0 Long-horizon(內部) 61.2 58.8 66.5 58.5 51.5 45.5
智能體
HLE-Full w/ tools 70.0 65.6 57.2 67.7 58.8 62.5
BrowseComp 92.1 — 91.5 90.8 — —
BioMysteryBench 80.6 81.6 78.9 81.9 80.0 79.6
CharXiv (RQ) w/ python 93.4 92.7 92.8 93.8 85.6 —
MMMU-Pro w/ python 90.0 88.4 87.8 89.8 82.5 —
GDP.pdf w/ python 85.7 83.8 85.5 83.9 73.0 —
ChartoGraphy w/ python 90.2 88.4 91.0 89.0 83.0 —
BabyVision w/ python 95.4 95.1 96.6 97.7 92.5 —
ZeroBench_main w/ python (pass@5) 63.0 59.0 58.0 61.0 51.0 —
Agents' Last Exam (ALL) 43.2 — 41.8 42.6 37.7 26.2
Agents' Last Exam (CLI) 44.2 — 44.2 40.7 36.0 29.4
Automation Bench-AA 73.3 59.4 68.5 69.5 66.6 62.2
GDPval-AA v2.1(Elo 評分) 1846 1754 1573 1866 1746 1650
AA-Briefcase v1.1(Elo 評分) 1678 1672 1569 1803 1570 1507
APEX-Agents 69.4 68.6 64.7 73.5 69.8 56.6
OfficeQA Pro v2 64.4 54.5 54.4 62.2 40.4 31.1
OfficeQA Pro 67.4 68.6 66.2 — 62.4 58.6
Frontier Finance 58.6 60.8 45.0 56.7 54.5 57.5
Harvey Legal Agent 23.7 19.1 — — 21.0 —
HANDBOOK.md 44.6 38.8 — 41.5 28.9 20.8
OSWorld V2.1 79.6 80.7 75.8 81.8 69.3 —
Business Operation(內部) 37.8 30.7 32.3 — 8.9 18.6
DECK-Arena(內部,Elo 評分) 1456 — 1423 1253 1231 1119
Design Bench(內部,Elo 評分) 957 — 1076 927 863 718
Kimi Hallu Bench Hard w/ tools(內部,數值越低越好) 8.3 23.3 5.5 15.0 23.3 22.6
推理、知識及多模態
GDP.pdf 34.6 27.6 34.2 30.6 17.2 11.2
HLE-Full 51.1 57.6 53.6 59.8 42.6 43.0*
HLE-Diamond 39.4 55.1 65.8 60.9 21.6 25.1*
GPQA-Diamond 94.2 93.7 96.1 93.9 92.2 91.7
CharXiv (RQ) 89.0 88.8 90.0 92.1 77.0 —
MMMU-Pro 84.1 86.3 86.9 87.7 80.6 —
ZeroBench_main (avg@5 / pass@5) 29.8 / 39.0 23.0 / 35.0 43.2 / 52.0 35.0 / 43.0 11.8 / 23.0 —
PerceptionBench 68.3 63.0 77.6 72.1 47.7 —
Kimi Hallu Bench(不使用工具,內部,數值越低越好) 5.4 11.4 4.2 6.8 13.1 14.8
網絡安全
ExploitBench 74.7 83.0 100 91.0 — 54.4
ExploitGym 20.7 30.4 42.4 34.5 — 15.0
xdev-bench-hard(內部) 81.0 — — — 85.7 57.1

評估註腳

編碼基準測試

  1. Terminal-Bench 4.0. Kimi K3.1 Pro 使用 Claude Code 測試框架進行評估。DeepSeek-V4.1-Flash-1017 的分數取自其發布網誌。其餘分數均為模型網誌文章或Terminal-Bench 官方排行榜列出的最高分。
  2. Terminal-Bench-Science 0.1. Kimi K3.1 Pro 使用 Claude Code 進行評估。內部評估得出 DeepSeek-V4.1-Flash-1017 的分數為 9.3;表格則列出官方排行榜上較舊版本 DeepSeek-V4.1-Flash 的分數 15.7。其餘分數均取自Terminal-Bench-Science 排行榜。
  3. SWE-Marathon v1.1. Kimi K3.1 Pro 和 DeepSeek-V4.1-Flash-1017 使用 Claude Code 進行評估。其他分數取自官方排行榜。
  4. ProgramBench. 表格列出二元分數:如果某項任務的 ProgramBench 分數至少為 95%,該任務得 1 分,否則得 0 分。K3.1 Pro 使用 Claude Code 進行評估。DeepSeek 和 GLM 的分數取自DeepSeek 發布網誌;其餘分數取自Vals AI。
  5. DeepSWE v1.1. K3.1 Pro 使用 Claude Code 進行評估。其他分數取自以下模型各自的技術報告:GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、DeepSeek-V4.1-Flash-1017 和 GLM-5.3。
  6. PostTrainBench. K3.1 Pro 和 DeepSeek-V4.1-Flash-1017 使用 Claude Code 和 H20 GPU,在 v1.2 版本上進行內部評估,而非使用 H100 GPU。為確保評估穩定,所有評審模型均使用最高推理力度設定的 DeepSeek-V4.1-Flash-1017;測試顯示,它最能匹配官方 GPT-5.6-Terra (xhigh) 評審模型。其他分數取自官方排行榜。
  7. Kimi Code Bench 2.0 和 Kimi Code Bench 3.0 Long-horizon. 這些是內部基準測試。K3.1 Pro 使用 Claude Code 進行評估;所有其他模型均使用各自的最高推理力度設定。專有模型測試可能涉及後備行為。
  8. BenchCAD. 開放模型以最高推理力度,在從 17,900 個案例的 Vision2Code 數據集中隨機抽取的 1,000 個案例子集上進行評估。使用工具的結果採用 Claude Code;不使用工具的結果則以官方提示詞和評分方式進行單次生成。Claude 的分數取自 Opus 5.5 System Card,而 GPT-6 Astra 使用工具的分數取自其官方報告。GPT-6 Astra 沒有公佈不使用工具的分數。

智能體基準測試

  1. BioMysteryBench. 使用官方 v11 版本,並由 Kimi K3 擔任評審。K3.1 Pro 使用 Kimi Code;GLM-5.3 和 DeepSeek-V4.1-Flash-1017 使用 Claude Code;GPT-6 Astra 使用 Codex。Claude 的分數取自官方系統卡。
  2. Agents' Last Exam. 使用官方 v1.1 版本,包含 122 項任務,其中包括 86 項 CLI 任務。繞過明示要求的執行結果得零分。DeepSeek 和 Kimi 分別使用 Claude Code 和 Kimi Code 進行評估;其他結果取自官方基準測試網站。
  3. OfficeQA Pro 和 OfficeQA Pro v2。GPT-6 Astra 使用 Codex;其他模型使用 Claude Code。每項任務均提供完整的 PDF 語料庫,內容為頁面圖片,不含機器可讀文字。若外部模型的執行軌跡在網上檢索參考答案,該模型在相關任務的得分將為零。
  4. Frontier Finance。使用官方 Finance Agent v2 評測框架進行評估。
  5. HANDBOOK.md。使用基於 OpenHands 的官方評測框架進行評估,任務取自該基準早期開源 v1 版本。
  6. Harvey Legal Agent。使用 Artificial Analysis 的 Stirrup 評測框架,在 1,251 項公開任務上進行評估。報告分數為全項通過率,即通過所有評分準則的任務百分比。
  7. OSWorld V2.1。Kimi 模型使用官方 OSWorld v2 儲存庫中的 Kimi Agent 評測框架。GPT-6 Astra 的分數取自 Muse Wonder 的技術報告。
  8. DECK-Arena 和 Design Bench。DECK-Arena 使用真實場景查詢評估簡報生成;Design Bench 則透過直接提示及以參考圖片作少樣本提示,評估平面設計。兩者均在整合搜尋和圖片生成的評測框架中,評估 python-pptx、pptxjs 和 Kimi 內部開發的 DSL。自動評分器以超過 10,000 項人工判斷結果進行校準。
  9. BrowseComp。上下文壓縮會在達到 200K tokens 時觸發,最多執行 500 步。若達到上限,代理會被強制在評判前作答。所有測試執行均使用 temperature = 1.0 和 top-p = 1.0。
  10. GDPval-AA v2.1、AA-Briefcase v1.1 和 AutomationBench-AA。分數引自 Artificial Analysis。APEX-Agents。分數引自官方排行榜。
  11. 工具增強多模態評估。GDP.pdf w/ python、ZeroBench w/ python 和 ChartoGraphy w/ python 的分數取五次測試的平均值;其他使用 Python 的多模態基準則取四次測試的平均值。對於 GDP.pdf w/ python,每份原始 PDF 均會傳送至沙盒進行 IPython 處理。系統使用 Gemini-3.5-Flash,以中等推理力度及官方評判提示詞,按各項評分準則評分回答。報告分數為任務宏平均評分準則通過率。

推理、知識及多模態基準

  1. GDP.pdf。每份 PDF 均以頁面圖片形式提供,圖片的最長邊縮放至 1,152 像素,並按頁面順序穿插由 Docling 擷取的文字。系統使用 Gemini-3.5-Flash Medium 及官方評判提示詞,按各項評分準則評分回答。表格列出已完成評分的回答中的嚴格通過率。GLM-5.3 Max 和 DeepSeek-V4.1-Flash-1017 Max 的分數引自 Artificial Analysis。
  2. HLE-Full 和 HLE-Diamond。完整評估集分別包含 2,500 和 1,000 條問題。對於標有 * 的分數,準確度按純文字子集計算。
  3. 測試次數。GDP.pdf、ZeroBench 和 ChartoGraphy 的分數取五次測試的平均值;其他多模態基準則取四次測試的平均值。
  4. MMMU-Pro。按照官方規範進行評估,保留原始輸入順序,並將圖片置於文字輸入之前。
  5. PerceptionBench。專注於原子級視覺感知能力的內部基準。
  6. Kimi Hallucination Benchmark。在一組內部提示詞上評估事實準確度;這些提示詞取自實際工作任務,具挑戰性並已移除可識別資料。表格列出由事實查核代理評估的逐項聲明幻覺率。

網絡安全基準測試

  1. ExploitBench。K3.1 Pro 在 300 回合預算下使用官方測試框架進行評估。表格列出 pass@5 最高能力分數:每個環境均以五個隨機種子中表現最佳的一個計分,按達成的能力旗標數目計算,總數為 16 項;任意程式碼執行即計作具備全部 16 項能力。比較分數取自 OpenAI、Anthropic 和 GLM-5.3。
  2. ExploitGym。K3.1 Pro 使用 Kimi Code 進行評估,每項任務的實際時間上限為六小時。GPT-6 Astra、Claude 和 GLM 的比較分數取自各自的官方報告;Claude 的結果採用相同的六小時時間上限。
  3. xdev-bench-hard。K3.1 Pro 使用 Kimi Code 進行評估;GLM-5.3 和 DeepSeek-V4.1-Flash-1017 則使用 Claude Code。這項內部基準測試包含由專家整理、以原始碼為基礎的漏洞發現及利用任務。最終模型在隨機抽取的執行結果子集上以 pass@3 評估,不設硬性逾時限制或輸出 token 限制。

4. 部署與供應情況

你可以前往 https://platform.kimi.ai 使用 Kimi K3.1 Pro 的 API,方法是選取 kimi-k3.1-pro;我們亦提供相容於 OpenAI/Anthropic 的 API。 目前,建議在以下推理引擎上執行 Kimi K3.1 Pro:


5. 模型使用方法

Kimi K3.1 Pro 的思考強度透過頂層 reasoning_effort 請求欄位設定,支援 "low"、"high" 和 "max"(預設為 "max")。

在多輪對話及工具呼叫中,必須將 API 傳回的完整助理訊息原樣傳回 messages,包括 reasoning_content 和 tool_calls,而不只是 content:

import openai

def chat_with_preserved_thinking(client: openai.OpenAI, model_name: str):
    messages = [
        {
            "role": "user",
            "content": "Tell me three random numbers."
        },
        {
            "role": "assistant",
            "reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
            "content": "473, 921, 235"
        },
        {
            "role": "user",
            "content": "What are the other two numbers you have in mind?"
        }
    ]

    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        max_tokens=4096,
        reasoning_effort="max",
    )
    # the assistant should mention 215 and 222 that appear in the prior reasoning content
    print(f"response: {response.choices[0].message.reasoning}")
    return response.choices[0].message.content

完整指南及範例(視覺輸入、結構化輸出、部分模式、工具選擇、動態載入工具、上下文快取),請參閲 Kimi K3.1 Pro 快速入門和思考強度。

6. 授權條款

Kimi K3.1 Pro 以 Kimi K3.1 Pro License 授權發布。

7. 聯絡我們

如有任何問題,請電郵至 support@moonshot.ai。

上月下載次數
797

Safetensors

moonshotai/Kimi-K3.1-Pro 的模型樹

使用 moonshotai/Kimi-K3.1-Pro 的 Space 1

來源:Hacker News 熱門(buzzing.cc 中文翻譯) · huggingface.co