Moonshot AI 開源 Kimi K2，推出 Kimi-K2-Base 與 Kimi-K2-Instruct
Kimi K2
Moonshot AI 開源 Kimi K2，提供 Kimi-K2-Base 和 Kimi-K2-Instruct，分別面向微調，以及通用聊天和智能體體驗。Kimi K2 是 MoE 模型，具有 32 billion activated parameters 和 1 trillion total parameters，並在非思考型模型的知識、數學及編碼方面達到最先進表現。
文章説明 Kimi K2 如何透過大規模工具使用數據合成與通用強化學習，培養處理可驗證及非可驗證任務的智能體能力。
更新（0905）：我們已更新權重，提升智能體程式編寫能力並支援256K 上下文，請看這裏
Kimi K2 是我們最新的混合專家模型，啟用參數達 32 billion，總參數量為 1 trillion。在非思考型模型中，它在前沿知識、數學及程式編寫方面達到最先進水平。不過，它的能力不止於此——Kimi K2 經過精心最佳化，適用於智能體任務，不只會回答問題，還會採取行動。
現在，你也能使用它。今天，我們開放以下模型的原始碼：
- Kimi-K2-Base：基礎模型，為希望全面掌控微調和自訂方案的研究人員及開發者提供強大的起點。
- Kimi-K2-Instruct：經後訓練的模型，最適合即插即用的通用聊天及智能體體驗。這是一款快速反應級模型，不會進行長時間思考。
有了 Kimi K2，先進的智能體智能比以往更開放、更易於使用。我們期待看到你會用它創造甚麼。
使用情境
向 Kimi K2 提供工具，並描述你的任務。
它會自動理解如何使用這些工具，並完成工作。你無須為智能體應用程式編寫任何複雜工作流程。
試想使用 Kimi K2，透過 Salary Data Analysis 範例探索遙距工作的薪酬；16 次 IPython 呼叫即可產生統計數據、視覺化圖表，以及呈現分析見解的互動網頁。你亦可以深入探索 Stanford NLP Genealogy，讓 Kimi K2 透過 5 次網頁搜尋、4 次瀏覽、3 次點擊、5 次捲動、6 次編輯及 2 次部署，建立互動網站。又或者，使用 Kimi K2 規劃你夢想中的 Coldplay Tour 2025 倫敦之旅；它透過 17 次流暢的工具呼叫，涵蓋搜尋、日曆、Gmail、航班、Airbnb 及餐廳預訂，為你制定行程。
把 Kimi K2 帶到命令列。它會編輯檔案，也會執行命令。
Kimi K2 能理解你的環境、決定要採取哪些行動，並流暢地執行。
Kimi K2 會編寫以瀏覽器為基礎的 3D Minecraft：以程序生成地形和樹木，並透過 Canvas 函數生成 Kandinsky 風格的手繪方塊紋理。它會管理渲染、執行並偵錯測試案例、在失敗時擷取日誌，並反覆改進程式碼，直至所有測試通過。
為免生疑，終端機只會顯示每段執行軌跡的摘要。在每個例子中，Kimi K2 都會在幕後協調多種工具和命令，以完成複雜目標。例如，Kimi K2 能以 JavaScript 自動開發 Minecraft：它會管理渲染、執行並偵錯測試案例、在失敗時擷取日誌，並反覆改進程式碼，直至所有測試通過。在前置／後置正規化分析中，Kimi K2 會使用 Weights & Biases (wandb) 數據讀取器，從語言模型實驗中提取見解，並生成一份完善的分析報告。將 Flask 專案轉換為 Rust 時，Kimi K2 會有系統地重構程式碼庫，並執行效能基準測試，以確保結果可靠。
Kimi K2 基準測試
評測結果
Kimi-K2-Instruct
Kimi-K2-Base
下表詳列 Kimi-K2-Instruct 的表現，顯示它在各種任務中媲美甚至超越最新的開源及專有模型。這款模型在知識密集型及推理基準測試中表現出色，在自然語言理解、數學與科學、程式碼生成，以及智能體工具運用方面均取得優異成績。
| 基準測試 | 簡介 | Kimi-K2-Instruct | DeepSeek-V3-0324 | Qwen3-235B-A22B （非思考型） | Claude Sonnet 4 （不含延伸思考） | Claude Opus 4 （不含延伸思考） | GPT-4.1 | Gemini 2.5 Flash Preview （05-20） |
|---|---|---|---|---|---|---|---|---|
| 編碼任務 | ||||||||
LiveCodeBench v6 | Pass@1 | 53.7 | 46.9 | 37.0 | 48.5 | 47.4 | 44.7 | 44.7 |
OJBench | Pass@1 | 27.1 | 24.0 | 11.3 | 15.3 | 19.6 | 19.5 | 19.5 |
MultiPL-E | Pass@1 | 85.7 | 83.1 | 78.2 | 88.6 | 89.6 | 86.7 | 85.6 |
SWE-bench Verified | 無測試的單次修補（準確率） | 51.8 | 36.6 | 39.4 | 50.2 | 53.0 | 40.8 | 32.6 |
SWE-bench Verified | 單次嘗試（準確率） | 65.8 | 38.8 | 34.4 | 72.7* | 72.5* | 54.6 | — |
SWE-bench Verified | 多次嘗試（準確率） | 71.6 | — | — | 80.2* | 79.4* | — | — |
SWE-bench Multilingual | 單次嘗試（準確率） | 47.3 | 25.8 | 20.9 | 51.0 | — | 31.5 | — |
TerminalBench | 內部框架（準確率） | 30.0 | — | — | 35.5 | 43.2 | 8.3 | — |
TerminalBench | Terminus（準確率） | 25.0 | 16.3 | 6.6 | — | — | 30.3 | 16.8 |
Aider-Polyglot | 準確率 | 60.0 | 55.1 | 61.8 | 56.4 | 70.7 | 52.4 | 44.0 |
| 工具使用任務 | ||||||||
Tau2 零售 | Avg@4 | 70.6 | 69.1 | 57.0 | 75.0 | 81.8 | 74.8 | 64.3 |
Tau2 航空 | Avg@4 | 56.5 | 39.0 | 26.5 | 55.5 | 60.0 | 54.5 | 42.5 |
Tau2 電訊 | Avg@4 | 65.8 | 32.5 | 22.1 | 45.2 | 57.0 | 38.6 | 16.9 |
AceBench | 準確率 | 76.5 | 72.7 | 70.5 | 76.2 | 75.6 | 80.1 | 74.5 |
| 數學及 STEM 任務 | ||||||||
AIME 2024 | Avg@64 | 69.6 | 59.4* | 40.1* | 43.4 | 48.2 | 46.5 | 61.3 |
AIME 2025 | Avg@64 | 49.5 | 46.7 | 24.7* | 33.1* | 33.9* | 37.0 | 46.6 |
MATH-500 | 準確率 | 97.4 | 94.0* | 91.2* | 94.0 | 94.4 | 92.4 | 95.4 |
HMMT 2025 | Avg@32 | 38.8 | 27.5 | 11.9 | 15.9 | 15.9 | 19.4 | 34.7 |
CNMO 2024 | Avg@16 | 74.3 | 74.7 | 48.6 | 60.4 | 57.6 | 56.6 | 75.0 |
PolyMath-en | Avg@4 | 65.1 | 59.5 | 51.9 | 52.8 | 49.8 | 54.0 | 49.9 |
ZebraLogic | 準確率 | 89.0 | 84.0 | 37.7* | 79.7 | 59.3 | 58.5 | 57.9 |
AutoLogi | 準確率 | 89.5 | 88.9 | 83.3* | 89.8 | 86.1 | 88.2 | 84.1 |
GPQA-Diamond | Avg@8 | 75.1 | 68.4* | 62.9* | 70.0* | 74.9* | 66.3 | 68.2 |
SuperGPQA | 準確率 | 57.2 | 53.7 | 50.2 | 55.7 | 56.5 | 50.8 | 49.6 |
Humanity's Last Exam | 準確率 | 4.7 | 5.2 | 5.7 | 5.8 | 7.1 | 3.7 | 5.6 |
| 一般任務 | ||||||||
MMLU | 精確匹配 | 89.5 | 89.4 | 87.0 | 91.5 | 92.9 | 90.4 | 90.1 |
MMLU-Redux | 精確匹配 | 92.7 | 90.5 | 89.2* | 93.6 | 94.2 | 92.4 | 90.6 |
MMLU-Pro | 精確匹配 | 81.1 | 81.2* | 77.3 | 83.7 | 86.6 | 81.8 | 79.4 |
IFEval | 嚴格提示詞 | 89.8 | 81.1 | 83.2* | 87.6 | 87.4 | 88.0 | 84.3 |
Multi-Challenge | 準確率 | 54.1 | 31.4 | 34.0 | 46.8 | 49.0 | 36.4 | 39.5 |
SimpleQA | 答對率 | 31.0 | 27.7 | 13.2 | 15.9 | 22.8 | 42.3 | 23.3 |
Livebench | Pass@1 | 76.4 | 72.4 | 67.6 | 74.8 | 74.6 | 69.8 | 67.8 |
開放式智能體智能
預訓練是智能體智能的關鍵基礎，透過建立先驗知識，令強化學習（RL）的探索變得可行、高效且具備泛化能力。然而，正如 Ilya Sutskever 亦指出，人類數據是有限的「化石燃料」，其增長速度遠遠落後於算力的增長速度。因此，詞元效率成為 AI 擴展定律中的新關鍵係數。
後訓練在「經驗時代」（David Silver、Richard Sutton，2025）至關重要。在這個時代，大型語言模型愈來愈多透過自行生成的互動來學習，並接收獎勵；這些獎勵讓模型擺脱人類數據的限制，並使其能力超越人類。
Kimi K2 正是基於這些洞見打造。
MuonClip 優化器
粗略而言，在預訓練數據集大致有限、模型配置固定的情況下，token 效率更高的優化器能產生更多智能。我們先前的研究 Moonlight 已證明，在大型語言模型訓練中，Muon 優化器的表現遠勝廣泛使用的 AdamW 優化器。
Kimi K2 的設計旨在進一步擴展 Moonlight；Moonlight 採用與 DeepSeek-V3 相似的架構。根據 scaling-law 分析，我們減少注意力頭的數量，以提升長上下文效率，並提高 MoE 稀疏度，以提升 token 效率。在擴展模型規模的過程中，我們遇到一個持續存在的挑戰：注意力 logits 激增導致訓練不穩定。在我們的實驗中，這個問題使用 Muon 時較常出現，使用 AdamW 時則較少。現有方案，例如 logit 軟封頂及查詢鍵正規化，均不足以解決問題。
為解決這個問題，我們推出 MuonClip 最佳化器，透過我們提出的 qk-clip 技術改良 Muon。具體而言，qk-clip 會在 Muon 更新後直接重新縮放查詢和鍵投影的權重矩陣，從源頭控制注意力 logits 的尺度，從而穩定訓練。具體來説，查詢和鍵投影的縮放方式如下：
qi=ηαWqxi ki=η1−αWkxi
其中 α 是平衡超參數，因此注意力 logit 會變為：
(ηαqi)⊤(η1−αkj)=η qi⊤kj
自適應因子 η（閾值為 t）會在每一步後，根據該步的最大注意力 logit 設定：
η=min(tmaxi,j(qi⊤kj),1)
其中 t 是預先設定的閾值。這是一種通用技術，亦可能適用於其他穩定化用途。
我們的實驗顯示，MuonClip 能有效防止 logit 爆增，同時維持下游任務的效能。實際上，Kimi K2 使用 MuonClip 預訓練了 15.5T tokens，訓練期間沒有出現尖峯，證明 MuonClip 是大型語言模型穩定、大規模訓練的可靠方案。
智能體能力
Kimi K2 強化的智能體能力，源自兩個重要方面：大規模智能體數據合成和通用強化學習。
用於工具使用學習的大規模智能體數據合成：為了教導模型掌握複雜的工具使用能力，我們參考 ACEBench 開發了一套全面的流程，大規模模擬真實世界的工具使用情境。我們以系統化方式逐步拓展數百個領域，涵蓋數千種工具，包括真實的 MCP（Model Context Protocol）工具和合成工具，然後生成數百個配備不同工具集的智能體。
所有任務均以評分準則為基礎，確保評估一致。智能體會與模擬環境及用戶智能體互動，創造逼真的多輪工具使用情境。LLM 評審會按照任務評分準則評估模擬結果，篩選出高質素的訓練數據。這套可擴展的流程能產生多元且高質素的數據，為大規模拒絕採樣和強化學習奠定基礎。
通用強化學習：主要挑戰在於如何將 RL 應用於同時包含可驗證和不可驗證獎勵的任務；數學和競賽程式設計是可驗證任務的典型例子，而撰寫研究報告通常被視為不可驗證任務。除了可驗證獎勵之外，我們的通用 RL 系統還採用自我評判機制，讓模型充當自身的評估器，為不可驗證任務提供可擴展、以評分準則為基礎的回饋。
同時，我們利用具可驗證獎勵的在策略 rollout 持續更新評估器，令評估器不斷提升對最新策略的評估準確度。這可以視為利用可驗證獎勵來改善對不可驗證獎勵的估算方式。
開始使用 Kimi K2
在 kimi.com 試用 Kimi K2
即日起，Kimi 網頁版及手機版用戶可免費選用全新的 Kimi K2 模型。目前，我們的網頁版及 App 版 MCP 功能仍在開發中，希望在未來幾週開始逐步推出。在此期間，歡迎試用 Researcher，率先體驗其 Agent 能力。請注意，Kimi K2 暫未支援視覺功能。
透過 API 使用 Kimi K2
Kimi Platform 提供與 OpenAI/Anthropic 相容的介面，讓你輕鬆將現有應用程式改用 Kimi K2。我們鼓勵開發者探索我們的工具呼叫 API，以建立 Agent 應用程式。詳情請瀏覽 platform.kimi.com。
自行部署 Kimi K2
我們建議使用以下其中一種推理引擎執行 Kimi K2：vLLM、SGLang、KTransformers 或 TensorRT-LLM。詳細部署指引請參閲我們的 GitHub repository。
下一步
Kimi K2 為開放式 Agent 智能奠定了穩固基礎，但通用 Agent 需要具備更進階的能力，例如思考及視覺理解。我們計劃日後為 Kimi K2 加入這些能力。
限制
在內部測試中，我們發現目前的 Kimi K2 模型有一些限制。處理困難的推理任務或工具定義不清晰的情況時，模型可能會生成過多 token，有時導致輸出遭截斷或工具呼叫不完整。此外，啟用工具使用後，模型在某些任務上的表現可能會下降。建構完整軟件專案時，與在 Agent 框架下使用 K2 相比，單次提示詞會令表現下降。我們正致力在未來版本中解決這些問題，並期待收到更多意見。
來源：Moonshot AI：Kimi Blog · kimi.com