Moonshot AI 發佈 2.8T 參數模型 Kimi K3

今天，我們推出 Kimi K3——我們能力最強的模型。Kimi K3 是一個具備 2.8T 參數的模型，以 Kimi Delta Attention 和 Attention Residuals 為基礎建構，具備原生視覺能力及 100 萬 token 的上下文視窗。它是全球首個開放式 3T 級模型，旨在於長程程式編寫、知識工作及推理方面提供前沿智能。

雖然 Kimi K3 的整體表現仍落後於最強大的專有模型 Claude Fable 5 和 GPT 5.6 Sol，但在我們的評測套件中，Kimi K3 展現出前沿水平的表現，持續勝過其他受測模型。

Kimi K3 即日起可於 Kimi.com、Kimi Work、Kimi Code 及 Kimi API 使用。推出時，Kimi K3 預設採用最高思考力度；低及高思考力度模式將於後續更新推出。我們正與推理合作夥伴及開源維護者緊密合作，協調技術細節，確保在整個生態系統中可靠地推出模型。完整模型權重將於 2026 年 7 月 27 日前發布。有關架構、訓練及評測的更多詳情，將與 Kimi K3 技術報告一併發布。

開放式 3T 級模型

Kimi K3 是首個達到 2.8 萬億參數的開放模型。這標誌着 Kimi 持續推進規模化前沿的最新一步：過去十二個月中，有九個月 Kimi 模型均創下開放模型規模的上限。

Kimi K3 以 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 為基礎建構。這兩項架構改良旨在改善資訊沿序列長度及模型深度的流動方式。我們亦提高了混合專家模型 (MoE) 的稀疏度；配合 Stable LatentMoE 框架時，實際啟用 896 個專家中的 16 個。結合改良的訓練及數據方案，這些結構上的改動令整體規模化效率較 Kimi K2 提升約 2.5×，讓模型更有效地將運算資源轉化為智能。

程式編寫

Kimi K3 在長程程式編寫方面表現出色。在只需極少人手監督的情況下，它能持續進行長時間的工程工作、瀏覽大型程式碼儲存庫，並協調使用終端機工具。

Kimi K3 在結合軟件工程與視覺推理的任務中亦表現出色——它會運用螢幕截圖及其他視覺資料，改善遊戲開發、前端及 CAD 工作。

以下案例研究展示了 Kimi K3 的程式編寫能力如何應用於開放式軟件開發及科學研究。

核心程式優化

我們測試了各模型優化 GPU 核心程式的能力。每個模型都在相同的沙盒環境中獨立運作，最多有 24 小時分析效能、改寫及進行基準測試，處理四項涵蓋 AttnRes、KDA 及頭維度為 512 的 MLA 核心程式的任務，並在 NVIDIA Hopper GPU 及另一家供應商的 GPGPU 上進行測試。Kimi K3 的表現媲美 Fable 5（包含後備機制），並大幅勝過 Opus 4.8、GPT 5.6 Sol 及 GPT 5.5。

Claude Fable 5 由第三方評估，其結果可能包含後備機制的表現。大多數模型的部分執行軌跡採用了幅度小且可接受的精度折衷，仍在我們的數值容差範圍內。GPGPU 指用於圖形渲染以外計算工作的通用 GPU。

在 Kimi K3 開發的後期，早期版本的 Kimi K3 已處理團隊大部分的核心程式優化工作。

GPU 編譯器開發

我們進一步測試 Kimi K3 能否從零開始構建 GPU 程式設計系統。Kimi K3 開發了 MiniTriton，一款精簡的 Triton 類編譯器，具備建基於 MLIR 之上的 tile 層級 IR、最佳化流程，以及 PTX 程式碼生成管線。在支援的 roofline 基準測試中，MiniTriton 的效能媲美或優於 Triton 和 torch.compile，在某些工作負載上更勝過 Triton。除了微基準測試之外，MiniTriton 亦能穩定地完成 nanoGPT 端到端訓練並保持收斂；其損失曲線與參考結果高度吻合，只有輕微偏差，證明整個管線能應付實際工作負載。這些結果顯示，Kimi K3 能構建連貫的端到端編譯器，涵蓋 DSL 前端、IR 流程、PTX 程式碼生成及執行時環境，而不只是個別核心；其從零構建的 Tensor Core 路徑，效能已足以媲美經過廣泛最佳化的 Triton 技術堆疊。

遊戲開發與數碼創作

Kimi K3 結合強大的 3D 推理、程式編寫及視覺能力，能將概念、圖片和影片轉化為完整可玩的互動體驗。Kimi K3 透過在程式碼與即時螢幕截圖之間無縫反覆迭代，真正實現「視覺參與迴圈」——即時查看並改進輸出。

晶片設計

作為初步概念驗證，Kimi K3 設計了一款用於運行以自身架構構建的 nano 模型的晶片。在一次 48 小時的自主運行中，K3 使用開源 EDA 工具及 Nangate 45nm 標準元件庫，構建、最佳化並驗證了晶片。晶片面積為 4 mm²，可在 100 MHz 達成時序收斂，並在模擬中維持超過 8,700 tokens/s 的解碼吞吐量；晶片整合了 1.46M 個標準單元、0.277 MB SRAM，以及具備融合反量化功能的 INT4 MAC 陣列。由模型為模型打造的晶片，展現了 K3 的長時程 Agent 能力。

用於研究的程式編寫

Kimi K3 連結科學文獻與可執行程式碼，能自主實作、驗證和分析複雜的計算研究工作流程。

在一個案例中，Kimi K3 約兩小時便完成了一項通常需要有經驗的研究人員花一至兩週完成的工作。為重現計算天體物理學中的 I–Love–Q 普適關係，它檢視並交叉驗證了 20+ 篇論文，實作完整的數值管線，評估 300+ 個狀態方程，找出已發表公式中的不一致之處，生成 3,000+ 行 Python 程式碼，並製作互動式 HTML 儀錶板以探索結果。

知識工作

Kimi K3 推進端到端知識工作能力。除了公開基準測試之外，Kimi K3 (max) 在我們的內部評估中亦持續取得進步；這些評估根據真實用戶與 Agent 工作流程中反覆出現的模式和挑戰制定。Kimi K3 在不同面向實際部署的工作流程中均展現穩定優勢，反映其 Agent 知識工作能力全面提升。

互動式視覺化研究

以下是 Kimi Work 中的 Kimi K3 在財務諮詢和科學研究方面能生成的部分範例：

個案 1：42 年 AI ASIC 產業互動研究網站

一份可逐層深入探索的互動研究報告：涵蓋 42 年 ASIC 產業歷史，經過 120+ 輪遞迴式自我改進而成。Kimi K3 將證據轉化為度身訂造的圖表、動畫示意圖和互動式視覺敍事。它透過 2.8k+ 次網頁搜尋及擷取，以及 1.1k+ 次終端機資料擷取收集數據，涵蓋 87 份季度報告和 99 份原始 PDF，合共 11k+ 頁。

個案 2：聚變產業研究

一份顧問風格的產業報告，附有互動式視覺化內容，包括時間軸、漏斗圖、區間長條圖、甘特圖，以及達到出版品質的投影片。

案例 3：GWTC-5 引力波分析

使用 20+ 個並行子代理分析 391 個引力波事件，產出 7 個科學視覺化圖表、2 張表格，以及整合 10+ 篇論文的文獻綜述。

Kimi K3 亦特別擅長製作資訊圖表風格的簡報，例如下方展示的完全可編輯熱圖和年度報告：

Widgets 和 Dashboard

在 Kimi Work 中，我們推出兩項新功能——Widgets 和 Dashboard——讓你與 Kimi K3 的互動更具視覺化效果，並能持續保留。Widgets 讓你直接在聊天中產生互動元件，並連接本機數據或外部外掛程式，以持續更新。Dashboard 則會把你最關注的小工具集中到一個常駐的個人化檢視畫面，並按主題、項目或目標整理。

影片剪輯

Kimi K3 擅長動態設計、動畫和影片剪輯，因為其原生多模態架構能在同一模型中理解文字、圖像和影片。

在一個例子中，K3 製作了一段採用 3Blue1Brown 風格的動態圖像解説影片，介紹其自身架構，並將技術概念轉化為動畫圖表和轉場效果。

另一個例子中，Kimi K3 從 56 段素材片段中剪輯出自己的預告片，處理片段挑選、配合動作的剪接、精確至影格的節拍同步、音訊處理，以及多輪修訂。製作這種資訊密集的短片，經驗豐富的剪輯師通常需要一至兩個工作天，初學者則需要三至五天。

架構與基礎設施

Kimi K3 建基於 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes)。KDA 為擴展注意力機制提供高效基礎，而 AttnRes 會跨深度選擇性地提取表徵，而非一律累積表徵。兩者共同構成模型的架構骨幹，令模型能夠擴展至遠超萬億參數級別。

Kimi K3 採用 Stable LatentMoE，實際啟用 896 個專家中的 16 個。在這種稀疏度下，路由和最佳化會成為首要挑戰。Quantile Balancing 直接根據路由器分數的分位數推導專家分配，免除啟發式更新和敏感的平衡超參數；Per-Head Muon 則透過獨立最佳化各個注意力頭擴展 Muon，讓大規模訓練能採用更具適應性的學習方式。Sigmoid Tanh Unit (SiTU) 和 Gated MLA 分別改善激活控制和注意力選擇性。這些進展共同實現了 2.8 萬億參數規模下穩定而高效的訓練。

Kimi K3 從 SFT 階段開始採用量化感知訓練，使用 MXFP4 權重及 MXFP8 啟動值，以廣泛兼容不同硬件。為避免專家負載不均在大規模專家並行設定下影響吞吐量，我們引入一種完全平衡的專家並行訓練方法，採用靜態形狀，並確保關鍵路徑上無需進行主機同步。由於推理效率同樣受惠於更大的高頻寬通訊域，我們建議在配備 64 個或以上加速器的超級節點配置上部署 Kimi K3。最後，KDA 為傳統前綴快取帶來新挑戰，因此我們已向 vLLM 社羣貢獻相應的實作，並會與模型一同發布。透過 KDA 預填充快取，即使 Kimi K3 規模龐大且上下文較長，我們仍能以極具競爭力的 token 價格提供服務。

更多技術詳情將於我們即將發布的報告中提供。

使用途徑

• Kimi K3 Agents：從手機應用程式商店下載或更新至最新版本的 Kimi app，適用於 iOS、Android 及 HarmonyOS；你亦可瀏覽 kimi.com。
• 使用 Kimi K3 工作：下載最新的 Kimi Work 桌面應用程式，版本須為 3.1.0 或以上，適用於 Windows 及搭載 Apple silicon 的 Mac。
• 使用 Kimi K3 編寫程式碼：在終端機執行 Kimi Code，並使用 /model 指令選取 Kimi K3。
• 使用 Kimi API 開發：瀏覽 Kimi API Platform 並選取 kimi-k3。快取命中輸入的價格為 $0.30/MTok，快取未命中輸入的價格為 $3.00/MTok，輸出的價格為 $15.00/MTok。官方 Kimi API 採用 Mooncake 的解耦推理架構，在程式編寫工作負載中的快取命中率超過 90%。
• 為你的機構引入 Kimi：Kimi Enterprise 提供企業級數據私隱及成員管理，並完全分隔個人帳戶與組織帳戶。瀏覽定價頁面並選取「取得 Kimi Enterprise」，即可為團隊訂閲。

完整基準測試表

註腳

以下列出的所有 Kimi K3 結果，均在推理力度設為 'max'、temperature = 1.0 及 top-p = 1.0 的設定下取得。視乎基準測試而定，各模型會按下方備註所列，使用 Kimi Code、Claude Code 或 Codex 三種代理測試框架之一進行評估。

程式編寫基準測試

1. DeepSWE。 Kimi K3 使用 Kimi Code 框架進行評估。GLM-5.2 的分數取自 GLM-5.2 發布網誌（https://z.ai/blog/glm-5.2）；其餘分數均取自 DeepSWE 官方排行榜（https://deepswe.datacurve.ai/），Kimi K3 使用 mini-SWE-agent 框架取得 67.3 分。我們報告 DeepSWE v1.1 任務的結果。
2. Terminal-Bench 2.1。 Kimi K3 使用 Kimi Code 框架進行評估。其他模型則列出不同框架中的最高分：GLM-5.2 使用 Claude Code（https://z.ai/blog/glm-5.2）；Claude Opus 4.8 和 Claude Fable 5 使用 Terminus 2（https://artificialanalysis.ai/evaluations/terminalbench-v2-1）；GPT 5.5 和 GPT 5.6 Sol 使用 Codex（https://openai.com/index/previewing-gpt-5-6-sol/）。
3. Program Bench。 Kimi K3 使用 Kimi Code 框架進行評估。GLM-5.2 的分數取自 https://z.ai/blog/glm-5.2；其餘分數均取自 https://www.vals.ai/benchmarks/programbench。
4. SWE Marathon. Kimi K3、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 評測框架進行評測；GPT-5.6 Sol 則使用 Codex 評測框架。GLM-5.2 的分數取自 https://z.ai/blog/glm-5.2。我們的評測基於官方 v1.1 任務的一個經 H20 校準的分支版本（https://www.swe-marathon.org/）：GPU 任務的 Docker 映像檔、效能門檻和參考判定器均已針對 H20 重新校準，而正確性及反作弊驗證器則維持不變。此外，Claude Fable 5 在我們評測的 35% 任務中觸發了後備機制，這可能對其測得的效能造成負面影響。
5. FrontierSWE. Kimi K3 使用 Kimi Code 評測框架進行評測，GPT-5.6 Sol 則使用 Codex 評測框架；其餘所有結果均取自 https://www.frontierswe.com/。支配分數根據原始分數使用官方評測腳本重新計算，截至 July 16, 2026。
6. PostTrain Bench. GLM-5.2、GPT-5.5 和 Claude Opus 4.8 的分數採用官方 PostTrainBench（https://posttrainbench.com/）的結果。Kimi K3、Claude Fable 5 和 GPT-5.6 Sol 使用官方 Harbor 實作，以最高推理力度進行評測，並在 H20 GPU 上執行三次取平均（官方設定使用 H100）——Kimi K3 和 Claude Fable 5 使用 Claude Code 評測框架，GPT-5.6 Sol 則使用 Codex 評測框架。
7. MLS Bench Lite. Kimi K3 使用 Kimi Code 評測框架進行評測；GLM-5.2 和 Claude 模型使用 Claude Code 評測框架；GPT-5.5 和 GPT-5.6 Sol 使用 Codex 評測框架。
8. KCB 2.0. Kimi K3 分別使用 Kimi Code 和 Claude Code 評測框架進行評測；GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 評測框架；GPT-5.5 和 GPT-5.6 Sol 使用 Codex 評測框架。除使用「xhigh」設定的 GPT-5.5 外，所有模型均以最高推理力度進行評測。另須指出，在這項內部基準測試中，有 10% 的任務觸發了 GPT-5.6 Sol 的網絡安全防護機制。

生產力及 Agent 基準測試

1. 在 OfficeQA Pro 中，每個測試案例都會向 Agent 提供整個 PDF 語料庫；所有 PDF 均轉換為圖片，且沒有可供機器讀取的文字。
2. OfficeQA Pro 和 SpreadsheetBench 2。 Kimi K3、GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 評測框架進行評測；GPT 5.5 和 GPT 5.6 Sol 則使用 Codex 評測框架。
3. MCP Atlas. 所有模型均在包含 500 項任務的公開子集上進行評測，回合上限為 100，並由 Gemini 3.1 Pro 擔任評審。
4. AutomationBench. 所有模型均在包含 600 項任務的公開子集上進行評測，其他方面均遵循官方 GitHub 設定。
5. BrowseComp. 我們採用 Claude 模型卡使用的上下文壓縮策略，並在 300K tokens 時觸發。使用 1M-token 上下文視窗且不進行上下文管理時，Kimi K3 的分數為 90.4。Claude Fable 5、Claude Opus 4.8、GPT 5.6 Sol 和 GPT 5.5 的結果引自 https://www.anthropic.com/news/claude-fable-5-mythos-5 和 https://openai.com/index/gpt-5-6/。
6. GDPval-AA、AA-Briefcase 和 APEX-Agents 的分數引自 https://artificialanalysis.ai/。

多模態基準測試

1. 除 ZeroBench 按照官方設定執行五次外，所有多模態評分均為三次執行的平均值。MMMU-Pro 按照官方協定進行評估，保留原始輸入次序，並將圖片放在文字輸入之前。
2. PerceptionBench。 PerceptionBench（https://www.kimi.com/blog/perception-bench）是一個專注於原子級視覺感知能力的基準測試。

限制

1. 對思考歷史的敏感度。 K3 是以保留思考歷史模式訓練的。如果 Agent harness 未能按要求傳回所有歷史思考內容，或在與另一個模型進行中的工作階段切換至 K3，生成質素可能會變得極不穩定。我們建議使用經過相容性驗證的 harness，例如 Kimi Code，並避免在工作階段進行期間切換至 K3。
2. 過度主動。 K3 的訓練特別著重長時程的高難度任務。因此，執行任務時遇到小問題或用戶意圖不明確，K3 可能會代用戶作出意料之外的決定。如果你的應用程式要求 Agent 在明確界定的範圍內運作，並避免過度即興發揮，請在系統提示詞或 AGENTS.md 中對 K3 設定更明確的行為限制。
3. 儘管 K3 整體而言是極具競爭力的模型，但與 Claude Fable 5 和 GPT 5.6 Sol 相比，其用戶體驗仍有明顯差距。