開放權重模型正縮小與閉源模型的編碼差距
Open Models Are Closing the Coding Gap
開放權重模型正縮小與閉源模型的編碼差距,Kimi K3 在 SWE-bench Verified 獨立測試中取得 93.4%,只落後 Claude Fable 5 1.6 個百分點。
文章並列 SWE-bench Verified 與 Pro 的分數,以及 Kimi K3 的延遲和權重供應限制,呈現開放模型與閉源模型的差距因測試場景而異。
本週有兩款前沿級模型以開放權重形式發布,分別來自兩間風格迥異的實驗室。Moonshot AI 宣佈推出 Kimi K3,這是一款擁有 2.8 萬億參數、支援多模態的模型,上下文視窗達 1M 個 token;公司承諾會在 7 月 27 日前,按經修改的 MIT 授權條款公開完整權重。由前 OpenAI CTO Mira Murati 創立的初創公司 Thinking Machines Lab,則發布了 Inkling。這款擁有 975B 參數的模型採用 Apache-2.0 授權,該公司明確將其定位為供微調使用的基礎模型,而非完成品。
如果你以任何規模運行編碼 Agent,這會改變你可選的方案。一年前,「使用開放模型進行 Agentic 編碼」意味著要接受明顯的能力差距。如今,差距已小至其他因素——成本、數據控制、自訂能力——開始主導決策。
迄今規模最大的開放權重模型發布
Kimi K3 是一款稀疏混合專家模型:總參數量為 2.8T,但每個 token 只會啟動 896 個專家中的 16 個。模型可處理文字、圖像和影片,首次登上 Frontend Code Arena 排行榜榜首,超越頂尖封閉模型。API 定價為每百萬個輸入 token(快取與未快取)0.30–3.00,每百萬個輸出 token 則為 $15。
有兩點值得明確説明。第一,截至本文撰寫時,K3 權重只是已宣佈,尚未開放下載;Moonshot 表示發布日期為 7 月 27 日。第三方可以透過其 API 對模型進行基準測試(下文會詳述),但在檢查點發布之前,沒有人能驗證自行託管時的吞吐量、延遲或硬件效率。第二,自行託管這個模型並非一個週末就能完成的項目:Moonshot 建議使用配備 64 個或以上加速器的配置進行部署,亦未公佈最低可行的 GPU 配置。
Inkling:為微調而打造的西方基礎模型
Inkling 現已推出。這是一款總參數量 975B、啟用參數量 41B 的 MoE,使用 45 萬億個文字、圖像、音訊和影片 token 訓練,上下文視窗最多可達 1M 個 token。發布時即支援 transformers、SGLang 和 llama.cpp,另有 NVFP4 量化版本,以降低推理成本。Thinking Machines 坦言,Inkling 並非熱門基準測試中的頂尖模型;該公司的主張是,Inkling 在 Terminal-Bench 2.1 等 Agentic 評測中,在開放權重模型之間表現出色,而且透過其 Tinker 平台進行微調時,模型的表現格外理想。此外,該公司亦預覽了 Inkling-Small,這款同系列模型的啟用參數量為 12B,適用於對延遲敏感的工作。
Inkling 亦填補了一項策略上的空缺。本週之前,幾乎所有前沿級開放模型都來自中國實驗室,而這些模型的監管前景仍未明朗:美國聯邦及州政府已限制在政府系統上使用 DeepSeek,本月的報道亦指出,當局正考慮實施更廣泛的限制。一款具競爭力、採用 Apache-2.0 授權、由美國開發的開放模型——加入 Nemotron 和 Gemma 行列——意味著開放權重策略不再只有一個地緣政治風險點。
成績比較:開放模型與封閉模型
要最清楚地瞭解差距,可以查看 SWE-bench 的兩個版本:Verified(500 個經人工驗證的 GitHub 問題)和難度更高、推出時間較近的 Pro(公開測試集)。以下 Verified 數據來自 Vals AI 的獨立重新評測(更新於 7 月 17 日);該評測使用同一個精簡、僅限 bash 的 mini-SWE-agent 測試框架評估每個模型,沒有廠商自報成績,也沒有測試框架方面的取巧操作。Pro 數據則來自 Thinking Machines 公佈的比較結果和 morphllm 彙總數據。
| 模型 | 權重 | SWE-bench Verified | SWE-bench Pro(公開測試集) | --- | --- | --- | --- | GPT-5.6 Sol | 封閉 | 96.2% | 64.6% | Claude Fable 5 | 封閉 | 95.0% | 80.0% | Kimi K3 | 開放(權重將於 7 月 27 日推出) | 93.4% | 尚未發布 | Claude Opus 4.8 | 封閉 | 88.6% | 69.2% | GLM-5.2 | 開放 | 82.8% | 62.1% | Inkling | 開放 | 77.6%* | 54.3% |
|---|
*Inkling 的 Verified 評分是 Thinking Machines 自行公佈的數據,測試環境同樣只使用 bash。
K3 的這個數字才是焦點。這款開放權重模型經獨立測試,僅落後 Claude Fable 5 1.6 分,並領先榜上所有其他封閉模型——包括近五分領先 Claude Opus 4.8。以往沒有任何開放模型如此接近第三方 Verified 排行榜的榜首。Vals 的難度分析顯示,即使在估計需要人類工作 1–4 小時的任務上,K3 仍維持 93% 的成績,與 Fable 5 不相上下。
需要如實交代的是:K3 是 Vals 頂尖模型中速度最慢的,平均每項任務延遲 619 秒,是 GPT-5.6 Sol 的 182 秒的 3.4 倍。其權重要到 7 月 27 日才可下載,而且目前沒有人公佈它在 SWE-bench Pro 的成績——在 Pro 上,所有模型的分數都下跌 20 多分;Fable 5 的 80.0% 仍大幅領先最佳開放模型 GLM-5.2 的 62.1%。因此,差距並非在所有方面都已收窄。但在業界三年來一直視為標準的基準測試上,開放模型如今的表現已進入前沿模型的誤差範圍。
開放權重帶來甚麼
成本優勢,前提是規模足夠。程式編碼 Agent 是消耗 Token 的無底洞。單次問題修復就可能消耗數十萬個輸入 Token,而在 CI 中或每次提交拉取請求時執行 Agent 的團隊,月度 Token 用量很快就會達到七位數。達到這個用量後,專用推理叢集的成本,或開放模型 API 供應商便宜得多的每 Token 定價,開始比前沿封閉模型的定價低數倍。低於這個用量時,通常就不划算。購買 GPU 前,先把數字計清楚。
數據主權。自行託管權重後,你的提示詞、程式碼庫和 Agent 執行軌跡都不會離開你控制的基礎設施。對受規管行業的團隊,或任何法律部門在意專有原始碼經第三方 API 傳輸的人來説,這一點已足以説明一切。任何資料處理協議都比不上「封包從未離開大樓」。
微調。封閉模型的能力會固定在供應商訓練出的狀態。開放模型則可以學習你的內部框架、遷移模式和程式碼審查慣例。這正是 Thinking Machines 的核心主張:他們在發布文章中指出,集中訓練、定型後不變的 AI,表現不及由機構自行塑造的 AI,因為許多專業知識只存在於掌握這些知識的人身上。你不必完全接受這套論點,也能看出在自家 monorepo 上微調的中型模型,可以在該 monorepo 內的任務上勝過通用型前沿模型。
切換模型,毋須重寫。權重開放,而且所有成熟的推理服務堆疊都支援 OpenAI 相容 API 時,從一個模型轉到另一個模型只需更改設定。若工作流程與某家供應商牢牢綁定,切換就會變成一項遷移工程。
這種做法也有實際成本:推理叢集的值班責任由你承擔,容量規劃由你負責;模型做出令人費解的事時,也沒有供應商支援工單可提交。開放權重以營運責任換取每月帳單;規模足夠時值得這樣做,規模不足時則不划算。
也別把你的代理框架綁死
如果你的 Agent 執行框架暗中假設只使用一個供應商,模型彈性便毫無價值。供應商打造的編碼工具會針對自家模型進行端到端調校:提示詞、工具定義和模型本身都經過共同訓練。你可以透過 Anthropic 相容 API 轉接層,修改 Claude Code 以連接 Kimi——有人確實用 K2 做過這件事——但試用過的 Thoughtworks 工程師認為,即使 Kimi 的運行成本較低,Claude Code 仍不是最適合 Kimi 的工具。這個執行框架能運作,只是運作得不理想,因為原有的調校成果無法移植。
這並非批評供應商的工具,而是對供應鏈的觀察:如果執行框架和模型來自同一供應商,切換模型的能力便只是理論上的。不依賴特定模型的執行框架——即經過多種模型測試和調校的框架——才能讓像本週這樣的機會真正付諸行動,而不只是引人關注。
使用不在乎模型由誰製作的 Agent 試用這些模型
OpenHands從設計上便是開源且不依賴特定模型:同一個 Agent 可連接閉源前沿 API,或在你自己的叢集上提供服務的開放模型,因此,像本週這樣的機會只需更改設定,毋須遷移。
要判斷某個模型是否值得提供服務,可查看OpenHands Index。這個持續更新的排行榜會以真實軟件工程工作測試閉源和開放模型,涵蓋問題解決、從零開始開發應用程式、前端開發、測試和資訊蒐集,並按準確度、成本和執行時間評分。當有新的開放模型推出,而你想知道它是否值得納入模型輪替名單時,成本與準確度的帕累托曲線正是你需要參考的圖表。基準測試程式碼採用開源形式;如果結果有誤,修正內容會公開發布。
如要在資料所在的環境執行 Agent:Agent Canvas是採用 MIT 授權、可自行託管的編碼工作區,可在本機、Docker 或自己的 VM 上執行,並使用你選擇的任何模型端點。OpenHands Enterprise 則為需要在自家雲端或數據中心部署整套技術堆疊,並連接自行託管模型的團隊,提供 SSO/RBAC、隔離式沙盒、預算管理和可觀測性。
實際可行的下一步:K3 檢查點於 7 月 27 日推出時,或今天就使用 Inkling,建立一個端點,將它接入不依賴特定模型的執行框架,再以自己的待辦清單為測試對象,運行一週。開源和閉源模型之間的差距已經縮小到足以讓你以工作負載,而非排行榜,作為決定依據。
來源:OpenHands 官方博客 · openhands.dev