跳到正文
IT之家·· 2026-10-18AI 評分44

英偉達優化 Kimi K3 模型推理速度,提升 1.68 倍

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

AI 導讀

英偉達透過上游 vLLM 優化,令 2.8 萬億參數的 Kimi K3 達到 423 tok/s/user;在相同 GB300 NVL72 硬件上,推理速度提升 1.68 倍。這項優化由英偉達 CentML 工程師 Benjamin 完成,使用 Cute DSL 編寫解碼專用內核,並以大規模 Megakernel 融合,包含 1.2 萬行程式碼。

正文

IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每 Token)的推理速度,对比相同硬件(GB300 NVL72)性能提升 1.68 倍。

据介绍,该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合,使用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码,代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍。

IT之家注意到,英伟达除此之外,还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

來源:IT之家 · ithome.com