英偉達優化vLLM使Kimi K3推理速度提升1.68倍 3小時前

2026年10月18日，英伟达CentML工程师Benjamin通过大规模Megakernel融合技术，优化vLLM框架，显著提升Kimi K3（2.8万亿参数）模型在GB300 NVL72硬件上的推理性能。优化后达423 tok/s/user，较此前提升1.68倍。该Megakernel采用Cute DSL编写，含1.2万行代码，专为解码任务设计。此举标志着AI辅助生成高性能计算内核的重要进展。英伟达同步推进DeepSeek V4.1等模型的vLLM适配优化。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。