Modal 如何為採用萬億參數模型的編碼智能體提供萬億級 token 推理服務

Modal 為編碼智能體優化月之暗面 Kimi K2.6 推理服務，相關服務每日處理數千億 token，累計處理萬億級 token。優化令單副本每用戶解碼速度提升 2.8x，每 GPU 的跨用戶 token 吞吐量提升 5.6x。方法涵蓋推測解碼、KV 快取與負載感知路由，並從單副本優化延伸至多副本部署。