NVIDIA Dynamo 支援智能體工作階段推理排程

2026年10月9日，PyTorch Blog 報道 NVIDIA Dynamo 以統一的 session ID 識別智能體工作階段。報道指出，這令推理服務由逐請求處理擴展至工作階段感知的服務模式，並支援按工作階段進行路由和排程，以及管理 KV cache。換言之，Dynamo 所述的處理方式不只逐一處理請求，亦把工作階段識別納入推理排程及 KV cache 管理之中。報道的最新進展是，NVIDIA Dynamo 以 session ID 作為識別工作階段的統一方式，支援智能體推理服務的工作階段感知路由、排程和 KV cache 管理。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。