CPU 排程改善推理表現取決於主機瓶頸

2026年11月5日的報道指出，CPU 排程對 AI 推理的幫助並非必然，關鍵在於推理關鍵路徑上的主機端工作是否因 CPU 競爭而延誤。報道提到，只有在這類工作受競爭拖慢時，調整 CPU 排程才可能改善推理表現。測試在刻意施加 CPU 壓力的單節點 vLLM 環境進行；在該測試中，預設排程的 decode 約為 6.6 tok/s，Gthulhu 約為 19.3 tok/s，TTFT 則由約 336 ms 降至 126 ms。報道指出，效果取決於主機端瓶頸，並非所有推理情況都會有相同改善。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。