llm-d 1.0 快取親和路由分流機制

2026年11月2日，DEV Community 發布一篇探討 llm-d 1.0 快取親和路由的報道，題目聚焦於何時應停止黏性分流，並涉及臨界點計算與模擬。報道指出，llm-d 1.0 的預設策略會把請求導向已有提示詞前綴的端點，讓請求留在該端點；只有當該端點的佇列超過飽和門檻，路由才改為按負載分流。報道目前提供的內容沒有交代臨界點計算或模擬結果，因此可確認的資訊僅包括這項預設路由規則，以及文章探討的問題。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。