熱點事件持續更新
FP8 KV cache 容量倍增，吞吐效益因情況而異
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年11月1日的報道指出，將 KV cache 由 BF16 降至 FP8，在相同顯存下可令可容納序列數恰好倍增；吞吐量提升幅度則視快取讀取量相對權重讀取量的比例而定。報道標題稱速度提升 1%，但正文的 Qwen3-32B、H100、128k context 例子稱序列數由 0.59 增至 1.18，吞吐量提升 21%，兩者不一致。報道亦稱，Llama-3.3-70B 的權重在 80 GiB H100 上已無法放入，改用 FP8 KV cache 亦無法解決。
AI 根據報道生成 · 2 小時前更新
最新進展11月1日 20:23
Qwen3-32B 案例顯示，FP8 KV cache 令可容納序列數倍增，吞吐量提升 21%。報道時間線
沿着報道，瞭解事件的不同側面。
11月1日
- DEV CommunityKV Cache 減半，容量倍增並帶來 1% 速度提升
將 KV cache 從 BF16 降至 FP8，在相同顯存下可令可容納序列數恰好倍增；吞吐量增幅則取決於快取讀取量相對權重讀取量的比例。例如，Qwen3-32B 在 H100 上使用 128k context 時，可容納序列數由 0.59 升至 1.18，吞吐量提升 21%。Llama-3.3-70B 在 80 GiB H100 上連權重都無法放入，改用 FP8 KV 也無法解決。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。