Baseten Base Labs：模型研究·2026-10-06 10:45· 6 小時前AI 評分45

邁向無限上下文窗口：STILL 的神經式 KV cache 壓縮

06Towards infinite context windows: neural KV cache compactionCheckpoint·APR 2026

AI 導讀

STILL 可在毫秒內將 LLM 的 KV cache 壓縮 8 倍，並在不同領域保留 85% 以上的事實準確度。它以固定的學習型查詢向量對完整 KV cache 執行交叉注意力，在單次前向傳播中生成緊湊快取，並以 KL 蒸餾訓練。