DeepSeek Sparse Attention 的 Multi-layer Indexer:重疊 token 選擇與注意力
Multi-layer Indexer(MLI)重用相鄰層選取的 token,讓索引器掃描與注意力運算重疊,提升長上下文解碼吞吐量,且無需重新訓練或新增權重。MLI 結合 IndexCache 後,在相同保留率下,DeepSeek-V3.2 解碼速度最高提升 14.5%,GLM-5 最高提升 9.8%;在 128K 上下文、保留率 1/4 時,吞吐量達原模型的 1.32x。