Zyphra 提出 OVQ Attention 處理長上下文

2026年10月6日，Zyphra Research 提出 Online Vector-Quantized（OVQ）Attention，用於處理長上下文。報道指，OVQ-attention 具有線性計算複雜度和常數記憶體複雜度，並透過稀疏狀態更新擴大記憶容量。實驗顯示，在上下文長度達 16k 以上時，OVQ-attention 使用的記憶狀態僅為強自注意力基線的一小部分，表現與該基線相若或略有差距；在長上下文任務中，則顯著勝過線性注意力及 SSM 基線。

AI 根據報道生成 · 6 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。