熱點事件持續更新
復旦團隊提出滑窗線性注意力方案
1 篇報道1 個報道來源3 小時前更新
先了解這件事
AI 綜述
2026年11月1日，復旦創智邱錫鵬團隊比較長上下文混合架構中的滑窗注意力與線性注意力。研究發現，滑窗注意力較擅長長度外推，線性注意力則在長文續訓中的擬合能力較強。團隊據此提出滑窗線性注意力（SWLA），並在 GLA-NoPE、GDN-NoPE 模型上測試：兩者於 RULER 的 NIAH-SK1 任務中，均由 4k 外推至 64k，達到 16 倍免訓練外推，準確率保持 100%。研究指出，混合架構的優勢來自不同注意力模組之間的互補。
AI 根據報道生成 · 3 小時前更新
最新進展11月1日 12:21
團隊提出 SWLA，讓兩款模型在該任務中由 4k 外推至 64k，準確率保持 100%。報道時間線
沿着報道，瞭解事件的不同側面。
11月1日
- 新浪科技混合架構用線性注意力還是滑窗注意力？復旦創智 OpenMOSS 團隊：我全都要
復旦創智邱錫鵬團隊比較長上下文混合架構，發現滑窗注意力與線性注意力各有優勢：前者較擅長長度外推，後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力（SWLA），令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k，達到 16 倍免訓練外推並保持 100% 準確率。研究指出，混合架構的優勢來自不同注意力模組的互補。
本事件熱度走勢
當前熱度 9·可比範圍峯值 10（11月1日 13:00）·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體，範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度；鍵盤可用左右方向鍵切換。