Cartesia 產品與研究·2026-10-08 16:41· 2 小時前AI 評分52

Based：簡單線性注意力語言模型兼顧召回與吞吐量

Based: Simple linear attention language models balance the recall‑throughput tradeoff

AI 導讀

研究團隊提出 Based，一種結合小窗口滑動注意力與線性注意力的循環架構，旨在兼顧語言模型的上下文召回能力與生成吞吐量。在長文檔資訊抽取、閲讀理解等召回密集任務中，Based 是表現最佳的次二次架構，平均準確率較 Mamba 高 6.22 個百分點，但仍低於最強 Transformer 基線。