Mamba-3：以推理為先的狀態空間模型

Goomba Lab 介紹 Mamba-3，一種以推理效率為設計重點的狀態空間模型，並開源其 kernels。模型採用更一般的遞迴、複數值 SSM 與 MIMO；在 1B 尺度下，MIMO 下游任務準確度較一般 Mamba-3 高逾 1 個百分點，且解碼延遲沒有增加，但訓練時間較長。