Bamba-9B 混合 Mamba2 模型發佈，vLLM 測試吞吐量最高達 Meta Llama 3.1 8B 的 2.5 倍

IBM、Princeton、CMU 和 UIUC 合作訓練並推出 Bamba-9B 混合 Mamba2 模型，使用完全開放數據。該模型以 2.2T tokens 訓練；在 vLLM 測試中，相較 Meta Llama 3.1 8B，吞吐量最高提升 2.5 倍，延遲改善 2 倍。