Bamba-9B 混合 Mamba2 模型發佈,vLLM 測試吞吐量最高達 Meta Llama 3.1 8B 的 2.5 倍
Bamba: Inference-Efficient Hybrid Mamba2 Model
IBM、Princeton、CMU 和 UIUC 合作訓練並推出 Bamba-9B 混合 Mamba2 模型,使用完全開放數據。該模型以 2.2T tokens 訓練;在 vLLM 測試中,相較 Meta Llama 3.1 8B,吞吐量最高提升 2.5 倍,延遲改善 2 倍。
文中對照 Bamba-9B 與 Meta Llama 3.1 8B 的 vLLM 推理數據,並列出數學及 MMLU 評測差距,兼顧效率與基準表現。
重點摘要
我們推出 Bamba-9B,這是一款由 IBM、Princeton、CMU 和 UIUC 使用完全開放的資料訓練、著重推論效率的混合式 Mamba2 模型。推論時,它在 vLLM 中相較標準 Transformer 展現 2.5 倍吞吐量提升及 2 倍延遲加速。為促進社羣實驗,模型已可即時用於 transformers、vLLM、TRL 和 llama.cpp。我們亦公開微調、訓練及延伸預訓練配方,以及可保存狀態的資料載入器,邀請社羣一同改良模型。一起突破 KV cache 瓶頸!
Artifacts 📦
動機 🌟
Transformer 模型愈來愈多應用於實際場景,但推論時會遇上記憶體頻寬瓶頸,尤其是在較長上下文模型逐 token 解碼時。低精度、剪枝和壓縮等技術可以紓緩問題,卻沒有解決根本原因:上下文愈長,KV cache 所需記憶體就愈多。Mamba、Griffin 和 DeltaNet 等新興架構透過令 KV cache 大小維持固定,消除了這個瓶頸。近來 Mamba 架構在社羣中大受關注,例如 Jamba 和 Samba 將 Mamba 層與 Transformer 層交錯排列,探索由此形成的混合式 Mamba 模型。純 Mamba2 模型 Codestral Mamba 在編碼任務上展現最先進(SOTA)的成果,而 NVIDIA 的混合式 Mamba2 模型則在長上下文及傳統 LLM 基準測試中表現競爭力十足。近期的創新,例如 Falcon Mamba 和 Falcon 3 Mamba,在推出時均於 Hugging Face 排行榜取得 SOTA 排名。
我們推出以 2.2T tokens 訓練的混合式 Mamba2 模型 Bamba-9B,進一步驗證這些新興架構。IBM、Princeton、CMU 和 UIUC 合作提供完整訓練沿革、模型檢查點及預訓練程式碼,支援重現和實驗。為保留延伸預訓練及微調的彈性,已發布檢查點的訓練資料集不含任何與基準測試對齊的指令資料(FLAN 除外)。我們希望展示混合式 Mamba2 架構在 7B 至 10B 中小型模型規模的實力,並向社羣提供完全可重現、以開放資料集訓練的檢查點。
為促進社羣實驗,我們亦發布分散式、無狀態的隨機洗牌資料載入器,並在 transformers、TRL、vLLM 和 llama.cpp 等開源程式庫中支援混合式 Mamba2 架構。我們期望這些工作能推動 Mamba 架構普及、紓緩 KV cache 瓶頸,並縮小與 SOTA 開源模型的差距。
在 transformers 中使用 🤗
要在 transformers 中使用 Bamba,可沿用熟悉的 AutoModel 類別和 generate API。詳情請參閲 Bamba GitHub 的指引。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")
message = ["Mamba is a snake with following properties "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
評估 📊
我們把評估分為三部分:
- 與 SOTA Transformer 模型比較
- 與 tokens 預算相近的 Transformer 模型比較
- 與其他 Mamba 變體比較。
評估設定 ⚙️ 🖥️: 除了 NVIDIA Mamba2 Hybrid 模型外,我們依照此處的設定和指令碼,重新執行所有模型的基準測試。由於 NVIDIA Mamba2 Hybrid 模型權重並非 Hugging Face transformers 相容格式,我們無法替它執行基準測試,因此採用原論文中的數字。至於 v2 排行榜結果,我們會先進行正規化,再報告正規化後的結果。除另有註明外,所有評估均以分數愈高愈好。
評估重點摘要
Bamba-9B 展示混合式 Mamba 模型與 Transformer 模型相比亦具競爭力。雖然它在數學基準測試及 MMLU 分數(MMLU、GSM8K、MMLU-PRO、MATH Lvl 5)方面仍有差距,但不計這些項目後,其平均表現幾乎追上 Meta Llama 3.1 8B(Llama 為 44.68,Bamba 為 45.53),而後者訓練資料多出7 倍。可透過 (a) 增加 tokens 延長預訓練(MMLU 分數在訓練期間持續提升),以及 (b) 在預訓練/退火階段加入高質素數學資料,來縮窄差距。未來計劃包括採用更新的資料集,例如 Olmo2 mix,並用與基準測試對齊的混合資料(例如 Dolmino mix)進行退火。
Bamba-9B 的結果亦紓緩了外界對 NVIDIA 混合式 Mamba2 模型在排行榜基準測試中分數相對偏低的疑慮。NVIDIA 研究旨在相同條件下比較不同架構。與其研究結果一致,Bamba-9B 再次證明混合式 Mamba2 架構的表現可媲美 Transformer 模型,同時推論效率最高可提升 5 倍。
與 SOTA Transformer 模型比較
我們將 Bamba-9B 與同等規模的 SOTA Transformer 模型比較(Meta Llama 3.1 8B、IBM Granite v3 8B、Olmo2 7B 和 Gemma 2 9B)。雖然基準測試分數有明顯差距,但未必代表 Mamba/Mamba2 模型本身不足。仔細分析後可見,差距主要源於模型使用的訓練資料量,以及退火階段有否加入與基準測試對齊的指令資料。例如,我們有一次小規模實驗加入 metamath,令 GSM8k 分數由 36.77 升至 60.0。我們會在即將發表的論文中詳細分析並分享研究結果。
HF OpenLLM v1 排行榜
HF LLM-V1 + OpenbookQA 和 PIQA:
| 模型 | 平均 | MMLU | ARC-C | GSM8K | Hellaswag | OpenbookQA | Piqa | TruthfulQA | Winogrande |
|---|---|---|---|---|---|---|---|---|---|
| Bamba 9B | 62.31 | 60.77 | 63.23 | 36.77 | 81.8 | 47.6 | 82.26 | 49.21 | 76.87 |
| Meta Llama 3.1 8B | 63.51 | 66.26 | 57.85 | 49.96 | 81.98 | 46.8 | 82.54 | 45.16 | 77.51 |
| Olmo2 7B | 66.17 | 63.96 | 64.51 | 68.01 | 81.93 | 49.2 | 81.39 | 43.32 | 77.03 |
| IBM Granite v3 8B | 67.47 | 65.45 | 63.74 | 62.55 | 83.29 | 47.6 | 83.41 | 52.89 | 80.82 |
| Gemma2 9B | 68.38 | 72.29 | 68.26 | 67.4 | 82.56 | 47.8 | 83.24 | 45.39 | 80.11 |
| Qwen2.5 7B | 70.58 | 75.41 | 63.82 | 83.24 | 80.23 | 48.40 | 81.28 | 56.34 | 75.93 |
HF LLM-V2** :
| 模型 | 平均 | MMLU-PRO | BBH | GPQA | IFEval | MATH Lvl 5 | MuSR |
|---|---|---|---|---|---|---|---|
| Bamba 9B | 10.91 | 17.53 | 17.4 | 4.14 | 15.16 | 1.66 | 9.59 |
| Meta Llama 3.1 8B | 14.27 | 25.46 | 25.16 | 8.61 | 12.55 | 5.14 | 8.72 |
| Olmo2 7B | 13.36 | 22.79 | 21.69 | 4.92 | 16.35 | 4.38 | 10.02 |
| IBM Granite v3 8B | 21.14 | 25.83 | 28.02 | 9.06 | 44.79 | 9.82 | 9.32 |
| Gemma2 9B | 21.79 | 34.84 | 34.81 | 11.07 | 21.28 | 13.44 | 15.3 |
| Qwen2.5 7B | 25.13 | 37.62 | 35.62 | 9.96 | 34.77 | 18.35 | 14.6 |
安全性評估
安全性基準測試對確保 AI 模型生成合乎道德、包容且無害的內容至關重要。我們使用廣為人知的安全性基準測試評估模型,例如 Toxigen(5-shot、logits;著重偵測有害語言)、BBQ(5-shot、生成)、PopQA(5-shot、生成),以及 CrowS-Pairs(5-shot、logits;衡量偏見與公平性)。我們計劃採用全面的 SFT 和 DPO 方法處理這些安全性不足之處。
| 模型 | PopQA | Toxigen | BBQ | Crow-SPairs* |
|---|---|---|---|---|
| Bamba 9B | 20.5 | 57.4 | 44.2 | 70.8 |
| Meta Llama 3.1 8B | 28.77 | 67.02 | 59.97 | 70.84 |
| IBM Granite v3 8B | 27.5 | 79.9 | 82.1 | 75 |
| Olmo2 7B | 25.7 | 63.1 | 58.4 | 72 |
| Olmo1.5 7B | 20.4 | 56.7 | 53.3 | 72.2 |
| Gemma2 9B | 27.3 | 69.6 | 59.9 | 71.7 |
| Qwen2.5 7B | 18.2 | 64.1 | 78.1 | 70 |
*數值愈低愈好
與 tokens 預算相近的 Transformer 模型比較
我們挑選幾款具代表性的模型:使用相同資料訓練的 Olmo 7B(2024)、Meta Llama 2 7B(2023),以及 IBM Granite 7B(2023),三者均以約 2T tokens 訓練。在這些 Transformer 模型中,Olmo 7B 在 8 項主要基準測試的平均分數最高。Bamba-9B 的表現勝過以相同 tokens 數量和資料集訓練的 Olmo 7B。由於 Bamba-9B 有 9B 參數,直接比較仍有難度,但重點是,混合式 Mamba2 模型與使用相近 tokens 預算訓練的 Transformer 模型具競爭力。
| 模型 | 平均 | MMLU | ARC-C | GSM8K | Hellaswag | OpenbookQA | Piqa | TruthfulQA | Winogrande |
|---|---|---|---|---|---|---|---|---|---|
| Bamba 9B (2.2T) | 62.31 | 60.77 | 63.23 | 36.77 | 81.8 | 47.6 | 82.26 | 49.21 | 76.87 |
| Olmo1.5 7B (2T) | 55.8 | 53.38 | 50.51 | 27.67 | 79.13 | 45.2 | 81.56 | 35.92 | 73.09 |
| Bamba 9B (2T) | 59.11 | 59.05 | 57.25 | 24.03 | 83.66 | 47.6 | 83.62 | 38.26 | 79.4 |
| Meta Llama2 7B (2T) | 53.78 | 46.64 | 52.65 | 13.57 | 78.95 | 45.2 | 80.03 | 38.96 | 74.27 |
| IBM Granite 7B (2T) | 52.07 | 49.02 | 49.91 | 10.84 | 77.0 | 40.8 | 80.14 | 38.7 | 70.17 |
Mamba/Mamba2 比較
與採用 Mamba/Mamba2 架構的語言模型比較
過去 6 個月開始出現多款採用 Mamba/Mamba2 架構的模型(例如 NVIDIA hybrid Mamba2、Codestral Mamba、Falcon Mamba,以及 Zamba 7B v1),進一步提升這些架構的表現,展示其推論效能優勢,並縮窄與 Transformer 模型在基準測試上的差距。我們比較 Bamba-9B、NVIDIA hybrid Mamba2、Zamba 和 Falcon Mamba 的 8 項主要基準測試。
Falcon Mamba 是純 Mamba 模型;Zamba 每 6 個 Mamba 層共用一個注意力層;Bamba-9B 和 NVIDIA 則都是在 Mamba2 層之間穿插完整注意力層的混合式模型。Falcon Mamba 以 5.5T tokens 訓練,整體表現最佳,但在 Mamba 架構真正擅長推論的長上下文任務上表現如何,仍有待探討。Zamba 的訓練 tokens 較少(1T),但採用不同的混合式架構,並使用與基準測試對齊的指令資料集,包括由更強大的語言模型生成的資料。Bamba-9B 和 NVIDIA hybrid Mamba2 相當相似(差異詳見模型架構一節),但 Bamba-9B 以 2.2T tokens 訓練,NVIDIA Hybrid Mamba 則以 3.5T tokens 訓練。
備註:本文撰寫時,Falcon3 Mamba 7B 已推出,成績比 Falcon Mamba 更好。我們計劃善用 Falcon3 Mamba 的經驗,改進下一版 Bamba。
| 模型 | 平均 | MMLU | ARC-C | GSM8K | Hellaswag | OpenbookQA | Piqa | TruthfulQA | Winogrande |
|---|---|---|---|---|---|---|---|---|---|
| Bamba 9B | 62.31 | 60.77 | 63.23 | 36.77 | 81.8 | 47.6 | 82.26 | 49.21 | 76.87 |
| NVIDIA Mamba2 Hybrid 8B* | 58.78 | 53.6 | 47.7 | 77.69 | -- | 42.8 | 79.65 | 38.72 | 71.27 |
| Zamba 7B | 64.36 | 57.85 | 55.38 | 61.33 | 82.27 | 46.8 | 82.21 | 49.69 | 79.32 |
| Falcon Mamba 7B | 65.31 | 63.19 | 63.4 | 52.08 | 80.82 | 47.8 | 83.62 | 53.46 | 78.14 |
* 結果取自 NVIDIA 論文。
💡 備註:訓練資料集及訓練期間所用 tokens 數量不同,令這些模型難以直接比較。這張表的重點是,混合式 Mamba2 架構能提供具競爭力的結果,訓練效率亦幾乎與 Transformer 相當。此外,即使在 Mamba2 層之間穿插完整注意力層,推論效率仍可大幅提升(理論上最高 5 倍)。我們正使用最新資料集繼續預訓練 Bamba-9B,並計劃隨模型改進發布後續檢查點。
推論效率 ⚡🏎️
KV cache 瓶頸是大型語言模型面對的重大挑戰,因此出現了量化、剪枝,以及 Mamba2、線性 Transformer 和 RetNet 等新架構方案。即使是標準 Transformer,要在大規模環境實現推論效率,通常亦需要自訂核心。Bamba-9B 受惠於社羣提供的核心支援,並透過整合 vLLM 模型服務框架進一步改進。
我們透過這個 PR追蹤 vLLM 整合進度,並在 NVIDIA H100 80GB GPU 上以 Bamba-9B 對 Meta Llama 3.1 8B 作基準測試。輸入大小為 1K tokens,輸出大小介乎 2K 至 64K,並測試不同批次大小;我們量度吞吐量(tokens/秒)和延遲。結果顯示,批次大小和序列長度增加時,Bamba-9B 的吞吐量及延遲表現比 Transformer 模型最多提升 2 至 2.5 倍。這些提升有助改善即時應用和 GPU 使用率;吞吐量比率愈高(>1)、延遲比率愈低(<1)愈理想。
![]() |
|---|
| 圖 1:Bamba 的吞吐量提升 |
![]() |
| 圖 2:Bamba 的延遲改善 |
我們的分析顯示,在 H100 NVIDIA GPU 上,當推論轉為受記憶體瓶頸限制時(生產環境通常會出現這種情況),預期可加速 5 倍,詳見附錄算術強度一節。不過,vLLM 目前尚未實現這種加速,主要有三個原因:
- Bamba 及任何採用 Mamba2 的架構均不支援分塊預填充
- 記憶體配置方式假設使用標準 Transformer KV cache
- Mamba2 核心尚未針對 H100 GPU 最佳化
我們正在此處追蹤這些問題。
模型架構
我們以 NVIDIA hybrid Mamba2 為基礎設計模型架構,並作出以下改動。
| 參數 | Bamba 9B | NVIDIA hybrid Mamba2 8B |
|---|---|---|
| 層數 | 32 | 29 |
| 注意力層數 | 3 | 4 |
| Mamba2 層數 | 29 | 25 |
| MLP 擴展因子 | 3.5 | 4 |
| 詞彙表大小 | 128k | 256k |
| 非嵌入參數 | 8.8B | 8.6B |
| RoPE | 是 | 否 |
| 閘控線性單元 | 是 | 否 |
Mamba2 層共有 8B 參數,完整注意力層有 800M,嵌入層則有 1B。隱藏狀態大小為 4K;完整注意力採用 GQA,設有 8 個 KV 頭和 32 個注意力頭;Mamba2 層的頭維度為 64,卷積濾波器大小為 4。兩款模型最主要的差異,是 Bamba-9B 將 NVIDIA hybrid Mamba2 模型的完整注意力層由 4 層減至 3 層,並加入 RoPE 嵌入。
資料
自 The Pile 資料集問世以來,開源資料已有長足進步。我們開始訓練此模型時,最佳開源資料是 Dolma v1.7;Olmo 模型及 Hugging Face 資料團隊的消融實驗已證明其表現相當出色。此後亦推出多個質素更高的開源資料集,例如 DCLM、FineWeb-2 和 Olmo2 mix。
第一階段訓練使用 Dolma v1.7,所選資料配比如下圖所示。第二階段訓練則使用 Fineweb-edu 和 Cosmopedia。我們以原始格式下載這些資料集,並使用 Ray 框架在內部大型 Red Hat Open Shift 叢集上進行 token 化。我們計劃很快發布已 token 化並格式化的 parquet 資料,以便重現實驗。
預訓練第一階段的資料配比
預訓練
Bamba 的預訓練分階段進行:我們先以 1.8B 模型規模和 100B tokens 執行多項消融實驗,以確定合適的學習率。研究結果令人鼓舞,因此我們使用 Dolma 混合資料,以 3B 規模將模型訓練至 2T tokens。我們亦以相同資料配比,按 Meta Llama 架構訓練 3B Transformer 模型,發現 Bamba 表現相若或更佳,與 NVIDIA 同期研究的結論一致。最後,我們設計 9B 模型架構,並以相同資料配比重新訓練。所有模型均使用 PyTorch FSDP 訓練。
訓練詳情: 我們使用 cosine 學習率排程,最高學習率為
3e−4,以 2000 個步驟作二次預熱,衰減因子為 0.033,並在 2T tokens 的訓練期間將最終學習率降至1e−5。最佳化器採用 AdamW,β1為 0.9、β2為 0.95。權重衰減為 0.1、序列長度為 4096,全域批次大小為每批 1.5M tokens。我們使用 IBM Cloud Vela 生產叢集的 192 部 A100 GPU,歷時 2 個月訓練此模型。該叢集由 Red Hat OpenShift 管理。訓練工作曾中斷 3 次,原因是工作部署錯誤及硬件故障;硬件相關的工作故障由 autopilot 自動偵測。我們亦使用 Hugging Face FineWeb-edu 和 Cosmopedia 的高質素資料進行第二階段訓練,額外訓練 200B tokens。學習率為 2e−5,並使用 cosine 排程逐步降低,令分數有所提升。我們正試驗更多高質素資料,日後推出的檢查點亦會秉承開源承諾一併發布。
資料載入器
要訓練高質素語言模型有多個重要環節,資料載入器是其中之一。過去 18 個月,我們一直開發符合大型分散式訓練需求的資料載入器,並將其開源,讓其他人可配合自己選用的框架使用。我們已在 Bamba 模型訓練中採用,並整合至 Torch Titan。據我們所知,至今只有這款開源資料載入器提供如此豐富的功能。
資料載入器提供以下主要功能:
- 具狀態且支援檢查點,確保可在 epoch 中途順暢恢復
- 自動重新調整,配合工作負載和 GPU 配置變化
- 資料串流,以零額外開銷進行隨機洗牌
- 支援非同步分散式運作,無需點對點通訊
- 支援動態混合資料及即時 token 化
- 原生支援 PyTorch,並具備模組化及可擴充特性
我們已在數以百計的訓練工作中實戰驗證此資料載入器,並持續運作數月加以最佳化。主要程式碼位於我們儲存庫的此處;我們亦與 Torch Titan 團隊合作,將其放在此處。我們正與 Meta PyTorch 團隊合作,把此資料載入器納入 PyTorch 核心。
量化
我們最近開源了一套模型量化框架,並透過此框架使用 llm-compressor 將 Bamba 檢查點量化為 fp8。在 OpenLLM 排行榜的所有基準測試中,準確度損失都很小。具體而言,Bamba 9B 的 V1 平均分數只出現可忽略的 0.1 差異(由 62.31 變為 61.5);V2 平均分數則下降 0.9(由 10.91 變為 10.04)。量化檢查點亦與 bf16 版本一同發布。這亦驗證 Bamba 模型和 SOTA Transformer 模型一樣適合量化。
我們正為此模型啟用 vLLM 的 fp8 推論支援,當中需要更新核心。線性層和完整注意力層較容易處理,但 Mamba2 層需要更新 Triton/CUDA 核心,才能支援 fp8。
延伸上下文長度
我們正探索多種延伸長上下文的方法,首先會在完整注意力層套用 LongRope。以 PhoneBook 檢索作任務的初步結果顯示,LongRoPE 可應用於此模型。我們將 Bamba-9B 的上下文長度延伸 4 倍和 8 倍,並將延伸上下文後的 Bamba-9B 與三個 Meta Llama 版本比較:LLama2、Llama3、LLama3.1,其訓練上下文長度分別為 4K、8K 和 128K。結果如下圖所示。
我們觀察到,無需任何調整,延伸上下文後的 Bamba-9B 在 16K 上下文長度以內表現出色,大幅勝過原版 Bamba-9B、Llama2-7B 和 Llama3-8B,並與 Llama3.1-8B 表現相若。序列長度達 32K 時,LLama3.1 的成績最佳。我們計劃在長上下文版本準備就緒後發布。
總結 🎯
Bamba-9B 由 IBM、Princeton、CMU 和 UIUC 合作開發,是一款表現出色的混合式 Mamba2 模型。模型完全以開放資料集訓練,我們將發布中途及最終檢查點。為促進社羣實驗,模型已可即時用於 transformers、vLLM、TRL 和 llama.cpp。我們亦發布微調、訓練和延伸預訓練配方,以及具狀態的資料載入器,歡迎社羣進一步改良此模型。
重點摘要:
推論效率:Bamba-9B 大幅提升吞吐量和延遲表現,增強即時應用效能。以 vLLM 與 Llama 3.1 8B 比較的基準測試顯示,吞吐量提升 2.5 倍、延遲改善 2 倍,後續還有更多成果!
基準測試表現具競爭力:Bamba-9B 與 Meta Llama 3.1 8B 等最先進(SoTA)Transformer 模型表現相若。不計數學和 MMLU 任務時,平均基準測試表現與它們相當;透過延長訓練及採用聚焦數學的資料集,仍有機會縮窄差距。
開放協作:模型開發使用開放資料,促進 AI 社羣的透明度和可重現性。
如欲瞭解詳情及取得模型和相關資源,請瀏覽 Bamba GitHub 儲存庫。
未來工作
我們打算探索多個方向,進一步提升推論效率的 Mamba2 混合式架構:
- 透過使用更多資料持續預訓練,繼續改良模型;歡迎社羣提供意見,讓我們一同打造出色的 Mamba2 混合式模型。
- 使用 Tuluv3、agent instruct 和 Anteater 等 SFT 資料集,對基礎模型進行 SFT,並與其他最先進的指令微調模型比較。
- 與社羣合作,讓模型支援 vLLM。分塊預填充及此架構的記憶體配置問題是關鍵。
- 啟用
fp8核心,進一步加快推論。 - 改善訓練速度,並應用
torch.compile及fp8訓練;我們團隊已與 Meta 合作,在 Transformer 架構上示範這兩項技術。 - 將上下文長度延伸至 1M+
貢獻者
- 資料收集及整理:感謝 AllenAI 團隊提供高質素開源資料集 Dolma,以及 Hugging Face 資料團隊提供 FineWeb-edu 和 Cosmopedia。這些重大貢獻令我們得以建立此模型。
- 資料前處理:感謝 IBM 內部資料前處理團隊,特別是 Tuan Hoang Trong、Syed Zawad、Jay Gala 和 Ryan Gordon,協助大規模 token 化。token 化程式碼可在此處取得。
- 模型架構:模型架構由 Princeton、CMU、IBM 和 UIUC 共同設計,參與人員包括:Tri Dao(Princeton)、Albert Gu(CMU)、Linsong Chu(IBM)、Davis Wertheimer(IBM)、Minjia Zhang(UIUC)、Mudhakar Srivatsa(IBM)和 Raghu Ganti(IBM)。
- 模型訓練:模型主要由 IBM 團隊使用 Tri Dao 和 Albert Gu 編寫的 Mamba2 核心及層實作進行訓練。主要參與的 IBM 成員包括 Linsong Chu、Divya Kumari、Davis Wertheimer、Raghu Ganti 和 Dakshi Agrawal。
- 模型微調:IBM 團隊的 Sukriti Sharma 和 Anh Uong 在 TRL 中啟用並驗證模型微調。
- 模型推論:模型在
transformers、vLLM和llama.cpp中的推論功能,建基於 Princeton 和 CMU 編寫的核心。IBM 團隊正與社羣合作,讓模型能在不同生態系統中使用。團隊成員包括 Fabian Lim、Antoni viros i Martin、Adnan Hoque、Jamie Yang、Nelson Nimura Gonzalez、Joshua Rosenkranz、Nick Hill 和 Gabe Goodhart。 - 量化:量化工作由 IBM 團隊的 Naigang Wang 和 Charlie Liu 領導。
- 評估:評估工作由 IBM 團隊負責,長上下文評估則由 UIUC 執行;參與人員包括 Yotam Perlitz、Ofir Arviv、Michal Shmueli-Scheuer(IBM)、Haoechen Shen 和 Minjia Zhang(UIUC)。
最後,感謝領導層支持這項工作:Priya Nagpurkar、David Cox、Sriram Raghavan、Aya Soffer、Ruchir Puri 和 Mukesh Khare。
我們亦感謝社羣,尤其是 Hugging Face 的 Pablo Montalvo-Leroux、Aritra Roy Gosthipaty 和 Vaibhav Srivastav,以及 Contextual AI 的 Stas Bekman,為本文和 transformers 的 PR 提供寶貴意見。此外,亦感謝 Neural Magic 的 Tyler Michael Smith 協助推進 vLLM 整合。
衷心感謝 Meta PyTorch、AllenAI 和 Hugging Face 團隊對開放倡議的貢獻;PyTorch FSDP 讓我們順利訓練此模型,而 Dolma 和 Fineweb/Cosmopedia 的資料亦令模型得以面世!
附錄:算術強度
使用以下符號:
$b$: 批次大小
$s$: 序列長度
$h$: 隱藏狀態大小 (4096)
$d$: 頭維度 (128)
$l$: 總層數 (32)
$l_{attn}$: 注意力層數 (3)
$l_{ssd}$: SSD 層數 (29)
Attention 和 Bamba 模型均採用 4:1 的 GQA(用於注意力層)、3.5 的 MLP 擴展比例,並在 MLP 區塊中使用 GLU。Bamba 的 SSD 層設定為狀態維度等於 $d$、頭維度等於 $d/2$,頭數 = $4h/d$。不計嵌入層的模型大小如下:
| 模型類型 | 模型大小 |
|---|---|
| attention | $13h^2l$ |
| Bamba | $15.5h^2l$ |
在預填充階段,模型所需的運算及記憶體(讀取 + 寫入)資源如下:
| 模型類型 | 預填充運算量 | 預填充記憶體 |
|---|---|---|
| attention | $26bsh^2l + 4bs^2hl$ | $13h^2l + 0.5bshl$ |
| Bamba | $31bsh^2l + 4bs^2hl_{attn} + 4bsdhl_{ssd}$ | $15.5h^2l + 0.5bshl_{attn} + 4bdhl_{ssd}$ |
在解碼階段,模型所需的運算及記憶體(讀取 + 寫入)資源如下:
| 模型類型 | 解碼運算量 | 解碼記憶體 |
|---|---|---|
| attention | $26bh^2l + 4bshl$ | $13h^2l + 0.5bshl$ |
| Bamba | $31bh^2l + 4bshl_{attn} + 4bdhl_{ssd}$ | $15.5h^2l + 0.5bshl_{attn} + 4bdhl_{ssd}$ |
下圖比較 Bamba 和 LLaMa 模型在預填充階段的運算 FLOPs,以及解碼階段的記憶體(讀取 + 寫入)大小。請注意,比率低於 1 較理想。由於推論吞吐量主要受解碼階段限制,序列長度較大(> 16K)時,Bamba 相較 LLaMa 的潛在加速幅度為 5 倍。目前在 vLLM 的量度結果約為 2.5 倍,我們預期不久後會有所提升。
來源:Hugging Face Blog · huggingface.co

