TII 發佈 Falcon Mamba 7B 純 Mamba 模型
Welcome Falcon Mamba: The first strong attention-free 7B model
阿布扎比的 Technology Innovation Institute(TII)發佈 Falcon Mamba 7B,這是一款採用純 Mamba 架構、以 TII Falcon Mamba 7B License 1.0 開放存取的模型。
文章並列 Falcon Mamba 的基準表現與長序列生成結果,也説明 sequential prefill 對可處理提示長度的影響。
Falcon Mamba 是阿布扎比Technology Innovation Institute(TII)推出的新模型,採用TII Falcon Mamba 7B License 1.0。模型開放取用,並已在 Hugging Face 生態系統上架,任何人都可用於研究或應用。
本文會介紹模型背後的設計決策、它如何與其他現有最先進模型競爭,以及如何在 Hugging Face 生態系統中使用。
首個通用大型純 Mamba 模型
以注意力機制為基礎的 Transformer,是現今所有最強大型語言模型採用的主流架構。然而,隨着序列長度增加,注意力機制所需的運算和記憶體成本也會上升,因此在處理長序列方面有根本限制。包括狀態空間語言模型(SSLM)在內的多種替代架構,曾嘗試解決序列擴展限制,但效能仍不及最先進的 Transformer。
透過 Falcon Mamba,我們證明即使不損失效能,也能克服序列擴展限制。Falcon Mamba 以原始 Mamba 架構為基礎,該架構由 Mamba: Linear-Time Sequence Modeling with Selective State Spaces 提出,並加入額外的 RMS 正規化層,確保大規模訓練穩定。這項架構選擇令 Falcon Mamba 能夠:
- 處理任意長度的序列,而記憶體用量不會增加;尤其可在單張 A10 24GB GPU 上運行。
- 生成新 Token 所需時間固定,不受脈絡大小影響(見本節)
模型訓練
Falcon Mamba 使用約 5500GT 資料訓練,主要是 RefinedWeb 資料,另加入來自公開來源的高品質技術資料和程式碼資料。訓練大部分時間採用固定學習率,之後再經過相對較短的學習率衰減階段。在最後階段,我們亦加入少量精心整理的高品質資料,進一步提升模型表現。
評估
我們使用 lm-evaluation-harness 套件,在新版排行榜的所有基準測試上評估模型,然後採用 Hugging Face 分數正規化方式調整評估結果。
model name |
IFEval |
BBH |
MATH LvL5 |
GPQA |
MUSR |
MMLU-PRO |
Average |
|---|---|---|---|---|---|---|---|
| 純 SSM 模型 | |||||||
Falcon Mamba-7B |
33.36 | 19.88 | 3.63 | 8.05 | 10.86 | 14.47 | 15.04 |
TRI-ML/mamba-7b-rw* |
22.46 | 6.71 | 0.45 | 1.12 | 5.51 | 1.69 | 6.25 |
| SSM-注意力混合模型 | |||||||
recurrentgemma-9b |
30.76 | 14.80 | 4.83 | 4.70 | 6.60 | 17.88 | 13.20 |
Zyphra/Zamba-7B-v1* |
24.06 | 21.12 | 3.32 | 3.03 | 7.74 | 16.02 | 12.55 |
| Transformer 模型 | |||||||
Falcon2-11B |
32.61 | 21.94 | 2.34 | 2.80 | 7.53 | 15.44 | 13.78 |
Meta-Llama-3-8B |
14.55 | 24.50 | 3.25 | 7.38 | 6.24 | 24.55 | 13.41 |
Meta-Llama-3.1-8B |
12.70 | 25.29 | 4.61 | 6.15 | 8.98 | 24.95 | 13.78 |
Mistral-7B-v0.1 |
23.86 | 22.02 | 2.49 | 5.59 | 10.68 | 22.36 | 14.50 |
Mistral-Nemo-Base-2407 (12B) |
16.83 | 29.37 | 4.98 | 5.82 | 6.52 | 27.46 | 15.08 |
gemma-7B |
26.59 | 21.12 | 6.42 | 4.92 | 10.98 | 21.64 | 15.28 |
我們亦使用 lighteval,在第一版 LLM Leaderboard 的基準測試上評估模型。
model name |
ARC |
HellaSwag |
MMLU |
Winogrande |
TruthfulQA |
GSM8K |
Average |
|---|---|---|---|---|---|---|---|
| 純 SSM 模型 | |||||||
Falcon Mamba-7B* |
62.03 | 80.82 | 62.11 | 73.64 | 53.42 | 52.54 | 64.09 |
TRI-ML/mamba-7b-rw* |
51.25 | 80.85 | 33.41 | 71.11 | 32.08 | 4.70 | 45.52 |
| SSM-注意力混合模型 | |||||||
recurrentgemma-9b** |
52.00 | 80.40 | 60.50 | 73.60 | 38.60 | 42.60 | 57.95 |
Zyphra/Zamba-7B-v1* |
56.14 | 82.23 | 58.11 | 79.87 | 52.88 | 30.78 | 60.00 |
| Transformer 模型 | |||||||
Falcon2-11B |
59.73 | 82.91 | 58.37 | 78.30 | 52.56 | 53.83 | 64.28 |
Meta-Llama-3-8B |
60.24 | 82.23 | 66.70 | 78.45 | 42.93 | 45.19 | 62.62 |
Meta-Llama-3.1-8B |
58.53 | 82.13 | 66.43 | 74.35 | 44.29 | 47.92 | 62.28 |
Mistral-7B-v0.1 |
59.98 | 83.31 | 64.16 | 78.37 | 42.15 | 37.83 | 60.97 |
gemma-7B |
61.09 | 82.20 | 64.56 | 79.01 | 44.79 | 50.87 | 63.75 |
對標有星號的模型,我們在內部評估任務;對標有兩個星號的模型,結果則取自論文或模型卡。
處理長序列
基於 SSM 模型處理長序列時的理論效率,我們使用 optimum-benchmark 程式庫,比較 Falcon Mamba 和熱門 Transformer 模型的記憶體用量及生成吞吐量。為公平比較,我們將所有 Transformer 模型的詞彙表大小重新調整至與 Falcon Mamba 相同,因為這會大幅影響模型的記憶體需求。
在看結果前,先討論序列中的提示(預填充)部分與生成(解碼)部分有何不同。稍後會看到,與 Transformer 模型相比,預填充的細節對狀態空間模型更重要。Transformer 生成下一個 Token 時,需要關注脈絡中所有先前 Token 的鍵和值,因此記憶體需求和生成時間都會隨脈絡長度線性增加。狀態空間模型只關注並儲存其循環狀態,因此生成長序列毋須額外記憶體或時間。這解釋了 SSM 在解碼階段相對 Transformer 的優勢,但若要充分利用 SSM 架構,預填充階段仍需額外處理。
預填充的標準做法是平行處理整個提示,以充分利用 GPU。optimum-benchmark 程式庫採用這種方式,我們稱之為平行預填充。平行預填充需要把提示中每個 Token 的隱藏狀態存入記憶體。對 Transformer 而言,這部分額外記憶體主要由儲存的 KV 快取佔用。SSM 模型毋須快取,儲存隱藏狀態的記憶體便成為唯一會隨提示長度成比例增加的部分。因此,記憶體需求會隨提示長度上升,SSM 模型也會像 Transformer 一樣失去處理任意長序列的能力。
平行預填充的另一種做法,是逐個 Token 處理提示,我們稱之為循序預填充。與序列平行處理相似,亦可改為一次處理較大的提示區塊,而非個別 Token,令 GPU 使用率更高。循序預填充對 Transformer 意義不大,卻令 SSM 模型重新可以處理任意長的提示。
基於以上説明,我們先測試單張 24 GB A10 GPU 可容納的最大序列長度,結果見下方圖表。批次大小固定為 1,並使用 float32 精度。即使採用平行預填充,Falcon Mamba 也能容納比 Transformer 更長的序列;循序預填充則能充分發揮其潛力,處理任意長度的提示詞
接着,我們在提示長度為 1、生成 Token 數量最多達 130k 的設定下,使用批次大小 1 和 H100 GPU 測量生成吞吐量。結果見下方圖表。我們觀察到 Falcon Mamba 生成所有 Token 時都保持固定吞吐量,CUDA 峯值記憶體亦沒有增加。至於 Transformer 模型,峯值記憶體會上升,生成 Token 愈多,生成速度便愈慢。
如何在 Hugging Face transformers 中使用?
Falcon Mamba 架構將在下一版 Hugging Face transformers 程式庫(>4.45.0)中推出。要使用此模型,請確保安裝最新版本的 Hugging Face transformers,或從原始碼安裝程式庫。
Falcon Mamba 相容於 Hugging Face 提供的大部分 API,例如你熟悉的 AutoModelForCausalLM 或 pipeline:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "tiiuae/falcon-mamba-7b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
inputs = tokenizer("Hello world, today", return_tensors="pt").to(0)
output = model.generate(**inputs, max_new_tokens=100, do_sample=True)
print(tokenizer.decode(Output[0], skip_special_tokens=True))
由於模型體積較大,它亦支援 bitsandbytes 量化等功能,以便在 GPU 記憶體較少的限制下運行,例如:
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
model_id = "tiiuae/falcon-mamba-7b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config)
inputs = tokenizer("Hello world, today", return_tensors="pt").to(0)
output = model.generate(**inputs, max_new_tokens=100, do_sample=True)
print(tokenizer.decode(output[0], skip_special_tokens=True))
我們亦很高興推出 Falcon Mamba 的指示微調版本,使用額外 5 billion Token 的監督式微調(SFT)資料進行微調。這項延伸訓練提升了模型執行指示任務的精確度和效能。你可透過此示範體驗指示模型的能力。我們使用以下格式作為聊天模板:
<|im_start|>user
prompt<|im_end|>
<|im_start|>assistant
你亦可直接使用基礎模型和指示模型的 4-bit 轉換版本。請確保你能使用與 bitsandbytes 程式庫相容的 GPU,才能執行量化模型。
你亦可使用 torch.compile 加快推論;模型載入後,只需呼叫一次 model = torch.compile(model)。
鳴謝
本文作者感謝 Hugging Face 團隊提供順暢支援,並協助將模型整合至其生態系統,特別感謝以下人士:
- Alina Lozovskaya 和 Clementine Fourrier 協助我們在排行榜上評估模型
- Arthur Zucker 負責 transformers 整合
- Vaibhav Srivastav、hysts 和 Omar Sanseviero 協助解答 Hub 相關問題
作者亦感謝 Tri Dao 和 Albert Gu 為社羣實作並開源 Mamba 架構。
來源:Hugging Face Blog · huggingface.co

