Mistral AI 發佈 7.3B 參數模型 Mistral 7B
Mistral 7B
Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
Mistral AI 團隊很榮幸推出 Mistral 7B,這是至今同等尺寸中能力最強的語言模型。
Mistral 7B 簡介
Mistral 7B 是一款擁有 7.3B 參數的模型,具備以下特點:
所有基準測試均勝過 Llama 2 13B
多項基準測試均勝過 Llama 1 34B
程式碼能力接近 CodeLlama 7B,同時保留出色英語任務能力
採用分組查詢注意力(GQA),加快推論速度
採用滑動視窗注意力(SWA),以較低成本處理更長序列
我們以 Apache 2.0 授權發布 Mistral 7B,可不受限制地使用。
使用 vLLM推論伺服器和 skypilot,在任何雲端(AWS/GCP/Azure)部署,
在 HuggingFace 使用。
Mistral 7B 可輕鬆微調以執行任何任務。作為示範,我們提供一款經聊天用途微調的模型,其表現勝過 Llama 2 13B chat。
詳細效能
我們將 Mistral 7B 與 Llama 2 系列比較,並自行重新執行所有模型評估,確保公平比較。

Mistral 7B 和不同 Llama 模型在多項基準測試的表現。所有指標中的模型都使用我們的評估流程重新測試,以便準確比較。Mistral 7B 在所有指標上大幅勝過 Llama 2 13B,並與 Llama 34B 相若(由於 Llama 2 34B 未有發布,因此我們公佈 Llama 34B 結果)。它在程式碼和推理基準測試方面亦明顯優勝。
基準測試按主題分類:
常識推理:Hellaswag、Winogrande、PIQA、SIQA、OpenbookQA、ARC-Easy、ARC-Challenge 和 CommonsenseQA 的 0-shot 平均值。
世界知識:NaturalQuestions 和 TriviaQA 的 5-shot 平均值。
閲讀理解:BoolQ 和 QuAC 的 0-shot 平均值。
數學:8-shot GSM8K(maj@8)和 4-shot MATH(maj@4)的平均值
程式碼:0-shot Humaneval 和 3-shot MBPP 的平均值
熱門綜合結果:5-shot MMLU、3-shot BBH,以及 3-5-shot AGI Eval(僅限英語多項選擇題)

比較模型成本與效能時,一個有意思的指標是計算「等效模型尺寸」。在推理、理解和 STEM 推理(MMLU)方面,Mistral 7B 的表現等同於尺寸大 3x 以上的 Llama 2,因而大幅節省記憶體並提升吞吐量。

Mistral 7B 和 Llama 2(7B/13/70B)在 MMLU、常識推理、世界知識和閲讀理解上的結果。Mistral 7B 在所有評估中大幅勝過 Llama 2 13B,唯獨知識基準測試表現相若(這可能是參數數量有限,限制了可壓縮知識量所致)。
注意:我們的評估與 LLaMA2 論文有以下重要分別:
MBPP 使用人工核實的子集
TriviaQA 不提供維基百科背景資料
快速又高效:注意力漂移
Mistral 7B 使用滑動視窗注意力(SWA)機制(Child 等人;Beltagy 等人),每一層只會關注前面 4,096 個隱藏狀態。這項技術的主要優勢,也是最初研究原因,是計算成本呈線性增長 O(sliding_window.seq_len)。實際上,FlashAttention 和 xFormers 的改動,讓序列長度為 16k、視窗為 4k 時,速度提升 2x。特別感謝 Tri Dao 和 Daniel Haziza 協助我們在緊迫時程內加入這些改動。
滑動視窗注意力利用 Transformer 堆疊層,讓模型可以關注視窗大小以外的過往內容:token i 在第 k 層會關注 token 範圍 [i-sliding_window, i],其前一層為 k-1。這些 token 曾關注 [i-2*sliding_window, i]。更高層可取得比注意力模式表面所示更久遠的資訊。

最後,固定的注意力範圍代表我們可以使用循環緩衝區,將快取限制為 sliding_window 個 tokens(詳情請參閲參考實作程式碼庫)。當序列長度為 8192 時,這可節省一半推論快取記憶體,而不影響模型質素。
將 Mistral 7B 微調成聊天模型
為展示 Mistral 7B 的泛化能力,我們使用 HuggingFace 公開提供的指令資料集微調模型,沒有使用任何技巧或專有資料。成果模型 Mistral 7B Instruct 在 MT-Bench 上勝過所有 7B 模型,表現可媲美 13B 聊天模型。

Mistral 7B Instruct 展示了基礎模型可透過簡單微調達到出色表現。它沒有任何審核機制。我們期待與社羣一起研究如何讓模型更好地遵守防護限制,供需要對輸出進行審核的環境部署。
致謝
感謝 CoreWeave 團隊全天候協助管理我們的叢集。我們亦感謝 CINECA/EuroHPC 團隊,尤其是 Leonardo 的營運人員,提供資源和協助。感謝 FlashAttention、vLLM、xFormers、Skypilot 的維護者協助實作新功能,並將方案整合至我們的系統。我們亦感謝 HuggingFace、AWS、GCP 和 Azure ML 團隊積極協助,讓模型能在各處兼容使用。
來源:Mistral AI · mistral.ai