跳到正文
Mistral AI·· 2023-12-11精選AI 評分84

Mistral AI 的 Mixtral 8x7B 採用稀疏專家混合架構並提供開放權重

Mixtral of experts

AI 導讀

Mistral AI 發佈開放權重模型 Mixtral 8x7B,並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。

推薦理由

Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照,可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。

正文 · 繁體中文

Mistral AI 繼續致力為開發者社羣提供最佳開放模型。要推進 AI 發展,就必須採取新技術方向,而非只重用廣為人知的架構和訓練範式。最重要的是,必須讓社羣受惠於原創模型,促成新的發明和用途。

今天,團隊很高興推出 Mixtral 8x7B,這是一款高質素、稀疏專家混合模型(SMoE),並以開放權重發布。模型採用 Apache 2.0 授權,在大部分基準測試中勝過 Llama 2 70B,推論速度快 6 倍。它是採用寬鬆授權的最強開放權重模型,整體成本與效能取捨亦最佳。尤其在大部分標準基準測試中,它的表現與 GPT3.5 相若或更佳。

Mixtral 具備以下能力。

  • 它可順暢處理長達 32k tokens 的上下文。

  • 它支援英語、法語、意大利語、德語和西班牙語。

  • 它在程式碼生成方面表現出色。

  • 它可微調成遵循指示的模型,在 MT-Bench 取得 8.3 分。

以稀疏架構推進開放模型前沿

Mixtral 是稀疏專家混合網絡,屬於僅解碼器模型,其前饋區塊會從 8 組不同參數中選取。在每一層處理每個 token 時,路由網絡會選出其中兩組(即「專家」)來處理 token,並以加法方式合併輸出。

這項技術可增加模型參數量,同時控制成本和延遲,因為每個 token 只會使用整套參數中的一部分。具體而言,Mixtral 總共有 46.7B 個參數,但每個 token 只使用 12.9B 個。因此,它處理輸入和生成輸出的速度及成本,與 12.9B 模型相同。

Mixtral 使用從開放網絡擷取的資料進行預訓練;我們會同時訓練專家和路由器。

效能

我們將 Mixtral 與 Llama 2 系列及 GPT3.5 基礎模型比較。在大部分基準測試中,Mixtral 的表現與 Llama 2 70B 和 GPT3.5 相若或更佳。

Performance overview

下圖比較品質與推論預算之間的取捨。與 Llama 2 模型相比,Mistral 7B 和 Mixtral 8x7B 屬於高效率模型系列。

Scaling of performances

下表列出上圖的詳細結果。

Detailed benchmarks

幻覺和偏見。為了找出可透過微調/偏好建模修正的問題,我們測量了基礎模型在 BBQ/BOLD 上的表現。

BBQ BOLD benchmarks

與 Llama 2 相比,Mixtral 在 BBQ 基準測試上的偏見較少。整體而言,在 BOLD 上 Mixtral 較 Llama 2 表現出更多正面情緒,各個維度內的差異則相若。

語言。Mixtral 8x7B 精通法語、德語、西班牙語、意大利語和英語。

Multilingual benchmarks

指令微調模型

我們與 Mixtral 8x7B 一同發布 Mixtral 8x7B Instruct。此模型透過監督式微調和直接偏好優化(DPO)進行優化,能審慎遵循指示。在 MT-Bench 中,它取得 8.30 分,是表現最佳的開源模型,性能可媲美 GPT3.5。

注意:你可以透過精心設計的提示,要求 Mixtral 禁止某些輸出,以構建需要嚴格審核的應用程式,此處有示例。適當的偏好微調亦可達到此目的。請留意,如果沒有這類提示,模型會照做任何指示。

使用開源部署堆疊部署 Mixtral

為了讓社羣能透過全開源堆疊執行 Mixtral,我們已向 vLLM 專案提交改動,整合 Megablocks CUDA 核心以提升推論效率。

Skypilot 可在雲端任何執行個體部署 vLLM 端點。

在我們的平台使用 Mixtral。

我們目前在 mistral-small 端點後方執行 Mixtral 8x7B,該端點已開放測試。註冊即可搶先使用所有生成和嵌入端點。

致謝

感謝 CoreWeave 和 Scaleway 團隊在模型訓練期間提供技術支援。

來源:Mistral AI · mistral.ai