Mistral AI 發佈 Ministral 3B 和 Ministral 8B 邊緣模型
Un Ministral, des Ministraux
Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。
文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。
推出全球最佳邊緣模型
在 Mistral 7B 推出一週年之際,這款模型已為數以百萬計人士帶來獨立前沿 AI 創新。我們很高興推出兩款全新頂尖模型,適用於裝置端運算和邊緣運算場景。我們稱它們為 les Ministraux:Ministral 3B 和 Ministral 8B。
這兩款模型在 10B 以下級別的知識、常識、推理、函式呼叫及效率方面樹立新標準,既可直接使用,也可微調以應對不同用途,從協調智能體工作流程到建立專責任務執行模型皆可。兩款模型均支援最高 128k 上下文長度(vLLM 目前為 32k);Ministral 8B 更採用特殊的交錯式滑動窗口注意力模式,令推理速度更快、記憶體使用更有效率。
用途
愈來愈多創新客戶和合作夥伴要求在本機進行優先保障私隱的推理,以支援裝置端翻譯、無需互聯網的智能助手、本機分析和自主機械人等關鍵應用。les Ministraux 專為這些情境打造,兼具運算效率和低延遲。無論是獨立開發愛好者還是全球製造團隊,les Ministraux 都能應付各式各樣的用途。
與 Mistral Large 等較大型語言模型配合使用時,les Ministraux 亦可在多步驟智能體工作流程中高效地擔任函式呼叫中介。它們可經微調來解析輸入、分派任務,並根據使用者意圖在不同上下文中呼叫 API,同時維持極低延遲和成本。
基準測試
我們展示 les Ministraux 在多項任務上的表現;它們在這些任務中持續勝過同級模型。我們亦使用內部框架重新評估所有模型,以確保公平比較。
預訓練模型

表 1: Ministral 3B 和 8B 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 及 Mistral 7B 在多個類別的比較

圖 1: Ministral 3B 和 8B 基礎模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 及 Mistral 7B 的比較
指令微調模型

表 2: Ministral 3B 和 8B Instruct 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B、Gemma 2 9B 及 Mistral 7B 在不同評估類別的比較。

圖 2: 3B 指令微調模型系列的比較:Gemma 2 2B、Llama 3.2 3B 和 Ministral 3B。圖中展示 Ministral 3B 如何超越規模大得多的 Mistral 7B。

圖 3: 8B 指令微調模型系列的比較:Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Ministral 8B。
供應情況及定價
兩款模型今日起均可使用。
模型 | API | la Plateforme 定價 | 授權 |
|---|---|---|---|
Ministral 8B | ministral-8b-latest | $0.1 / M tokens(輸入及輸出) | Mistral 商業授權 |
Ministral 3B | ministral-3b-latest | $0.04 / M tokens(輸入及輸出) | Mistral 商業授權 |
如要自行部署, 請聯絡我們 洽談商業授權。我們亦會協助你按特定用途對模型進行無損量化,發揮最佳效能。
Ministral 8B Instruct 的模型權重可供研究用途。兩款模型亦將於短期內在我們的 雲端合作夥伴平台上架。
更多內容即將推出
Mistral AI 會繼續推進前沿模型的技術水平。Mistral 7B 推出至今只有一年,但我們現時最小型的模型 Ministral 3B 已在大多數基準測試中超越它。期待你試用 les Ministraux 並向我們提供意見。

來源:Mistral AI · mistral.ai