跳到正文
Mistral AI·· 2024-10-16精選AI 評分65

Mistral AI 發佈 Ministral 3B 和 Ministral 8B 邊緣模型

Un Ministral, des Ministraux

AI 導讀

Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。

推薦理由

文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。

正文 · 繁體中文

推出全球最佳邊緣模型

在 Mistral 7B 推出一週年之際,這款模型已為數以百萬計人士帶來獨立前沿 AI 創新。我們很高興推出兩款全新頂尖模型,適用於裝置端運算和邊緣運算場景。我們稱它們為 les Ministraux:Ministral 3B 和 Ministral 8B。

這兩款模型在 10B 以下級別的知識、常識、推理、函式呼叫及效率方面樹立新標準,既可直接使用,也可微調以應對不同用途,從協調智能體工作流程到建立專責任務執行模型皆可。兩款模型均支援最高 128k 上下文長度(vLLM 目前為 32k);Ministral 8B 更採用特殊的交錯式滑動窗口注意力模式,令推理速度更快、記憶體使用更有效率。

用途

愈來愈多創新客戶和合作夥伴要求在本機進行優先保障私隱的推理,以支援裝置端翻譯、無需互聯網的智能助手、本機分析和自主機械人等關鍵應用。les Ministraux 專為這些情境打造,兼具運算效率和低延遲。無論是獨立開發愛好者還是全球製造團隊,les Ministraux 都能應付各式各樣的用途。

與 Mistral Large 等較大型語言模型配合使用時,les Ministraux 亦可在多步驟智能體工作流程中高效地擔任函式呼叫中介。它們可經微調來解析輸入、分派任務,並根據使用者意圖在不同上下文中呼叫 API,同時維持極低延遲和成本。

基準測試

我們展示 les Ministraux 在多項任務上的表現;它們在這些任務中持續勝過同級模型。我們亦使用內部框架重新評估所有模型,以確保公平比較。

預訓練模型

Pretrain Table

表 1: Ministral 3B 和 8B 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 及 Mistral 7B 在多個類別的比較

Pretrain With Gemma

圖 1: Ministral 3B 和 8B 基礎模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 及 Mistral 7B 的比較

指令微調模型

Instruct Table With Gemma

表 2: Ministral 3B 和 8B Instruct 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B、Gemma 2 9B 及 Mistral 7B 在不同評估類別的比較。

Instruct Plot 3b No Qwen With Mistral Logo

圖 2: 3B 指令微調模型系列的比較:Gemma 2 2B、Llama 3.2 3B 和 Ministral 3B。圖中展示 Ministral 3B 如何超越規模大得多的 Mistral 7B。

Instruct Plot 8b With Mistral Logo

圖 3: 8B 指令微調模型系列的比較:Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Ministral 8B。

供應情況及定價

兩款模型今日起均可使用。

模型

API

la Plateforme 定價

授權

Ministral 8B

ministral-8b-latest

$0.1 / M tokens(輸入及輸出)

Mistral 商業授權
Mistral 研究授權

Ministral 3B

ministral-3b-latest

$0.04 / M tokens(輸入及輸出)

Mistral 商業授權

如要自行部署, 請聯絡我們 洽談商業授權。我們亦會協助你按特定用途對模型進行無損量化,發揮最佳效能。

Ministral 8B Instruct 的模型權重可供研究用途。兩款模型亦將於短期內在我們的 雲端合作夥伴平台上架。

更多內容即將推出

Mistral AI 會繼續推進前沿模型的技術水平。Mistral 7B 推出至今只有一年,但我們現時最小型的模型 Ministral 3B 已在大多數基準測試中超越它。期待你試用 les Ministraux 並向我們提供意見。

More to come

來源:Mistral AI · mistral.ai