跳到正文
Mistral AI·· 2025-01-30精選AI 評分72

Mistral Small 3 發佈 24B 參數低延遲模型,採 Apache 2.0 授權

Mistral Small 3

AI 導讀

Mistral AI 發佈 Mistral Small 3,這款 24B 參數低延遲模型採用 Apache 2.0 授權,並提供預訓練及 instruction-tuned checkpoint。

推薦理由

Mistral Small 3 將 24B 參數、Apache 2.0 開放權重和低延遲定位放在同一發佈中,並提供本地量化運行條件,便於比較小型模型的部署選擇。

正文 · 繁體中文

今天我們推出 Mistral Small 3,這款經延遲最佳化的 24B 參數模型以 Apache 2.0 授權發布。

Up and to the Left

Mistral Small 3 的表現可媲美更大型模型,例如 Llama 3.3 70B 或 Qwen 32B,也是 GPT4o-mini 等不透明專有模型的優秀開放替代品。Mistral Small 3 的表現與 Llama 3.3 70B instruct 相若,但在相同硬件上速度快逾 3 倍。

Mistral Small 3 是預訓練及指令微調模型,適用於「80%」的生成式 AI 任務,即需要穩健語言理解和指令遵循能力,同時要求極低延遲的任務。

我們設計這款新模型時,目標是在適合本地部署的規模下充分發揮效能。Mistral Small 3 的層數遠少於競爭模型,大幅縮短每次前向傳遞所需時間。它在 MMLU 的準確度超過 81%,延遲為每秒 150 tokens,是目前同類模型中效率最高的一款。

我們以 Apache 2.0 授權發布預訓練和指令微調兩種檢查點,為加快發展提供強大基礎。請注意,Mistral Small 3 既沒有透過 RL 訓練,也沒有使用合成數據,因此在模型生產流程上比 Deepseek R1 等模型更早期(後者是出色且互補的開源技術!)。它可作為建立累積推理能力的優秀基礎模型。我們期待開源社羣採用並自訂這款模型。

效能

人工評估

Mistral Small 3 Human Evals

我們與外部第三方供應商進行並排評估,使用超過 1k 個專有編程和通用提示。評估人員需從 Mistral Small 3 與另一款模型匿名生成的回應中,選出較佳答案。我們知道,部分人類判斷基準測試與公開基準結果可能有明顯差異,因此特別審慎地確認評估公平。我們有信心上述基準結果有效。

指令遵循表現

我們的指令微調模型在程式碼、數學、常識和指令遵循基準測試中的表現,可媲美規模為其三倍的開放權重模型,以及 GPT4o-mini 專有模型。

Mistral Instruct Knowledge
Mistral Instruct Code Math
Mistral Instruct If

所有基準測試的準確度均透過同一套內部評估流程取得,因此數字可能與先前公佈的結果略有差異(Qwen2.5-32B-Instruct、 Llama-3.3-70B-Instruct、 Gemma-2-27B-IT)。Wildbench、Arena hard 和 MTBench 等裁判模型評估,使用 gpt-4o-2024-05-13。

預訓練表現

Mistral Base Benchmarks
Mistral Base Mmlu Int

Mistral Small 3 是 24B 模型,在同等規模級別中表現最佳,並可媲美 Llama 3.3 70B 等大三倍的模型。

何時使用 Mistral Small 3

我們從客戶和社羣中觀察到,這類規模的預訓練模型正逐漸湧現幾種不同用途:

  • 快速回應的對話助理:Mistral Small 3 擅長需要快速、準確回應的情境,包括用戶期望即時回饋和近乎即時互動的各類虛擬助理。

  • 低延遲函式呼叫:Mistral Small 3 可在自動化或代理式工作流程中快速執行函式。

  • 微調以打造專業領域專家:你可微調 Mistral Small 3,令它專精特定領域,成為高度準確的專業領域專家。這對法律建議、醫療診斷和技術支援等需要領域知識的工作尤其有用。

  • 本地推論:對愛好者及處理敏感或專有資訊的機構尤其有用。量化後,Mistral Small 3 可在單張 RTX 4090 顯示卡,或配備 32GB RAM 的 MacBook 上私下運行。

我們的客戶正於多個行業評估 Mistral Small 3,包括:

  • 金融服務客戶:用於詐騙偵測

  • 醫療服務提供者:用於客戶分流

  • 機械人、汽車和製造業公司:用於裝置上的命令與控制

  • 不同客戶的通用用途包括虛擬客戶服務、情緒分析和意見分析。

在你偏好的技術堆疊上使用 Mistral Small 3

Mistral Small 3 現已在 la Plateforme 提供: mistral-small-latest 或 mistral-small-2501。請瀏覽我們的 文件,瞭解如何使用模型生成文字。

我們亦很高興與 Hugging Face、Ollama、Kaggle、Together AI 和 Fireworks AI 合作,讓模型今天起在以下平台推出:

未來發展

開源社羣最近十分活躍,令人振奮!Mistral Small 3 可補足 DeepSeek 等近期推出的大型開源推理模型,亦可作為推動推理能力逐漸湧現的強大基礎模型。

未來數星期,預計會推出更多具備增強推理能力的 Mistral 大小模型。若你有興趣,歡迎加入我們(我們正在招聘);或立即改進 Mistral Small 3,搶先一步!

Mistral 的開源模型

我們重申,一般用途模型將繼續採用 Apache 2.0 授權,並逐步停止推出以 MRL 授權的模型。與 Mistral Small 3 一樣,模型權重可供下載並在本地部署,亦可自由修改和用於任何用途。此外,這些模型亦會透過 la Plateforme提供無伺服器 API、支援本地和 VPC 部署,並透過我們的自訂及協作平台,以及推論和雲端合作夥伴提供。需要專門功能(更高速度和上下文容量、領域知識、程式碼補全等特定任務模型)的企業和開發者,可使用額外商業模型,補足我們對社羣的貢獻。

來源:Mistral AI · mistral.ai