跳到正文
Mistral AI·· 2024-07-24精選AI 評分78

Mistral Large 2 發佈,支援 128k 上下文窗口及單節點推理

Large Enough

AI 導讀

Mistral AI 發佈 Mistral Large 2,提供 128k 上下文窗口、支援 80+ 種程式語言,並面向單節點推理及長上下文應用。模型有 123 billion parameters,預訓練版本在 MMLU 的準確率為 84.0%,並加強指令遵循、推理與函數調用能力。

推薦理由

Mistral Large 2 披露參數規模、上下文窗口與多項基準表現,並交代研究授權和商用自部署條件,方便比較其能力及部署門檻。

正文 · 繁體中文
Mistral Large

這一代模型繼續推動成本效益、速度和效能的界限。Mistral Large 2 可透過 la Plateforme 使用,並新增多項功能,方便建構創新 AI 應用程式。

Mistral Large 2

Mistral Large 2 擁有 128k 上下文視窗,支援數十種語言,包括法文、德文、西班牙文、意大利文、葡萄牙文、阿拉伯文、印地文、俄文、中文、日文和韓文;亦支援 80 多種程式語言,包括 Python、Java、C、C++、JavaScript 和 Bash。

Mistral Large 2 專為單節點推理和長上下文應用而設。其規模達 1230 億參數,因此可在單一節點上達到高吞吐量。我們依據 Mistral Research License 發布 Mistral Large 2,該授權允許用於研究和非商業用途,亦允許修改。如需自行部署 Mistral Large 2 作商業用途,必須聯絡我們取得 Mistral Commercial License。

整體效能

Mistral Large 2 在評估指標上為服務效能與成本樹立新標準。特別是在 MMLU 測試中,預訓練版本的準確率達 84.0%,並在開源模型的效能/成本 Pareto 前沿上創下新位置。

程式碼與推理

汲取 Codestral 22B 和 Codestral Mamba 的經驗後,我們以大量程式碼訓練 Mistral Large 2。它的表現大幅超越上一代 Mistral Large,並媲美 GPT-4o、Claude 3 Opus 和 Llama 3 405B 等領先模型。

Detailed benchmarks

我們亦投入大量工作,提升模型的推理能力。訓練期間的重點之一,是盡量減少模型「幻覺」的傾向,也就是產生聽來合理、實際上卻不正確或無關的資訊。我們透過微調令模型回答時更謹慎、更懂得判斷,確保輸出可靠而準確。

此外,新版 Mistral Large 2 經過訓練,能在找不到解決方案或資訊不足以有把握地回答時坦承此事。這種對準確度的重視,也反映於模型在熱門數學基準測試中的表現提升,展現更強的推理和解難能力:

Detailed benchmarks

程式碼生成基準測試的準確率(所有模型均透過相同評估流程進行基準測試)

Detailed benchmarks

MultiPL-E 的準確率(除「paper」列外,所有模型均透過相同評估流程進行基準測試)

Detailed benchmarks

GSM8K(8-shot)和 MATH(0-shot、無 CoT)生成基準測試的準確率(所有模型均透過相同評估流程進行基準測試)

遵循指示與對齊

我們大幅提升了 Mistral Large 2 遵循指示和對話交流的能力。新版 Mistral Large 2 特別擅長遵循精確指示,以及處理多輪長對話。以下列出模型在 MT-Bench、Wild Bench 和 Arena Hard 基準測試中的表現:

Detailed benchmarks

一般對齊基準測試的表現(所有模型均透過相同評估流程進行基準測試)

在部分基準測試中,生成較長回應往往能提升分數。然而,許多商業應用極重視簡潔;模型生成短答有助加快互動,也能降低推理成本。因此,我們投入大量工作,確保模型盡可能保持精簡、切題。下圖列出不同模型對 MT Bench 基準測試問題生成回應的平均長度:

MT Bench benchmarks
語言多樣性

目前許多商業用途都涉及多語言文件。大部分模型以英文為主,而新版 Mistral Large 2 則以大量多語言資料訓練。它特別擅長英文、法文、德文、西班牙文、意大利文、葡萄牙文、荷蘭文、俄文、中文、日文、韓文、阿拉伯文和印地文。以下比較 Mistral Large 2 在多語言 MMLU 基準測試中的表現,以及上一代 Mistral Large、Llama 3.1 系列模型和 Cohere 的 Command R+。

Detailed benchmarks
Detailed benchmarks

多語言 MMLU 的表現(以基礎預訓練模型測量)

工具使用與函式呼叫

Mistral Large 2 加強了函式呼叫和檢索能力,並經過訓練,能熟練執行平行和序列函式呼叫,使其可成為複雜商業應用程式的強大引擎。

Detailed benchmarks
立即在 la Plateforme 試用 Mistral Large 2

你今天即可在 la Plateforme 使用 Mistral Large 2,模型名稱為 mistral-large-2407,亦可在 le Chat 試用。模型版本為 24.07(我們為所有模型採用的 YY.MM 版本編號系統),API 名稱為 mistral-large-2407。Instruct 模型權重可於此下載,亦託管於 HuggingFace。

我們正將 la Plateforme 的模型方案整合為兩款一般用途模型 Mistral Nemo 和 Mistral Large,以及兩款專用模型 Codestral 和 Embed。隨着我們逐步淘汰 la Plateforme 上的舊模型,所有 Apache 授權模型(Mistral 7B、Mixtral 8x7B 和 8x22B、Codestral Mamba、Mathstral)仍可透過 SDK mistral-inference 和 mistral-finetune 部署及微調。

今天起,我們亦擴大 la Plateforme 的微調功能支援範圍,現已適用於 Mistral Large、Mistral Nemo 和 Codestral。

透過雲端服務供應商使用 Mistral 模型

我們很榮幸與領先的雲端服務供應商合作,將全新 Mistral Large 2 帶給全球用戶。今天,我們特別擴大與 Google Cloud Platform 的合作,透過託管 API 將 Mistral AI 模型帶到 Vertex AI。Mistral AI 的最佳模型現已可在 Vertex AI 使用,亦可透過 Azure AI Studio、Amazon Bedrock 和 IBM watsonx.ai 使用。

Mistral AI 模型的供應時間表
Detailed benchmarks

來源:Mistral AI · mistral.ai