Mistral AI 與 NVIDIA 合作發佈 Mistral NeMo 12B 模型,支援 128k tokens 上下文窗口
Mistral NeMo
Mistral AI 與 NVIDIA 合作發佈 12B 模型 Mistral NeMo,支援最高 128k tokens 上下文窗口。其預訓練基礎版與指令微調版 checkpoints 採 Apache 2.0 授權;標準架構可替換採用 Mistral 7B 的系統,並支援無性能損失的 FP8 推理。
文章將 Mistral NeMo 與 Mistral 7B 的替換相容性、FP8 推理支援及 Tekken 多語壓縮數據放在一起,呈現模型部署適配與語言處理效率的比較脈絡。
今天,我們很高興推出與 NVIDIA 合作打造的 12B 模型 Mistral NeMo。Mistral NeMo 提供最高達 128k tokens 的大型上下文窗口。在其所屬規模級別中,其推理、世界知識及程式編寫準確度均屬頂尖。由於採用標準架構,Mistral NeMo 易於使用,可直接替換任何採用 Mistral 7B 的系統中的模型。
我們以 Apache 2.0 授權發佈預訓練基礎模型和指令微調檢查點,鼓勵研究人員及企業採用。Mistral NeMo 採用量化感知方式訓練,無損效能即可進行 FP8 推理。
下表比較 Mistral NeMo 基礎模型,與兩款近期開源預訓練模型 Gemma 2 9B 和 Llama 3 8B 的準確度。

表 1:Mistral NeMo 基礎模型與 Gemma 2 9B 和 Llama 3 8B 的效能比較。
人人可用的多語言模型
這款模型專為全球多語言應用而設計,經函式呼叫訓練,並具備大型上下文窗口;它在英文、法文、德文、西班牙文、意大利文、葡萄牙文、中文、日文、韓文、阿拉伯文和印地文方面尤其出色。這是讓前沿 AI 模型以人類文化所涵蓋的各種語言走進每個人生活的新一步。

圖 1:Mistral NeMo 在多語言基準測試中的表現。
Tekken:效率更高的 tokenizer
Mistral NeMo 使用以 Tiktoken 為基礎的新 tokenizer Tekken,訓練資料涵蓋超過 100 種語言。與以往 Mistral 模型採用的 SentencePiece tokenizer 相比,Tekken 壓縮自然語言文字和原始碼的效率更高。尤其在壓縮原始碼、中文、意大利文、法文、德文、西班牙文和俄文時,效率約高 30%;壓縮韓文和阿拉伯文時,效率則分別高 2x 和 3x。與 Llama 3 tokenizer 相比,Tekken 在約 85% 的語言中展現出更佳的文字壓縮能力。

圖 2:Tekken 壓縮率。
指令微調
Mistral NeMo 經歷了進階微調和對齊階段。與 Mistral 7B 相比,它在遵循精確指令、推理、處理多輪對話及生成程式碼方面表現出色得多。

表 2:Mistral NeMo 指令微調模型的準確度。評估以官方參考答案為依據,並由 GPT4o 擔任評審。
連結
模型權重已上載至 HuggingFace,包括基礎模型和指令模型。你現可使用 mistral-inference 試用 Mistral NeMo,並透過 mistral-finetune 調整模型。Mistral NeMo 亦已在 la Plateforme 上架,名稱為 open-mistral-nemo-2407。此外,這款模型亦封裝為 NVIDIA NIM 推理微服務容器,並可於 ai.nvidia.com 取得。
來源:Mistral AI · mistral.ai