Mistral AI 發佈 Mixtral 8x22B 開放模型
Cheaper, Better, Faster, Stronger
Mistral AI 發佈 Mixtral 8x22B 開放模型,採用稀疏混合專家(SMoE)架構,141B 參數中有 39B 為活躍參數,並以 Apache 2.0 授權發布。
Mixtral 8x22B 公開了參數規模、授權條款與多項基準結果,讓讀者可比較其開放使用條件及數學、編碼表現。
Mixtral 8x22B 是我們最新的開放模型,為 AI 社羣的效能和效率樹立新標準。這是一個稀疏混合專家(SMoE)模型,在 141B 個參數中只會啟用 39B 個,為其規模帶來無可比擬的成本效益。
Mixtral 8x22B 具備以下優勢:
它能流利使用英語、法語、意大利語、德語和西班牙語
它具備強大的數學和編程能力
它原生支援函數呼叫;配合 la Plateforme 上實作的受限制輸出模式,便能大規模開發應用程式和現代化技術堆疊。
它的64K token 上下文視窗,讓模型能從大型文件中精確擷取資訊。
真正開放
我們相信開放和廣泛分發能推動 AI 創新與合作。
因此,我們以 Apache 2.0 許可證發佈 Mixtral 8x22B。這是限制最少的開源許可證,任何人都可在任何地方不受限制地使用模型。
極致效率
我們打造的模型在各自規模下均具備無可比擬的成本效益,在社羣提供的模型中提供最佳效能成本比。
Mixtral 8x22B 是我們開放模型系列的自然延伸。其稀疏啟動模式令它比任何密集型 70B 模型更快,同時比其他任何開放權重模型更強(不論採用寬鬆或限制性許可證)。基礎模型現已開放,為微調用途提供理想起點。

圖 1:模型效能(MMLU)與推論預算取捨的比較(活躍參數數量)。與其他開放模型相比,Mistral 7B、Mixtral 8x7B 和 Mixtral 8x22B 同屬一系列效率極高的模型。
無可匹敵的開放模型效能
以下是開放模型在標準業界基準測試中的比較。
推理與知識
Mixtral 8x22B 專為推理最佳化。

圖 2:領先開放 LLM 在廣泛常識、推理和知識基準測試上的表現:MMLU(大規模多任務語言理解測試)、HellaSwag(10-shot)、Wino Grande(5-shot)、Arc Challenge(5-shot)、Arc Challenge(25-shot)、TriviaQA(5-shot)和 NaturalQS(5-shot)。
多語言能力
Mixtral 8x22B 原生支援多種語言。在法語、德語、西班牙語和意大利語的 HellaSwag、Arc Challenge 和 MMLU 基準測試中,其表現大幅勝過 LLaMA 2 70B。

圖 3:Mistral 開源模型與 LLaMA 2 70B 在法語、德語、西班牙語和意大利語的 HellaSwag、Arc Challenge 和 MMLU 基準測試比較。
數學 & 編程
與其他開放模型相比,Mixtral 8x22B 在編程和數學任務上的表現最佳。

圖 4:領先開放模型在常見編程和數學基準測試上的表現:HumanEval pass@1、MBPP pass@1、GSM8K maj@1(5 shot)、GSM8K maj@8(8-shot)和 Math maj@4。
今天發佈的 Mixtral 8x22B 指令微調版本,在數學方面表現更佳:GSM8K maj@8 得分為 90.8%,Math maj@4 得分為 44.6%。
立即在 la Plateforme 探索 Mixtral 8x22B,加入 Mistral 開發者社羣,一同開拓 AI 前沿。
來源:Mistral AI · mistral.ai