跳到正文
Mistral AI·· 2024-07-16精選AI 評分69

Mistral AI 發佈 Codestral Mamba 指令模型

Codestral Mamba

AI 導讀

Mistral AI 發佈 Codestral Mamba,這是一款採 Mamba 架構、擁有 7,285,403,648 個參數的指令模型。Mistral AI 表示,Mamba 模型提供線性時間推理,Codestral Mamba 的程式與推理能力可媲美 SOTA Transformer 模型,且上下文檢索測試至 256k tokens。

推薦理由

Codestral Mamba 以 Mamba 架構切入程式助手場景,並列出線性時間推理特點及至 256k tokens 的上下文檢索測試,呈現其技術定位。

正文 · 繁體中文

Mixtral 系列推出後,Codestral Mamba 是我們研究及提供新架構的另一項進展。它可供免費使用、修改及分發,我們希望這能為架構研究開拓新視野。Codestral Mamba 的設計亦有 Albert Gu 和 Tri Dao 協助。

有別於 Transformer 模型,Mamba models 的優點是推理時間呈線性增長,理論上亦能建模無限長度的序列。無論輸入有多長,使用者都可以長時間使用模型,並迅速獲得回應。這種效率對提升程式編寫效率的用途尤其重要,因此我們以先進的程式編寫及推理能力訓練這個模型,令其表現媲美最先進的 Transformer 模型。

Detailed Codestral Mamba benchmarks

我們測試了 Codestral Mamba 最多可處理 256k tokens 的上下文檢索能力。我們相信它會是出色的本機程式碼助手!

你可使用 mistral-inference SDK 部署 Codestral Mamba;該 SDK 依賴 Mamba GitHub 儲存庫的參考實作。這個模型亦可透過 TensorRT-LLM 部署。如要在本機進行推理,請留意 llama.cpp 的支援進展。你可從 HuggingFace 下載原始權重。這是經指令微調的模型,具有 7,285,403,648 個參數。

為方便測試,我們在 la Plateforme 提供 Codestral Mamba(codestral-mamba-2407),並同時提供其較大型的姊妹型號 Codestral 22B。Codestral Mamba 採用 Apache 2.0 授權;Codestral 22B 則可按商業授權自行部署,或按社羣授權作測試用途。

來源:Mistral AI · mistral.ai