Mistral AI 發佈 Codestral Mamba 指令模型
Codestral Mamba
Mistral AI 發佈 Codestral Mamba,這是一款採 Mamba 架構、擁有 7,285,403,648 個參數的指令模型。Mistral AI 表示,Mamba 模型提供線性時間推理,Codestral Mamba 的程式與推理能力可媲美 SOTA Transformer 模型,且上下文檢索測試至 256k tokens。
Codestral Mamba 以 Mamba 架構切入程式助手場景,並列出線性時間推理特點及至 256k tokens 的上下文檢索測試,呈現其技術定位。
Mixtral 系列推出後,Codestral Mamba 是我們研究及提供新架構的另一項進展。它可供免費使用、修改及分發,我們希望這能為架構研究開拓新視野。Codestral Mamba 的設計亦有 Albert Gu 和 Tri Dao 協助。
有別於 Transformer 模型,Mamba models 的優點是推理時間呈線性增長,理論上亦能建模無限長度的序列。無論輸入有多長,使用者都可以長時間使用模型,並迅速獲得回應。這種效率對提升程式編寫效率的用途尤其重要,因此我們以先進的程式編寫及推理能力訓練這個模型,令其表現媲美最先進的 Transformer 模型。

我們測試了 Codestral Mamba 最多可處理 256k tokens 的上下文檢索能力。我們相信它會是出色的本機程式碼助手!
你可使用 mistral-inference SDK 部署 Codestral Mamba;該 SDK 依賴 Mamba GitHub 儲存庫的參考實作。這個模型亦可透過 TensorRT-LLM 部署。如要在本機進行推理,請留意 llama.cpp 的支援進展。你可從 HuggingFace 下載原始權重。這是經指令微調的模型,具有 7,285,403,648 個參數。
為方便測試,我們在 la Plateforme 提供 Codestral Mamba(codestral-mamba-2407),並同時提供其較大型的姊妹型號 Codestral 22B。Codestral Mamba 採用 Apache 2.0 授權;Codestral 22B 則可按商業授權自行部署,或按社羣授權作測試用途。
來源:Mistral AI · mistral.ai