跳到正文
Mistral AI·· 2024-05-29精選AI 評分69

Mistral AI 發佈 22B 開放權重程式碼模型 Codestral

Codestral

AI 導讀

Mistral AI 發佈 22B 開放權重程式碼生成模型 Codestral,支援 80+ 種程式語言,並提供 32k 上下文窗口。其評測圖表稱,Codestral 在 RepoBench 長距離程式碼生成評測中超越其他模型;模型亦可補全程式碼、編寫測試及以 fill-in-the-middle 機制補完片段。

推薦理由

文章列明 Codestral 的研究與測試授權、商業授權申請方式,以及專用 endpoint 的免費 beta 和候補名單,呈現不同使用入口的條件。

正文 · 繁體中文

我們推出 Codestral,這是我們首款程式碼模型。Codestral 是一款開放權重生成式 AI 模型,專為程式碼生成任務而設。它透過共用的指示與補全 API 端點,協助開發者編寫及互動處理程式碼。模型精通程式碼和英文,可用來為軟件開發者設計進階 AI 應用程式。

精通 80 多種程式語言的模型

Codestral 使用涵蓋 80 多種程式語言的多元資料集訓練,包括 Python、Java、C、C++、JavaScript 和 Bash 等最常用語言;在 Swift 和 Fortran 等較專門的語言上亦表現出色。廣泛的語言基礎讓 Codestral 能在各種編碼環境及項目中協助開發者。

Codestral 可為開發者節省時間和心力:它能補全程式碼函數、編寫測試,並透過中間填充機制補全任何不完整程式碼。與 Codestral 互動有助提升開發者的編碼能力,並降低錯誤和程式漏洞風險。

樹立程式碼生成效能新標準

效能。作為一款 22B 模型,與以往用於編碼的模型相比,Codestral 為程式碼生成的效能與延遲帶來新標準。

Detailed benchmarks

圖 1:Codestral 的上下文視窗更大,達 32k(競爭模型為 4k、8k 或 16k),因此在 RepoBench 這項程式碼生成長距離評測中勝過所有其他模型。。

我們將 Codestral 與硬件需求較高的現有專用程式碼模型進行比較。

Python。我們使用四項基準測試:HumanEval pass@1 和 MBPP sanitised pass@1,用來評估 Codestral 的 Python 程式碼生成能力;CruxEval 用來評估 Python 輸出預測;RepoBench EM 則用來評估 Codestral 的長距離程式碼庫層級程式碼補全能力。

SQL。我們使用 Spider 基準測試評估 Codestral 的 SQL 表現。

Detailed benchmarks

其他語言。此外,除 Python 外,我們亦使用 HumanEval pass@1,評估 Codestral 在六種不同語言中的表現:C++、Bash、Java、PHP、TypeScript 和 C#,並計算這些評估的平均值。

Detailed benchmarks

中間填充(FIM)基準測試。我們使用 Python、JavaScript 和 Java 的 HumanEval pass@1 評估 Codestral 的中間填充表現,並與可即時使用中間填充功能的 DeepSeek Coder 33B 比較。

開始使用 Codestral

下載並測試 Codestral。

Codestral 是一款 22B 開放權重模型,採用全新的 Mistral AI Non-Production License 授權,代表你可將它用於研究和測試。你可在 HuggingFace 下載 Codestral。

如需在商業活動中使用模型,也可按需要聯絡我們團隊申請商業授權。

透過專用端點使用 Codestral

配合這次發佈,我們新增了 codestral.mistral.ai 端點。對於在 IDE 內使用 Instruct 或 Fill-In-the-Middle 路由的用戶,建議優先採用此端點。此端點的 API Key 由個人管理,不受一般組織用量上限約束。Beta 測試期間的 8 星期內可免費使用此端點;為確保服務質素,我們以候補名單限制存取。若開發 IDE 外掛程式或應用程式,並預期客戶會自備 API Key,建議使用此端點。

在 la Plateforme 上使用 Codestral 開發

Codestral 亦已即時開放使用一般 API 端點 api.mistral.ai,查詢按 token 計費。對於研究、批次查詢,或開發會直接向使用者展示結果、且不要求使用者自備 API Key 的第三方應用程式,此端點及其整合方式更為合適。

你可在 la Plateforme 建立帳戶,並按照指南開始使用 Codestral 開發應用程式。與我們所有其他模型一樣,Codestral 今日起亦可透過自我部署方案使用:聯絡銷售團隊。

在你喜愛的編碼及開發環境中使用 Codestral。

我們與社羣合作夥伴攜手,讓 Codestral 可用於提升開發者生產力及製作 AI 應用程式的熱門工具。

應用程式框架。Codestral 今日起整合至 LlamaIndex 和 LangChain,讓使用者可輕易以 Codestral 建構代理式應用程式

VSCode/JetBrains 整合。Continue.dev 和 Tabnine 讓開發者可在 VSCode 和 JetBrains 環境中使用 Codestral,並以它生成程式碼或進行對話。

這段影片示範如何使用 Continue.dev VSCode 外掛程式生成程式碼、互動對話及行內編輯;另一段影片則示範如何使用 Tabnine VSCode 外掛程式與 Codestral 對話。

如需瞭解各種整合如何配合 Codestral 運作,請查閲文件中的設定指引及示例。

開發者社羣回饋

「以前從未有過速度和質素兼備的公開自動補全模型,它將為各地開發者帶來階段性轉變。」

-- Nate Sesti,Continue.dev 技術總監兼共同創辦人

「我們很高興看到 Mistral 發佈的新能力,也欣喜地看到他們高度重視程式碼和開發協助,而這正是 JetBrains 非常關注的領域。」

-- Vladislav Tankov,JetBrains AI 主管

「我們使用 Codestral 在 Kotlin-HumanEval 基準測試上進行測試,對結果印象深刻。例如,在 T=0.2 的通過率測試中,Codestral 得分 73.75,高於 GPT-4-Turbo 的 72.05 及 GPT-3.5-Turbo 的 54.66。」

-- Mikhail Evtikhiev,JetBrains 研究員

「作為首個專注開發者的 GenAI 工具之創造公司的研究員,我很高興能把 Mistral 的新程式碼模型整合至我們的聊天產品。它的表現令我十分驚艷。儘管模型相對精簡,仍能達到我們提供予客戶的大型模型同等水準。我們測試了多項關鍵功能,包括程式碼生成、測試生成、文件撰寫、上手流程等,各方面的表現均超出預期。模型的速度和準確度將大幅提升我們產品的效率,勝過以往的 Mistral 模型,讓我們能快速而精確地協助使用者。在我們支援的模型中,這款模型是一項強大工具;我極力推薦給追求高質素表現的人。」

-- Meital Zilberstein,Tabnine 研發主管

「Cody 加快了軟件開發的內循環,開發者使用自動補全等功能,減輕日常編寫程式碼的繁瑣工作。我們的內部評估顯示,Mistral 全新的 Codestral 模型在維持建議程式碼質素的同時,大幅降低了 Cody 自動補全的延遲。這令它成為自動補全的出色模型選擇,因為毫秒級延遲的改善能為開發者帶來實際價值。」

-- Quinn Slack,Sourcegraph 行政總裁兼共同創辦人

「Mistral 全新的 Codestral AI 程式碼生成模型令我印象極深。到目前為止的測試中,即使面對複雜任務,它一直都能產生非常準確、實用的程式碼。例如,我要求它補全一個非簡單函數,以建立新的 LlamaIndex 查詢引擎;即使依據的是較舊的程式碼庫,生成的程式碼仍能順暢運作。」

-- Jerry Liu,LlamaIndex 行政總裁兼共同創辦人

「程式碼生成是最熱門的 LLM 使用情境之一,因此我們非常期待 Codestral 推出。根據初步測試,它很適合用於程式碼生成工作流程,因為速度快、上下文視窗充裕,而且 Instruct 版本支援工具使用。我們以 LangGraph 測試使用 Instruct Codestral 工具輸出的自我修正程式碼生成,開箱即用,效果非常好(請參閲我們的 詳細介紹影片)。」

-- Harrison Chase,LangChain 行政總裁兼共同創辦人

來源:Mistral AI · mistral.ai