Mistral AI 開放 La Plateforme 平台服務 Beta,提供生成與嵌入 API 端點
La Plateforme
Mistral AI 開放 La Plateforme 首批平台服務的 Beta,提供三個文字生成聊天端點及一個嵌入端點,並支援透過 API 呼叫。
平台把不同成本與效能取捨的生成端點,連同嵌入服務及 API 接入放在同一入口,呈現其面向開發者部署的服務組合。
Mistral AI 為開發者帶來實力最強的開放生成式模型,並提供高效率的部署及客製化方式,方便投入生產環境。
我們今日開放使用首批平台服務的 Beta 版本。初期服務會較簡單:la Plateforme 提供三個聊天端點,用戶可按文字指令生成內容,另設一個嵌入端點。各端點在效能與價格之間各有取捨。
生成式端點
首兩個端點 mistral-tiny 和 mistral-small 目前分別採用我們已發佈的兩款開放模型;第三個端點 mistral-medium 則採用一款原型模型,我們正於部署環境測試其更高的效能。
我們提供模型的指令微調版本,並整合多種有效的對齊技術,包括高效率微調和直接偏好最佳化,打造容易控制且使用體驗良好的模型。我們以從開放網絡擷取的資料預訓練模型,再根據標註資料進行指令微調。
Mistral-tiny。這是目前最具成本效益的端點,採用 Mistral 7B Instruct v0.2,即 Mistral 7B Instruct 的新版小型更新。Mistral-tiny 只支援英文,在 MT-Bench 取得 7.6 分。你可在此下載指令微調模型。
Mistral-small。此端點目前提供我們最新的 Mixtral 8x7B,詳情請參閲我們的網誌文章。它擅長英文、法文、意大利文、德文、西班牙文及程式碼,在 MT-Bench 取得 8.3 分。
Mistral-medium。這是目前品質最高的端點,採用一款原型模型;按標準基準測試結果,它目前名列可用模型前列。它擅長英文、法文、意大利文、德文、西班牙文及程式碼,在 MT-Bench 取得 8.6 分。下表比較 Mistral-medium、Mistral-small 的基礎模型,以及一個競爭對手的端點。

嵌入端點
我們的嵌入端點 Mistral-embed 提供一款向量維度為 1024 的嵌入模型。這款模型以檢索能力為設計重點,在 MTEB 的檢索評分中取得 55.26 分。
API 規格
我們的 API 遵循一款廣受歡迎、最初由競爭對手提出的聊天介面規格。我們提供 Python 和 Javascript 客戶端程式庫,方便呼叫各個端點。使用者亦可在端點請求中加入 system prompt,為重視內容審核的應用提高模型輸出的審核級別。
由 Beta 測試逐步擴展至正式開放
任何人今日都可註冊使用我們的 API,我們會逐步提升服務容量。業務團隊可協助評估你的需求並加快開通。平台正逐步穩定並朝全面自助服務邁進,期間仍可能遇到一些尚待修正的問題。
鳴謝
感謝 NVIDIA 協助我們整合 TensorRT-LLM 和 Triton,並與我們合作,令稀疏混合專家模型能夠兼容 TRT-LLM。
來源:Mistral AI · mistral.ai