Mistral AI·· 2024-11-07精選AI 評分62
Mistral AI 推出 Batch API,批次請求成本較同步 API 呼叫低 50%
Mistral Batch API
AI 導讀
Mistral AI 推出 Batch API,讓 La Plateforme 上的 Mistral 模型以批次方式處理高流量請求,成本比同步 API 呼叫低 50%。
推薦理由
Batch API 將高流量請求的成本降至同步 API 呼叫的一半,並以檔案提交、處理後下載的流程,適合不要求同步回覆的批量任務。
正文 · 繁體中文
這本來可以是一則推文,不過……過去幾星期,AI 開發者社羣面對多次 API 加價;我們希望繼續以大眾負擔得起的價格,為大家提供前沿 AI。為此,我們推出 batch API,即日起可在 La Plateforme 使用。
batch API 提供更有效率的方式,處理大量 Mistral 模型請求,成本比同步 API 呼叫低 50%。如果你正在構建 AI 應用程式,重視資料處理量多於同步回應,batch API 會是理想方案。你只需上載批次檔案,待請求處理完成後,下載並使用輸出檔案即可。詳細指引請參閲 batch API 文件。
batch API 的常見用途包括客戶意見與情緒分析、文件批次摘要及翻譯、為搜尋索引建立向量嵌入,以及資料標註。
batch API 適用於 la Plateforme 提供的所有模型,亦即將支援我們的雲端服務供應商合作夥伴。每個工作區最多可有 1 million 個進行中的請求。
歡迎告訴我們你的想法;如需自訂或私人部署,請聯絡我們。
來源:Mistral AI · mistral.ai