跳到正文
OpenAI News·· 2024-10-01精選AI 評分61

OpenAI 在 API 推出 Prompt Caching,為模型近期見過的輸入提供自動折扣

Prompt Caching in the API

AI 導讀

OpenAI 在 API 提供 Prompt Caching,對模型近期見過的輸入自動提供折扣。詳情見 https://openai.com/index/api-prompt-caching

推薦理由

這項功能將模型近期見過的輸入與自動折扣直接連結,讓讀者瞭解 API 對重複輸入的費用處理方式。

正文 · 繁體中文

許多開發者在建構人工智能應用程式時,會在多次 API 呼叫中反覆使用相同的上下文,例如編輯程式碼庫,或與聊天機械人進行冗長的多輪對話。今天,我們推出 Prompt Caching,讓開發者降低成本和延遲。透過重用最近處理過的輸入詞元,開發者可享有 50% 折扣,並加快提示詞處理速度。

Prompt Caching 的可用性及定價

由今天起,Prompt Caching 會自動套用於 GPT‑4o、GPT‑4o mini、o1‑preview 和 o1‑mini 的最新版本,以及這些模型經微調的版本。快取提示詞的價格較未快取提示詞優惠。

以下為定價概覽:

未快取輸入詞元

快取輸入詞元

輸出詞元

GPT‑4o

gpt-4o-2024-08-06

$2.50

$1.25

$10.00

GPT‑4o 微調

$3.75

$1.875

$15.00

GPT‑4o mini

gpt-4o-mini-2024-07-18

$0.15

$0.075

$0.60

GPT‑4o mini 微調

$0.30

$0.15

$1.20

o1

o1‑preview

$15.00

$7.50

$60.00

o1 mini

$3.00

$1.50

$12.00

監察快取使用情況

對支援型號發出的 API 呼叫,若提示詞長度超過 1,024 個詞元,便會自動享有 Prompt Caching 的優惠。API 會快取提示詞中先前已計算過的最長前綴,長度由 1,024 個詞元起,並以 128 個詞元為單位遞增。若你重用具有相同前綴的提示詞,我們會自動套用 Prompt Caching 折扣,無須你更改 API 整合方式。

使用 Prompt Caching 的請求會有 cached_tokens 值,位於 usage 欄位(位於 API 回應中):

快取通常會在閒置 5-10 分鐘後清除,並一定會在快取最後一次使用後一小時內移除。與所有 API 服務一樣,Prompt Caching 亦遵循我們的 企業私隱⁠ 承諾。不同機構之間不會共用提示詞快取。

Prompt Caching 是開發者可用來在正式環境中擴展應用程式,同時兼顧效能、成本和延遲的多種工具之一。如需更多資訊,請參閱 Prompt Caching 說明文件⁠(在新視窗中開啟)。

來源:OpenAI News · openai.com