跳到正文
AWS Machine Learning Blog· Sai Pavan Kasani·· 7 天前精選AI 評分63

Amazon Bedrock 四項推理設定如何影響成本

Four Amazon Bedrock inference choices that affect cost

AI 導讀

AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。

推薦理由

文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。

正文 · 繁體中文

調整提示詞和應用程式邏輯後,Amazon Bedrock 的推理費用仍可能持續上升。每個請求的選項仍可改變服務處理的 token 數量及適用費率。快取時長、服務層級、推理力度和 maxTokens,都可能影響成本,而無須更改模型或提示詞。

每項選擇都取決於模型和工作負載。本文介紹我們如何測試各項選擇,以及如何透過回應中繼資料、日誌和帳單數據核實其影響。

如要自行試用這些設定,可先從 Amazon Bedrock Samples 筆記本混合 TTL 快取和透過提示詞快取隔離租戶開始。至於 maxTokens 和推理力度,請參閲 GitHub 儲存庫 sample-code-for-genai-cost-management-workshop 的 01-low-effort 資料夾。每個範例都會設定自己的模型 ID,因此請按你呼叫的模型修改模型 ID 和推理參數。各 AWS 區域的模型供應情況,請參閲模型概覽。如要了解模型選擇、批次推理、路由和蒸餾等更廣泛的決策,請參閲Amazon Bedrock 的有效成本優化策略。

推理成本來源

每個 Amazon Bedrock 回應都附有用量中繼資料。輸入和輸出 token 會按提供該請求服務的模型及層級費率計費。快取讀取和寫入使用不同的 token 計數器,而推理 token 則計作輸出 token。

提示詞快取時長

如果快取在下一個請求前到期,重複的系統指令、工具定義或參考上下文便可能需要重新處理。提示詞快取:加快模型推理指南列出支援的 Anthropic 模型可用的 5 分鐘和 1 小時存留時間(TTL),亦列出支援的 GPT-5.6 模型的 30 分鐘最低 TTL。支援情況和 API 欄位視乎模型而定,因此選擇時長前,請查閲最新的支援矩陣。

對於支援的模型,Amazon Bedrock 亦提供隱式提示詞快取,會嘗試重用符合資格的提示詞前綴,而無須在請求中設定快取控制項。由於隱式快取只會盡力運作,並不保證快取命中,因此本節的時長選項適用於明確快取。

這個 Converse API 簽章會在支援的模型上要求建立 1 小時的快取項目:

{ "cachePoint": { "type": "default", "ttl": "1h" } }

對於支援的 Anthropic 模型,InvokeModel 會在 cache_control 中放入相同的 ttl 值。

較長的時長不一定更便宜。Amazon Bedrock 定價頁面列出 5 分鐘快取寫入、1 小時快取寫入和快取讀取的不同費率。在 Amazon Bedrock 上,Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5 的 5 分鐘快取寫入費率為輸入費率的 1.25 倍;1 小時快取寫入費率為 2 倍,快取讀取費率則為 0.1 倍。

在每個請求都重用完全相同的前綴,而且每次快取讀取都會更新 TTL 的前提下,這些費率可用來計算損益平衡點。只要在 5 分鐘內重用一次,5 分鐘快取便可回本。如果同一前綴的請求相隔超過 5 分鐘,則每次請求都會以 1.25 倍費率重新寫入快取。在這種情況下,1 小時快取從該小時內的第二個請求開始便較便宜。

快取費率和檢查點的最低要求因模型而異。請查閲你所用模型的Amazon Bedrock 定價頁面和提示詞快取指南。請按你的模型重新比較,並在推出後透過快取讀取和寫入 token 數據確認效果。

將穩定內容放在動態內容之前,符合模型對檢查點的最低要求,並使用隨選推理,因為提示詞快取無法配合批次推理使用。

更改已快取的前綴,包括系統指令或工具定義,都會導致快取未命中並新增一次寫入。檢查點會按工具、系統、訊息的順序評估,因此較前部分的變更亦會令後續部分失效。對經常變更的提示詞進行版本管理,讓每個版本都有自己的快取項目。我們在 Claude Sonnet 5 上使用 1 小時檢查點呼叫六次,期間更改了一次系統提示詞和一次工具定義。每次變更都令快取讀取次數變為零,並新增一次寫入。

AWS 説明,快取項目按帳戶和區域劃分,而非按租戶劃分。在多租戶應用程式中,將租戶專屬的 SHA-256 雜湊值加在可快取前綴之前。使用 Amazon Bedrock 提示詞快取最佳化 Anthropic 模型的成本和延遲一文介紹了這種做法。建立提示詞前,先執行租戶授權檢查。雜湊值會將同一帳戶內的快取項目分隔開來。如果受規管的工作負載需要明確的資料界線,請將每個租戶放在獨立的 AWS 帳戶中。

如果經常重複使用,請保留 5 分鐘的預設值。當相同前綴每小時至少重複出現兩次,而且間隔超過 5 分鐘時,才改用支援的較長時長。要勝過完全不使用快取的情況,1 小時快取每小時需要三次請求。

適用於可容忍延遲工作負載的服務層級

背景工作、評估測試框架、夜間摘要和回填作業,不一定需要互動式請求所採用的延遲特性。對於支援 Flex 的模型,可透過以下請求格式選用 Flex:

{ "serviceTier": { "type": "flex" } }

使用 default 而非 standard 來要求 Standard 層級。你亦可省略 serviceTier:

{ "serviceTier": { "type": "default" } }

層級支援情況因模型而異,因此請按確切的模型版本記錄支援情況。Amazon Nova 2 Lite和OpenAI gpt-oss-120b的模型卡列明支援 Flex。Amazon Bedrock 上的Anthropic Claude Sonnet 5和Anthropic Claude Opus 5模型卡則列明不支援 Flex。向不支援的模型發出 Flex 請求會因 ValidationException 而失敗,不會默默改用 Standard 執行。我們向 Anthropic Claude Sonnet 5 發出的請求傳回了該錯誤。

如果你的政策容許以 Standard 作為後備選項,請捕捉不支援該層級的錯誤,然後使用 default 重試一次。不要對每個 ValidationException 都重試,因為格式錯誤的請求也會引發此錯誤。限制應用程式層級的重試次數。AWS SDK 的有界重試策略可處理節流和暫時性錯誤。

為 Flex 請求設定自己的期限。支援的回應會回報實際採用的層級,你亦可透過 Amazon CloudWatch ResolvedServiceTier 核實。請參閲以服務層級最佳化效能和成本,以及所呼叫確切模型的Amazon Bedrock 定價頁面。

我們在 Amazon Nova 2 Lite 上測試 Flex,發出 200 default 個請求和 200 flex 個請求,並以交錯配對方式傳送。兩種層級處理的輸入和輸出 token 數量相同。全部 400 個請求均採用所要求的層級,中位延遲差異小到無法與雜訊區分。本文撰寫時,Nova 2 Lite 在 us-west-2 的 Flex 公佈費率是 Standard 費率的一半,我們的帳單亦反映了這一點。請查閲Amazon Bedrock 定價頁面,瞭解目前費率。對延遲敏感的流量請維持在 default。

自適應思考強度

推理 token 按輸出 token 計費。Claude Sonnet 5 和 Claude Opus 5 預設會以 high 推理力度進行自適應思考,即使請求未包含 thinking 欄位也一樣。應用程式若未作任何變更,從 Claude Sonnet 4.6 遷移後便會開始為思考 token 計費,而 maxTokens 現在會限制思考與回應文字的總量。Claude Haiku 5.5 預設使用 medium。三款模型均支援 low、medium、high、xhigh 和 max。使用以下請求格式,降低任務的推理力度:

{
  "thinking": { "type": "adaptive" },
  "output_config": { "effort": "low" }
}

將推理力度設於 output_config,而非放在 thinking 內。每次更換模型時,請查看自適應思考。

我們在 Claude Opus 5 上測試了一個工具呼叫代理。其三項任務的設計參照在 Amazon Bedrock 上使用 Grok 4.7 建立長時程代理,每項任務均只有一個正確答案。我們在每個推理力度下,將每項任務各執行八次。表格顯示輸出 token 數的中位數:

推理力度 正確執行次數 輸出 token 數中位數 相對於低推理力度的變化(95% 區間)
低 24 次中有 24 次 936 基準值
中 24 次中有 24 次 1,484 +59%(50% 至 78%)
高(預設) 24 次中有 24 次 2,521 +169%(112% 至 190%)
超高 24 次中有 24 次 2,964 +217%(170% 至 260%)
最高 24 次中有 24 次 3,762 +302%(180% 至 402%)

較低推理力度下的準確度視乎模型和任務而定。請在與自身任務相似的任務上進行量度。

在 Amazon Bedrock Samples 的呼叫 Bedrock 模型以產生程式碼工作負載中,low 下的輸出 token 數中位數為 676,high 下則為 743,差異在每次執行的波動範圍內。我們評分的程式在各個推理力度下均通過測試。

使用每次請求的輸出 token 數、CloudWatch AWS/Bedrock OutputTokenCount、呼叫記錄和任務通過率,評估這項選擇。對於常規且範圍明確的任務,請從低於 high 的推理力度開始。若品質測試顯示任務需要較高推理力度,則維持 high。減少 token 卻令任務無法完成,並不算節省。

輸出 token 上限

maxTokens 是應用程式層面的輸出上限。它會限制不良提示詞、回歸問題或迴圈在請求停止前所能產生的輸出。配額規則記載於Amazon Bedrock 如何計算 token。請求開始時,Amazon Bedrock 會從配額中扣除輸入 token 數及 maxTokens,因此設定過大的值會降低並行度。

輸出上限並非安全控制措施。在正式環境的生成式 AI 工作負載中,應使用 Amazon Bedrock Guardrails 作為標準的負責任 AI 控制措施。Guardrails 可過濾內容、偵測提示詞攻擊,並檢查受支援輸入及回應的內容根據性。請參閲使用 Amazon Bedrock Guardrails 偵測及過濾有害內容。

觀察具代表性的輸出 token 數分佈後,按任務類型設定 maxTokens:

{ "inferenceConfig": { "maxTokens": 155 } }

請參閲使用 Converse API 進行推理,瞭解請求參數。

在我們對 Claude Sonnet 5 的測試中,五個一般回應的輸出 token 數峯值為 103,因此我們設定了 155 個 token 的示例上限,並預留餘量。接著,我們在停用自適應思考的情況下,使用同一個刻意寫得冗長的提示詞進行兩次測試:一次設定 2,048 個 token 的上限,另一次則設定 155 個 token 的上限。第一個請求產生了 2,048 個輸出 token,第二個則產生了 155 個,因此上限避免產生 1,893 個輸出 token。兩個請求均在 max_tokens 停止,因此兩個回應都被截斷。上限可以限制支出,卻無法令不合適的提示詞變得有用;在多輪或代理式流程中,某一輪遭截斷亦可能令後續步驟無法完成。

在生產環境中進行校準時,請比較每種任務的第 95 和第 99 百分位數(P95 和 P99),並在選定的百分位數上預留餘量。啟用 Adaptive thinking 時,maxTokens 亦會限制思考 token 數量,因此校準時請啟用思考功能。P95 更積極地控制上限,但截斷風險較高。P99 的上限較高,可保留更多有效的長尾回應。監察 max_tokens 的停止情況,並在提高任務上限前調查相關請求。

整合應用

每項設定都使用相同的測試流程:確認模型是否支援、更改一項請求設定、量度 token 數量或成本,並追蹤品質或完成情況。如果在多個模型之間切換,請為每個模型版本、區域及 API 記錄其支援能力,包括快取時長、服務層級、推理層級及輸出上限。發送請求前,請根據該記錄逐一驗證請求;之後再檢查回應中的實際服務層級及快取計數器。

設定 預設或寬鬆設定 結果 可接受的風險
快取時長 因應模型而異的 TTL 根據已公佈的 Sonnet 5 和 Opus 5 費率,若每小時請求之間的間隔超過 5 分鐘,從每小時第二次請求起,使用 1 小時快取便更划算 寫入 1 小時快取的費用是輸入費用的 2 倍,因此重用率低時並不划算。請按租戶前綴分隔
服務層級 default 撰寫本文時,Nova 2 Lite Flex 公佈的費率是 Standard 的一半,而我們的帳單亦與此相符 處理時間較長。自行設定截止時間,並準備後備方案
推理力度 在受測的自適應推理模型上為 high 由低至高:在 Agent 測試中,輸出 token 中位數增加 +169%;程式碼生成方面則沒有可靠差異 接近任務能力邊界時,品質可能下降。追蹤通過率及 token 數量
maxTokens 寬鬆的 2,048-token 上限 在一次測試中,採用 155-token 上限節省了 1,893 個輸出 token 截斷可能在多輪或 Agent 式流程鏈中引發連鎖影響。提高上限前請檢查 stopReason

留意的訊號

設定 症狀 驗證方式 首要應對
快取時長 重複使用內容未能帶來預期的延遲或成本效益 應用程式延遲及成本遙測資料 更改 TTL 前,檢查前綴穩定性、重用間隔及模型支援情況
服務層級 所要求的服務層級不受支援,或實際提供服務的層級與預期不同 回應 serviceTier 及 CloudWatch ResolvedServiceTier 使用受支援的服務層級,或將對延遲敏感的流量切回 default
推理力度 輸出 token 增加,但品質維持不變 每個請求的回應遙測資料、CloudWatch OutputTokenCount、呼叫記錄及任務通過率 降低該類任務的推理力度,並重新執行品質測試
maxTokens stopReason 為 max_tokens 回應停止原因及按任務分類的輸出 token 分佈 提高上限前,先檢查提示詞及任務 token 上限

根據帶有任務標籤的應用程式遙測資料或呼叫記錄,計算每種任務的 P95 和 P99。

結論

四項設定均屬於推理請求的一部分。更換模型時,請重新確認支援情況;之後每次只更改一項設定,並在應用程式中量度結果。

使用以下資源,評估各項設定是否適合你的工作負載:


作者簡介

Sai Pavan Kasani

Sai Pavan Kasani

Sai 是 AWS 的技術客戶經理。作為技術顧問及客戶代表,他協助客戶將生成式 AI 概念驗證投入生產,專注於代理式 AI 工作負載、推理最佳化,以及大規模提升成本效益。工作以外,Sai 喜歡探索新的咖啡店,並與家人共度時光。

Aswath Ram Srinivasan

Aswath Ram Srinivasan

Aswath 是 Amazon Web Services 的生成式 AI 全球專業解決方案架構師,專注於協助客戶使用 Amazon Bedrock 建立生成式 AI 應用程式。他與企業團隊合作,設計兼顧效能、成本及營運簡易性的推理架構。

來源:AWS Machine Learning Blog · aws.amazon.com