ArisGlobal 如何在 Amazon Bedrock 上透過提示詞快取擴展生成式 AI 推理
ArisGlobal 調整 Amazon Bedrock 請求順序,改為快取跨請求重用的共用提示詞前綴,以降低 NavaX 的推理成本。生產請求中,約 65% 的輸入 token 以較低費率從快取讀取,令有效輸入成本約下降 50%;在每月超過 19 billion tokens 的用量下,整體月度推理支出約下降 40%。此設計亦支援約 15% 更多企業租戶進駐,而 EU 跨區域推理路由維持不變。
推薦理由:案例展示多租戶工作負載如何按跨請求重用程度安排快取前綴,而非優先快取單次個案的大型文件,並提供部署與監測要點。