跳到正文
AWS Machine Learning Blog· Meghan Kothari·· 2 天前精選AI 評分64

降低生成式 AI 成本:規則交給程式碼,判斷交給模型

Cut generative AI costs: Code for rules, models for judgment

AI 導讀

AWS Machine Learning Blog提出工作流程的模型呼叫分流方法:規則交由確定性程式碼,固定選項使用受限決策呼叫,開放式任務則使用符合要求的 Amazon Bedrock 模型。

推薦理由

文章整理出規則、固定選項與開放式生成的分流方法,並以 AWS 元件示範如何減少不必要的模型呼叫。

正文 · 繁體中文

生成式 AI 系統中,最能影響成本的因素,是是否需要呼叫模型。我們經常看到團隊把每項工作都交由大型語言模型(LLM)處理,包括輸入驗證、格式整理和路由。單次呼叫的成本很低,但在正式環境的規模下,這些小額成本會成為架構中最大的支出項目之一。凡是確定性規則能完成的工作,略過模型即可節省費用、降低延遲,並消除一個非確定性來源。本文會介紹如何判斷工作流程中的每個步驟是否需要模型。然後,你可以將各個選項對應至 AWS:確定性程式碼、受限制的決策呼叫,或在 Amazon Bedrock 上使用規模合適的模型。

為何不必要的模型呼叫會累積成本

這種模式通常始於原型階段。某個步驟呼叫模型奏效,於是下一個步驟也預設使用模型。這些步驟包括驗證輸入、重新整理請求主體格式,以及選擇路由。原型階段的用量不大,沒有人會注意到成本。

在正式環境的用量下,不必要的模型呼叫會帶來三方面成本:

  • 支出會隨請求數量增加,即使是價值較低的步驟也一樣。
  • 延遲會層層累積,因為呼叫鏈中的每次模型呼叫都會增加數百毫秒。
  • 輸出可能有所不同,因為相同輸入可能得到不同答案。這會令測試更困難、審核更耗時。

每次推出新模型,都會重新引發選用哪個模型的討論。更早一步要問的問題——這個步驟到底是否需要模型——卻一直沒有人提出。

成本指引(包括 AWS Well-Architected Generative AI Lens)通常從選擇模型開始。本文會再往前一步,先問:這個步驟到底是否需要模型?

如何判斷某個步驟是否需要模型

圖 1 以流程圖呈現整個判斷流程,分為三條標示為「以程式碼執行」、「問題」和「以模型執行」的泳道。依序針對工作流程中的每個步驟回答以下三個問題,並在找到符合該步驟要求的第一個選項時停止:

  1. 能否透過規則檢查是否成功,例如檢查格式、結構描述、關鍵字或範圍?如果規則只能解決部分工作,快速路徑會先執行規則。
  2. 能否讓模型一次寫好規則,例如正規表示式或 JSON 結構描述?
  3. 這個步驟是否要從固定清單中選出一個答案,例如路由、類別或是/否?

如果三個問題的答案全部是否,這個步驟便屬於開放式工作,應交由規模合適的模型處理。

Flowchart that sorts a workflow step into code, a constrained decision call, or a right-sized Amazon Bedrock model

圖 1:判斷工作流程中的步驟是否需要模型,以及應使用哪種模型

以客戶支援助理為例。下表展示其中五個步驟如何依照流程圖進行判斷。

# 步驟 依流程圖判斷的路徑 執行位置
1 檢查訂單編號格式 可透過規則檢查。 Amazon API Gateway REST API 請求驗證,或 AWS Lambda 函數
2 按意圖為訊息選擇路由 規則可解決其中一部分。快速路徑透過關鍵字比對處理「退款」等訊息,其餘情況則進入第三個問題。 使用 JSONata 的 AWS Step Functions Choice 狀態。其餘情況交由受限制的決策呼叫處理。
3 從承運商電郵中擷取追蹤編號 模型可以一次寫好規則。它會草擬正規表示式,再由你審核並提交。 程式碼:以已提交的模式在 AWS Lambda 中執行
4 為工單選擇四個支援佇列之一 答案來自固定清單。 受限制的決策呼叫。不確定的答案會升級交由規模合適的模型處理。
5 為客戶草擬回覆 這項工作屬於開放式任務。 大小合適的模型:符合要求的最小 Amazon Bedrock 模型

當任務屬於開放式、含糊不清或需要生成內容時,可以使用模型:例如總結文件、草擬回覆、從文字中提取含義。若任務有可檢查的規則,則使用確定性程式碼:例如電郵格式、結構描述、指定關鍵字或數值範圍。下表顯示,將以規則界定的任務交給模型處理,會付出哪些代價。

特性 確定性程式碼 模型呼叫
每次呼叫的成本 通常低幾個數量級 按 token 計費,規模擴大後成本不容忽視
延遲 個位數毫秒或以下 數百毫秒
對明確規定規則的正確性 完全符合所寫的規則 正確率高,但錯誤率並非零
可審核性 規則存放在源碼控制中 較難向審計人員解釋
隨時間變化的行為 在你作出更改之前保持穩定 當你轉用新模型版本,或某個版本停用時,行為便會改變

模型亦可能產生幻覺,並對相同輸入給出不同答案。將 temperature 設為 0,較不容易得到不同答案,但不能保證輸出完全相同。Amazon Bedrock 模型評估和Amazon Bedrock Guardrails有助你衡量及控制這些風險。規則沒有這兩個問題,這也是受監管工作負載偏好採用規則的原因之一。一個實用的判斷方法是:如果你能以規則撰寫驗收測試,通常也能以規則實作該步驟。如需更多資訊,請參閲 AWS Prescriptive Guidance 中的編排模型:從規則式走向原生 AI。

作出決策,而非生成內容

大多數路由及分類步驟介乎規則與開放式生成之間。規則無法判斷所有情況,但這些步驟也不需要生成文字;它們需要的是從你預先定義的固定選項清單中選出一個答案,例如前文例子中的支援佇列。使用一個只會輸出允許答案,並能在需要升級處理時發出訊號的元件。高信心答案會繼續處理,不確定的答案則會升級處理。AWS Well-Architected Agentic AI Lens 將此稱為分層、以信心程度為依據的升級處理。在 AWS 上,你可以透過以下四種方式建構:

  • 小型 Amazon Bedrock 模型與結構化輸出 – 答案只可從 enum 選項集合中選擇,並設有一個會觸發升級處理的「不確定」選項。這是模型本身的判斷,而非經校準的分數,因此在用來決定是否升級處理之前,請先以已標註資料進行檢驗。
  • 嵌入相似度 – 使用 Amazon Bedrock 嵌入模型為輸入生成嵌入向量,並選取最相近的已標註範例。以相似度分數作為升級處理的訊號,並根據已標註資料設定其閾值。
  • Strands Decider,一個採用 Apache License 2.0 的實驗性開源決策模型 – 它會從選項中作出選擇,或根據評分準則評分,並為每個答案提供經校準的信心度。其 README 指出,在短篇分類任務中,信心度為 0.9 或以上的答案,正確率約為 95%。由於此模型仍屬實驗性質,請先以自己的資料驗證這項結果,再用於正式環境。你需要自行代管,例如依照其儲存庫中的部署指南,將模型部署到Amazon SageMaker AI端點。
  • 在 Amazon SageMaker AI 上訓練的分類器——只要有已標記的訓練數據,便能以低延遲和低成本返回類別機率。

以下 JSON 結構描述將結構化輸出答案限制為四個佇列及「不確定」。Amazon Bedrock 要求結構描述中的每個物件都將 additionalProperties 設為 false。

{
  "type": "object",
  "properties": {
    "queue": {
      "type": "string",
      "enum": ["billing", "technical", "account", "other", "unsure"]
    }
  },
  "required": ["queue"],
  "additionalProperties": false
}

不論選擇哪個方案,都應使用自己的已標記數據檢查其升級訊號,並據此設定任何門檻。將退款上限等授權決策寫入規則中。

確定性快速路徑模式

許多成本模式著重於模型之間的路由。快速路徑再提前一步:先執行確定性檢查,只將規則無法判定的內容傳送至模型。意圖路由便是一例。許多訊息都帶有明確無歧義的訊號,例如「退款」或「重設我的密碼」,透過關鍵字比對便可在個位數毫秒內,甚至更快地處理。如果規則能處理 95% 的請求,在計算選擇模型帶來的任何節省之前,每 20 個請求中便只有 1 個會到達模型。(僅為示例計算,並非基準測試結果。)

在 AWS 上,可利用現有的構件組合出這套方案:

  • AWS Step Functions 的 Choice 狀態會在工作流程呼叫任何模型之前進行分支處理。
  • AWS Lambda 可承載需要超出 Choice 狀態功能的規則,例如驗證和結構描述檢查。
  • Amazon API Gateway (REST API) 的請求驗證會在執行任何運算前拒絕格式錯誤的輸入。
  • 受約束的決策呼叫或 Amazon Bedrock 模型只處理剩餘部分。

以下 Choice 狀態是關鍵字快速路徑。它使用 JSONata,將退款和密碼重設訊息直接傳送至程式碼處理,其餘訊息則傳送至受約束的決策呼叫。

"KeywordFastPath": {
  "Type": "Choice",
  "QueryLanguage": "JSONata",
  "Choices": [
    {
      "Condition": "{% $contains($states.input.message, /refund/i) %}",
      "Next": "RefundFlow"
    },
    {
      "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
      "Next": "PasswordResetFlow"
    }
  ],
  "Default": "ConstrainedDecisionCall"
}

你也可以讓模型只撰寫一次規則,而非每次都執行模型。讓模型草擬正規表示式或 JSON 結構描述,然後審核並提交。到了執行階段,便只需按規則的速度和成本運作。審核模型撰寫的正規表示式,並使用已知有效和無效的輸入測試。避免使用例如 (a+)+ 這類巢狀量詞,因為在某些輸入下,比對速度可能會非常慢(正規表示式拒絕服務攻擊,或 ReDoS)。

當確實需要生成內容時,Amazon Bedrock 結構化輸出會將回應限制為你定義的 JSON 結構描述。回應隨後會符合該結構描述,因此你的程式碼無須自訂剖析邏輯便可剖析回應(仍須檢查內容是否正確)。數值範圍和長度限制等範圍檢查應保留在程式碼中。有關支援的模型和結構描述功能,請參閲 從模型取得經驗證的 JSON 結果。

如果規則存放在設定中,只允許使用已知的基本項目,例如正規表示式、結構描述檢查、關鍵字清單和範圍檢查。切勿執行設定檔中的任意程式碼。

當確實需要使用模型時,選用合適規模的模型

選擇符合質素下限的最低成本、最快模型。這往往不是最新或最大的模型。Generative AI Lens 在其有關以合適規模選擇模型的最佳實踐中涵蓋這一點。Amazon Bedrock 的有效成本最佳化策略則有深入探討。比較模型之前,先訂明要求:

  • 質素下限:可接受的最低輸出質素,以黃金評估集衡量(附有已知正確答案標記的任務範例)。
  • 成本上限:每個請求或每次成功結果所支付的最高金額。
  • 延遲目標:體驗可容許的 p95 或 p99 回應時間。
  • 合規限制:例如數據駐留要求等,可能會排除部分候選模型。

Amazon Bedrock 透過單一 API 提供多個模型系列及不同規模的模型,讓你按各項任務選用合適的模型,而無須更改整合方式。Amazon Bedrock Intelligent Prompt Routing 會將每項請求路由至支援模型系列中合適的模型。Amazon Bedrock Model Distillation 會將較大型模型的知識轉移至較小、成本較低的模型,以配合你的使用場景。模型供應商會以廣泛的基準測試評估新推出的前沿模型,但你的工作負載只涉及一項任務,並有其品質下限。較大型的模型可能會增加成本和延遲,卻未能改善該項任務的表現。切換模型前,請根據你的要求評估每個新推出的模型,例如在黃金評估集上的品質,以及延遲目標。

將模型選擇視為經測試的設定

Generative AI Lens 建議使用你的真實資料測試候選模型,並確保能快速更新模型。你可以進一步將這項決策視為經測試的設定:

  • 為每項任務保留一組黃金評估集,當中包含已標註的基準答案,並在持續整合流程中執行評估。
  • 以你的要求設定門檻。若較便宜的模型低於品質下限,應視為回歸問題。
  • 透過設定旗標控制模型,以便還原模型替換。
  • 採用合適的判定依據。以基準答案檢查規則。只對開放式輸出使用模型作評審的評估方式。
  • 留意偏移。以影子模式抽樣,將部分由規則處理的請求送交模型;若結果不一致,便重新分類該步驟。

實際應用

將模型運算能力用於需要判斷的地方,不要用在其他地方。你可以透過以下四個步驟做到:

  1. 加入監測 – 將每次呼叫標記為確定性程式碼、受限決策呼叫或模型呼叫。追蹤每項成功結果的成本。
  2. 將規則移至程式碼 – 使用 AWS Lambda 或 AWS Step Functions 執行可由規則判定的步驟。這通常是效益最大、風險最低的改進。
  3. 加入受限決策呼叫 – 透過一個在不確定時會升級處理的呼叫,處理固定選項的步驟。
  4. 切換模型前先測試 – 在將任何新模型設為預設模型前,先使用你的黃金評估集進行測試。

結論

在本文中,你瞭解如何判斷工作流程中的某個步驟是否需要使用模型。規則應由確定性程式碼處理,固定選項則應使用受限決策呼叫。開放式工作則交由規模合適的 Amazon Bedrock 模型處理。目標是在品質下限允許的範圍內,以最低成本和延遲滿足各項要求。先問某個步驟是否需要模型,再問應該選用哪個模型。

如需更多資訊,請參閲 AWS Artificial Intelligence Blog 的以下文章:

如要試用受限決策呼叫,請開啟 Amazon Bedrock 主控台,或從其 GitHub 儲存庫部署 Strands Decider。

從一個高流量工作流程開始,衡量當中有多少部分其實毋須使用模型。


關於作者

Meghan Kothari

Meghan Kothari

Meghan 是客戶體驗與業務趨勢團隊的資深技術產品經理,與 AWS 領導層合作,深入研究代理式 AI 驅動的應用程式開發及現代化,探索不斷演變的趨勢。他曾任解決方案架構師及全端開發人員,這些背景讓他能從獨特的實務角度協助塑造開發者體驗。

Krishna Aswani

Krishna Aswani

Krishna 是 Amazon 的資深應用科學家,擁有超過十年建構可在正式環境中運行的機器學習系統的經驗。他的工作涵蓋電腦視覺、自然語言處理、生成式建模及大型語言模型。在 Amazon,他建構代理式架構,並帶領研究結構化推理框架,讓 LLM 更可靠且更易於解讀。早年,他的研究聚焦於神經計算及生物物理學。他與牛津大學及日本 NIMS 合作,建構模擬器及測量系統,以瞭解資訊如何在腦部微管中傳播,包括量子效應在這些生物結構中可能發揮的作用。

Pranav Patankar

Pranav Patankar

Pranav 是客戶體驗與業務趨勢團隊的科學與工程經理,與 AWS 領導層合作改善 AWS 的開發者體驗。他的研究聚焦於提升 LLM 和 AI Agent 的推理能力,並讓它們更值得信賴。他在數據工程、數據科學及應用研究方面的背景,讓他能從獨特的實務角度協助塑造開發者體驗。

Vineet Kamdar

Vineet Kamdar

Vineet 帶領一個跨職能團隊,評估雲端、代理式開發者體驗及整體客戶體驗。他負責策略評估及深入研究,影響生成式 AI、代理式開發者體驗及客戶體驗在多個領域的快速演變,包括代理式編碼助理、代理式遷移、模型訓練及推理。他擁有 18+ 年業界經驗,並具備豐富的企業級大型應用程式建構、架構設計及產品領導經驗,因此特別適合評估、衡量、影響及改善開發者體驗、代理式體驗及整體雲端客戶體驗。

來源:AWS Machine Learning Blog · aws.amazon.com