跳到正文
DEV Community· Samiha Elmansouri·· 8 天前精選AI 評分76

Amazon 改用的不是更便宜的模型,而是 Decider

Amazon Didn't Buy a Cheaper Model. It Bought a Decider.

AI 導讀

Amazon 在內部高流量工單分類系統中,以 2B 參數的 Decider E4B 取代 Claude Sonnet 4.6;Amazon 報稱分類品質相同,每張工單成本由 $0.0222 降至約 $0.0005,減少 98%。

推薦理由

文章把成本下降拆解為輸出格式、流量規模與部署計費三部分,並提供按自家流量評估決策型請求是否適合改用小模型的方法。

正文 · 繁體中文

上星期我指出,模型之間的價格差距是一個 80 倍的梯度,你可以據此分流;而只有在驗證器具確定性時,節省的成本才是真正的節省。

Amazon 剛以其他公司無法企及的規模進行了這項實驗。結果比「他們用了較便宜的模型」更出人意表。

他們在全球規模最大的內部工單系統之一(20 個類別、高流量、正式環境流量)中,以一個 2-billion-parameter 模型取代 Claude Sonnet 4.6,並表示品質相同,成本則降低 98%。每張工單的成本由 $0.0222 降至約 $0.0005。每百萬張工單的成本則由約 $22,200 降至約 $500。

最顯眼的標題會是「小型模型在成本上勝過前沿模型」。但這不是正確的啟示。

他們不是買了較便宜的 token,而是刪除了生成步驟。輸出由 170 個 token 減至 1 個。

實際上有哪些改變

Before and after: output tokens per ticket fall from 170 to 1, total tokens from 6,724 to 2,010, latency from 4,215 ms to 897 ms

指標 Sonnet 4.6 Decider E4B 變化
平均每次呼叫時間 4,215 ms 897 ms -78%
每張工單的輸入 token 數 6,554 2,009 -69%
每張工單的輸出 token 數 170 1 -99%
每張工單的總 token 數 6,724 2,010 -70%
每張工單的成本 $0.0222 ~$0.0005 -98%
每百萬張工單的成本 ~$22,200 ~$500 約 44 倍

再看一次輸出那一列。Sonnet 每張工單產生 170 個 token:一個 JSON 標籤,加上一句推理説明。決策模型只產生一個 token,也就是所選選項的索引。

其他一切都由此而來。輸入 token 減少了 69%,因為提示詞不再需要解釋要如何作出決定,只需列出有哪些選項。延遲降低了 78%,因為 2B 模型只需為 20 個候選項評分,而不必寫一段文字。成本降低了 98%,因為沒有人再為無人閲讀的文字支付輸出費用。

計算一下舊方案的成本。170 個輸出 token 按每百萬個 $15 計,成本是 $0.00255。輸入部分則是 6,554 個 token,按 $3 計,成本為 $0.0197。因此,推理文字從來不是重點;它只是模型被要求作答的方式所產生的副作用。改變答案格式,帳單也會隨之改變。

為何 2B 模型能勝任前沿模型原本負責的工作

它做的並不是同一種工作。

決策模型接收三項輸入:狀態、問題和選項清單。它會為每個選項回傳一個概率,並附上一個信心分數。輸出中完全沒有自由文本。團隊描述的 2B 版本採用 Qwen3.5 主幹,移除語言模型頭並換上約 1M 參數的指標頭、rank-16 LoRA,以及 4,096-token 視窗。

移除寫句子的能力,就能消除寫出看似合理、實際錯誤句子的可能。剩下的是評分問題;當選項範圍固定時,2B 模型可以非常擅長處理評分問題。

還有一點很少有人提及:你會收到一個信心數值。生成式模型給你一個標籤,你只能寄望結果正確。決策模型則會給你一個標籤和 0.83,讓你可以設定門檻。團隊在套用標籤前調校了信心門檻,因此不確定的工單會轉交別處,而不會在無人察覺下被錯誤分類。

大多數 LLM 流程都沒有這項功能。它們只有「模型是這樣説的」。

經濟效益的形態改變了

Sonnet 4.6 (Bedrock) Decider E4B (SageMaker)
計費單位 按 token 按執行個體小時計費
價格 每 1M 個輸入 token $3.00/輸出 token $15.00 每 ml.g5.xlarge 小時 $1.408
容量 彈性 每個執行個體每小時約 5,600 張工單
第 5,601 次呼叫的成本 $0.0222 另一個執行個體
低流量時最便宜 是 否
高流量時最便宜 否 是

請記住這條規則:按 token 計費時,成本會隨流量增加;按執行個體計費時,成本則會隨流量波動而變化。

每張工單使用 Sonnet 的成本為 $0.0222,因此每小時處理十張工單,每小時成本為 22 美仙。無論 g5.xlarge 每小時處理十張還是 5,600 張工單,成本都是 $1.408。因此存在一個門檻,但沒有人公佈過:

收支平衡點 = $1.408 / $0.0222 = 每小時 63 張工單。

每小時處理量低於約 63 張工單時,持續運行一個執行個體的成本會高於直接呼叫 Sonnet。這只佔執行個體容量不足 1.1%,以 Amazon 的規模來説無關緊要;但對試行項目、內部工具,或尚未吸引到流量的產品來説,卻不能忽視。

Cost per hour against ticket rate: flat $1.408 for one instance, a rising line for Sonnet, crossing at 63 tickets per hour

成本曲線的另一部分是使用率。一個執行個體每小時最多可處理約 5,600 張工單,因此在滿載時,成本為 $1.408 / 5,600,即每百萬張工單約 $251。Amazon 表示,實際流量下的成本約為每百萬張工單 $500。

這個兩倍差距並非浪費,而是應對流量突增的代價。流量會以尖峯形式湧入,因此你要按尖峯而非平均流量配置資源。所以,評估這次遷移的正確方式,從來不是「每張工單的成本」,而是按你的 p95 流量計算每張工單的成本;這個數字只有你自己的記錄才有。

我刻意把自己的計算與他們的數字分開列出。63.4 和 $251 是我根據他們公佈的數據計算出來的。98% 則是他們的數字。

三向切換設定

Three modes - BEDROCK, DUAL, DECIDER - selected by one config value, with a 45-second rollback path

這是整篇文章中最值得借鑑的做法。設定檔只有四行。

labeling_mode 存放在 AppConfig,並有三個值:

  • BEDROCK:所有工單都由 Sonnet 分類。決策器已部署,但從未呼叫。
  • DUAL:兩者在實際流量下並行運行。Sonnet 的結果會正式使用;決策器的選擇和信心度則會一併記錄。
  • DECIDER:所有工單都由決策器分類。不會呼叫 Bedrock。

回復只需更改設定,耗時 45 秒。這就是整個風險管理方案。

# labeling.py — the migration is one config read and one diff
MODE = config.get("labeling_mode")  # "BEDROCK" | "DUAL" | "DECIDER"

def label(ticket, options):
    incumbent = lambda: sonnet_label(ticket, options)
    challenger = lambda: decider.choose(
        state=ticket,
        question=QUESTION,
        options=sort_keys(options),   # key order moves probabilities
    )

    if MODE == "BEDROCK":
        return incumbent()

    if MODE == "DECIDER":
        return challenger().choice

    # DUAL: ship the incumbent, log the challenger, judge the gap later
    shipped = incumbent()
    candidate = challenger()
    log_disagreement(ticket, shipped, candidate.choice, candidate.confidence)
    return shipped

DUAL 才是真正的價值所在。每次出現分歧,就會產生一個有標籤的例子,毋須付費聘請標註員,而且例子取自真正重要的流量。團隊的原話是,這「讓我們瞭解到的事情,比任何離線評估都多」。你不是在測試小型模型整體表現是否出色,而是在測試它本星期能否妥善處理你的工單佇列。

明確的切換機制加上一星期的雙軌運行,勝過任何你花一季時間建立的基準測試。

兩個值得借鑑的教訓

1. 4,096-token 上下文視窗改寫了規格。

原本為前沿模型撰寫的二十個類別描述,無法放進視窗內。於是他們把描述改寫成每項一至兩句的判定準則,並明確加入「以上皆非」選項。

表面上像是限制,實際上卻是意外收穫。很多「模型判錯了」的投訴,實際上是有人要求另一個模型推斷標籤根本沒有界定的界線。把標籤濃縮成一句話,會迫使你説清楚它的意思。我猜,報告中部分質素提升源自改寫,而非模型架構。我無法核實這一點,所以它仍只是猜測。

2. JSON 鍵的次序令機率值最多變動 0.19。

內容相同、選項相同,但序列化物件中的鍵次序不同,傳回的機率值就會相差最多 0.19。他們現在會先將鍵排序。

如果你對兩個提示詞、兩個版本或兩個供應商進行 A/B 測試,而輸入序列化方式哪怕只在欄位次序上有差異,你測量的部分結果其實也是序列化器的影響。比較兩個決策輸出之前,先進行標準化:鍵按序排列、空白固定、選項次序穩定、大小寫統一。決定性不是模型本身的屬性,而是整個呼叫的屬性。

何時不適用

他們列出的情況相當坦白:

  • 標籤需要解釋文字,而不只是選項
  • 目錄每週都會更新
  • 內容放不進幾千個 token

我會再補充兩點:

  • 用量低:看看每小時 63 張工單這個數字
  • 需要理由:概率不是解釋。如果人工審核員、審計人員或監管機構需要知道原因,決策模型只會給你一個數字,沒有任何可引用的解釋

大致情況就是如此。決策模型不會取代你的 LLM,而是分流你的呼叫。從已知目錄中進行封閉式選擇、用量高、對延遲敏感,而且不需要理由——這些情況適合使用決策模型。其他情況則繼續使用生成式模型。

星期一測試

不要從模型着手,先從數量開始。

從上週的記錄中抽取 200 次呼叫,每次只問一個問題:提示詞是否以「請從以下選項中選擇一項:」結尾?

如果你的三分之一流量都符合這個條件,你其實正以生成式模型的價格處理分類問題。用記錄下來的呼叫離線測試開放的 2B 決策模型,並計算兩者相符的次數。一個下午就能完成,沒有生產環境風險,而且會得出唯一重要的數字:你的帳單中有多少其實是喬裝成生成任務的決策。

本文並非甚麼

我沒有執行這個模型,也無法存取 Amazon 的工單佇列。所有歸於 Amazon 的數字,均來自他們在 9 November 2026 發表的工程文章。每小時 63 張工單及每百萬次 $251,都是我根據他們公佈的數據計算得出。

這也是一篇由供應商撰寫、介紹其產品在自家內部使用情況的文章,當中沒有提供獨立的準確率百分比。「效果同樣好」並非基準測試。成本方面的説法可以信賴,因為那是算術計算;品質方面的説法則只應視為一項主張。

資料來源

輪到你

我想知道的不是你使用哪個模型。

你的 LLM 呼叫中,有多少實際上是在作決策,也就是從你控制的清單中作封閉式選擇?

如果你沒有這個數字,就抽樣檢視 100 次呼叫並計算。這個百分比就是這類節省方案的上限,也決定了你能否實現 98% 的節省,還是隻能把它當作有趣的資訊。

來源:DEV Community · dev.to