Amazon 改用的不是更便宜的模型,而是 Decider
Amazon Didn't Buy a Cheaper Model. It Bought a Decider.
Amazon 在內部高流量工單分類系統中,以 2B 參數的 Decider E4B 取代 Claude Sonnet 4.6;Amazon 報稱分類品質相同,每張工單成本由 $0.0222 降至約 $0.0005,減少 98%。
文章把成本下降拆解為輸出格式、流量規模與部署計費三部分,並提供按自家流量評估決策型請求是否適合改用小模型的方法。
上星期我指出,模型之間的價格差距是一個 80 倍的梯度,你可以據此分流;而只有在驗證器具確定性時,節省的成本才是真正的節省。
Amazon 剛以其他公司無法企及的規模進行了這項實驗。結果比「他們用了較便宜的模型」更出人意表。
他們在全球規模最大的內部工單系統之一(20 個類別、高流量、正式環境流量)中,以一個 2-billion-parameter 模型取代 Claude Sonnet 4.6,並表示品質相同,成本則降低 98%。每張工單的成本由 $0.0222 降至約 $0.0005。每百萬張工單的成本則由約 $22,200 降至約 $500。
最顯眼的標題會是「小型模型在成本上勝過前沿模型」。但這不是正確的啟示。
他們不是買了較便宜的 token,而是刪除了生成步驟。輸出由 170 個 token 減至 1 個。
實際上有哪些改變
| 指標 | Sonnet 4.6 | Decider E4B | 變化 |
|---|---|---|---|
| 平均每次呼叫時間 | 4,215 ms | 897 ms | -78% |
| 每張工單的輸入 token 數 | 6,554 | 2,009 | -69% |
| 每張工單的輸出 token 數 | 170 | 1 | -99% |
| 每張工單的總 token 數 | 6,724 | 2,010 | -70% |
| 每張工單的成本 | $0.0222 | ~$0.0005 | -98% |
| 每百萬張工單的成本 | ~$22,200 | ~$500 | 約 44 倍 |
再看一次輸出那一列。Sonnet 每張工單產生 170 個 token:一個 JSON 標籤,加上一句推理説明。決策模型只產生一個 token,也就是所選選項的索引。
其他一切都由此而來。輸入 token 減少了 69%,因為提示詞不再需要解釋要如何作出決定,只需列出有哪些選項。延遲降低了 78%,因為 2B 模型只需為 20 個候選項評分,而不必寫一段文字。成本降低了 98%,因為沒有人再為無人閲讀的文字支付輸出費用。
計算一下舊方案的成本。170 個輸出 token 按每百萬個 $15 計,成本是 $0.00255。輸入部分則是 6,554 個 token,按 $3 計,成本為 $0.0197。因此,推理文字從來不是重點;它只是模型被要求作答的方式所產生的副作用。改變答案格式,帳單也會隨之改變。
為何 2B 模型能勝任前沿模型原本負責的工作
它做的並不是同一種工作。
決策模型接收三項輸入:狀態、問題和選項清單。它會為每個選項回傳一個概率,並附上一個信心分數。輸出中完全沒有自由文本。團隊描述的 2B 版本採用 Qwen3.5 主幹,移除語言模型頭並換上約 1M 參數的指標頭、rank-16 LoRA,以及 4,096-token 視窗。
移除寫句子的能力,就能消除寫出看似合理、實際錯誤句子的可能。剩下的是評分問題;當選項範圍固定時,2B 模型可以非常擅長處理評分問題。
還有一點很少有人提及:你會收到一個信心數值。生成式模型給你一個標籤,你只能寄望結果正確。決策模型則會給你一個標籤和 0.83,讓你可以設定門檻。團隊在套用標籤前調校了信心門檻,因此不確定的工單會轉交別處,而不會在無人察覺下被錯誤分類。
大多數 LLM 流程都沒有這項功能。它們只有「模型是這樣説的」。
經濟效益的形態改變了
| Sonnet 4.6 (Bedrock) | Decider E4B (SageMaker) | |
|---|---|---|
| 計費單位 | 按 token | 按執行個體小時計費 |
| 價格 | 每 1M 個輸入 token $3.00/輸出 token $15.00 | 每 ml.g5.xlarge 小時 $1.408 |
| 容量 | 彈性 | 每個執行個體每小時約 5,600 張工單 |
| 第 5,601 次呼叫的成本 | $0.0222 | 另一個執行個體 |
| 低流量時最便宜 | 是 | 否 |
| 高流量時最便宜 | 否 | 是 |
請記住這條規則:按 token 計費時,成本會隨流量增加;按執行個體計費時,成本則會隨流量波動而變化。
每張工單使用 Sonnet 的成本為 $0.0222,因此每小時處理十張工單,每小時成本為 22 美仙。無論 g5.xlarge 每小時處理十張還是 5,600 張工單,成本都是 $1.408。因此存在一個門檻,但沒有人公佈過:
收支平衡點 = $1.408 / $0.0222 = 每小時 63 張工單。
每小時處理量低於約 63 張工單時,持續運行一個執行個體的成本會高於直接呼叫 Sonnet。這只佔執行個體容量不足 1.1%,以 Amazon 的規模來説無關緊要;但對試行項目、內部工具,或尚未吸引到流量的產品來説,卻不能忽視。
成本曲線的另一部分是使用率。一個執行個體每小時最多可處理約 5,600 張工單,因此在滿載時,成本為 $1.408 / 5,600,即每百萬張工單約 $251。Amazon 表示,實際流量下的成本約為每百萬張工單 $500。
這個兩倍差距並非浪費,而是應對流量突增的代價。流量會以尖峯形式湧入,因此你要按尖峯而非平均流量配置資源。所以,評估這次遷移的正確方式,從來不是「每張工單的成本」,而是按你的 p95 流量計算每張工單的成本;這個數字只有你自己的記錄才有。
我刻意把自己的計算與他們的數字分開列出。63.4 和 $251 是我根據他們公佈的數據計算出來的。98% 則是他們的數字。
三向切換設定
這是整篇文章中最值得借鑑的做法。設定檔只有四行。
labeling_mode 存放在 AppConfig,並有三個值:
-
BEDROCK:所有工單都由 Sonnet 分類。決策器已部署,但從未呼叫。 -
DUAL:兩者在實際流量下並行運行。Sonnet 的結果會正式使用;決策器的選擇和信心度則會一併記錄。 -
DECIDER:所有工單都由決策器分類。不會呼叫 Bedrock。
回復只需更改設定,耗時 45 秒。這就是整個風險管理方案。
# labeling.py — the migration is one config read and one diff
MODE = config.get("labeling_mode") # "BEDROCK" | "DUAL" | "DECIDER"
def label(ticket, options):
incumbent = lambda: sonnet_label(ticket, options)
challenger = lambda: decider.choose(
state=ticket,
question=QUESTION,
options=sort_keys(options), # key order moves probabilities
)
if MODE == "BEDROCK":
return incumbent()
if MODE == "DECIDER":
return challenger().choice
# DUAL: ship the incumbent, log the challenger, judge the gap later
shipped = incumbent()
candidate = challenger()
log_disagreement(ticket, shipped, candidate.choice, candidate.confidence)
return shipped
DUAL 才是真正的價值所在。每次出現分歧,就會產生一個有標籤的例子,毋須付費聘請標註員,而且例子取自真正重要的流量。團隊的原話是,這「讓我們瞭解到的事情,比任何離線評估都多」。你不是在測試小型模型整體表現是否出色,而是在測試它本星期能否妥善處理你的工單佇列。
明確的切換機制加上一星期的雙軌運行,勝過任何你花一季時間建立的基準測試。
兩個值得借鑑的教訓
1. 4,096-token 上下文視窗改寫了規格。
原本為前沿模型撰寫的二十個類別描述,無法放進視窗內。於是他們把描述改寫成每項一至兩句的判定準則,並明確加入「以上皆非」選項。
表面上像是限制,實際上卻是意外收穫。很多「模型判錯了」的投訴,實際上是有人要求另一個模型推斷標籤根本沒有界定的界線。把標籤濃縮成一句話,會迫使你説清楚它的意思。我猜,報告中部分質素提升源自改寫,而非模型架構。我無法核實這一點,所以它仍只是猜測。
2. JSON 鍵的次序令機率值最多變動 0.19。
內容相同、選項相同,但序列化物件中的鍵次序不同,傳回的機率值就會相差最多 0.19。他們現在會先將鍵排序。
如果你對兩個提示詞、兩個版本或兩個供應商進行 A/B 測試,而輸入序列化方式哪怕只在欄位次序上有差異,你測量的部分結果其實也是序列化器的影響。比較兩個決策輸出之前,先進行標準化:鍵按序排列、空白固定、選項次序穩定、大小寫統一。決定性不是模型本身的屬性,而是整個呼叫的屬性。
何時不適用
他們列出的情況相當坦白:
- 標籤需要解釋文字,而不只是選項
- 目錄每週都會更新
- 內容放不進幾千個 token
我會再補充兩點:
- 用量低:看看每小時 63 張工單這個數字
- 需要理由:概率不是解釋。如果人工審核員、審計人員或監管機構需要知道原因,決策模型只會給你一個數字,沒有任何可引用的解釋
大致情況就是如此。決策模型不會取代你的 LLM,而是分流你的呼叫。從已知目錄中進行封閉式選擇、用量高、對延遲敏感,而且不需要理由——這些情況適合使用決策模型。其他情況則繼續使用生成式模型。
星期一測試
不要從模型着手,先從數量開始。
從上週的記錄中抽取 200 次呼叫,每次只問一個問題:提示詞是否以「請從以下選項中選擇一項:」結尾?
如果你的三分之一流量都符合這個條件,你其實正以生成式模型的價格處理分類問題。用記錄下來的呼叫離線測試開放的 2B 決策模型,並計算兩者相符的次數。一個下午就能完成,沒有生產環境風險,而且會得出唯一重要的數字:你的帳單中有多少其實是喬裝成生成任務的決策。
本文並非甚麼
我沒有執行這個模型,也無法存取 Amazon 的工單佇列。所有歸於 Amazon 的數字,均來自他們在 9 November 2026 發表的工程文章。每小時 63 張工單及每百萬次 $251,都是我根據他們公佈的數據計算得出。
這也是一篇由供應商撰寫、介紹其產品在自家內部使用情況的文章,當中沒有提供獨立的準確率百分比。「效果同樣好」並非基準測試。成本方面的説法可以信賴,因為那是算術計算;品質方面的説法則只應視為一項主張。
資料來源
- Amazon 工程文章,9 Nov 2026:Amazon 以 Strands Decider 取代 Sonnet 4.6,節省數百萬
- 模型架構及基準測試:介紹 Strands Decider 2B
- 上文採用的執行個體價格:AWS SageMaker
ml.g5.xlarge,us-east-1 隨需價格,每小時 $1.408。引用前請先核實。
輪到你
我想知道的不是你使用哪個模型。
你的 LLM 呼叫中,有多少實際上是在作決策,也就是從你控制的清單中作封閉式選擇?
如果你沒有這個數字,就抽樣檢視 100 次呼叫並計算。這個百分比就是這類節省方案的上限,也決定了你能否實現 98% 的節省,還是隻能把它當作有趣的資訊。
來源:DEV Community · dev.to


