跳到正文
AWS Machine Learning Blog· Apoorva Chandra·· 22 小時前精選AI 評分65

Salesforce 如何透過 Amazon SageMaker AI 跨區域推理路由支援全球模型服務

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

AI 導讀

Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。

推薦理由

文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。

正文 · 繁體中文

感謝 Salesforce 的 AI/ML 資深總監 Amit Gupta,以及軟件工程 PMTS Mark Wang,為 SageMaker AI 跨區域推理路由的願景和合作作出貢獻。

Salesforce 的 Agentforce Foundation 團隊為 Salesforce 各項產品提供多種模型服務,包括 Agentforce 和 Salesforce Trust Layer,涵蓋全球 30 多個區域。這些模型包括內部訓練的模型和開源模型。在每個區域分別託管模型會分散容量,令流量突增時更難應對,從而使容量不足演變為可用性問題。

本文介紹 Salesforce 如何在 SageMaker AI 設定跨區域推理路由,以及這項功能如何讓團隊在履行數據駐留承諾的同時,安全地增加容量。本文亦會説明 Salesforce 如何查看每項請求由哪裏處理,以及原因。跨區域推理路由讓應用程式透過一條呼叫路徑,使用分佈於多個區域和帳戶的 SageMaker AI 端點,並將每項請求傳送至能夠處理該請求的端點。這些端點均屬於 Salesforce,並已部署。本文先介紹 Salesforce 面對的容量問題,再説明路由器的運作方式,以及 Salesforce 如何將它整合至 Internal Gateway,接着展示一個設定範例,最後説明團隊觀察到的情況。

為這些模型提供服務,為何會令容量問題演變為可靠性問題

Salesforce 的 Agentforce Foundation 團隊會在請求來源所在的區域為客戶提供服務,涵蓋全球 30 多個區域和數百個 AWS 帳戶,並根據每位客戶的流量配置容量。每位客戶都有自己的流量高峯時段,而這些時段往往互相重疊。按重疊高峯配置容量固然較為穩妥,但成本過高。客戶亦會在短時間內加入新的業務部門,因此團隊必須迅速擴充資源池。若按區域逐一快速增加容量,Salesforce 便會出現容量碎片化:部分區域有閒置執行個體,其他區域則會耗盡容量。

在 SageMaker AI 推出跨區域推理路由之前,Salesforce 使用 Internal Gateway,將本地端點無法處理的流量傳送至其他區域。團隊自行建立和維護這條路徑,並配合基本的健康檢查、重試和區域切換邏輯。這種做法有兩個不足。第一,閘道無法取得本地或遠端端點的容量訊號,因此無法判斷何時應轉移流量,也無法確認目的地是否有足夠容量。第二,跨區域流量必須離開虛擬私有雲(VPC),經過 NAT 閘道和互聯網閘道,再透過 AWS 公用網絡傳輸。在設計審查中,團隊亦提出級聯故障的風險:事故期間轉移流量可能會令下一個區域超載,因此 Salesforce 需要為跨區域流量設置上限。

在每個應用程式中分別建立這套邏輯,無法配合 Salesforce 的規模擴展。團隊需要一條由託管服務提供、具備容量感知能力的路由路徑。

推理路由器的功能

推理路由器是您帳戶中的區域 SageMaker AI 資源。您的應用程式會呼叫路由器,而非端點,並傳入路由目標名稱,以及與目前傳送至 InvokeEndpoint 相同的請求本文和內容類型。路由目標是您為一個邏輯模型選擇的名稱,例如毒性分類器;它會以完整 Amazon 資源名稱(ARN)列出可能為該模型提供服務的端點和推理元件。路由器為每個模型設有一個路由目標;某個模型的端點出現問題,不會令其他模型的流量轉移。路由目標可混合使用單一模型端點和推理元件。

由於每個目的地都以 ARN 識別,因此可以位於其他區域或其他 AWS 帳戶。擁有端點的帳戶會透過資源型端點政策授予存取權,允許一個指定名稱的路由器呼叫該端點;Salesforce 正是透過這種方式使用路由器。

路由器會優先使用所在區域;只要本地目的地能正常提供服務,請求就會留在該處。路由器會根據近期請求的結果評估各個目的地。平台故障、模型容器傳回的 5xx 錯誤、節流和逾時都會降低目的地的健康狀況。這些情況持續發生時,路由器會逐步將更多新請求轉送至健康的目的地,通常約一分鐘內開始轉移。流量較少的目的地可能需要數分鐘。擴展進度和執行個體啟動失敗等訊號,會影響路由器在錯誤出現後作出反應的速度,但這些訊號本身不會轉移流量。目的地恢復後,流量會在數分鐘內逐步迴流,速度比轉移出去時慢,避免流量來回波動。如果目的地在未執行模型的情況下令請求失敗,例如因節流而失敗,路由器會在另一個目的地重試該請求一次。

無效輸入等用戶端錯誤不會令流量轉移,因為在任何區域都會以相同方式失敗。模型延遲也不會令流量轉移,因為回應緩慢往往是由提示詞或輸出較長所致,單憑這一點並不代表端點不健康。路由器也不會部署模型、複製成品或新增執行個體。它會使用您已部署的容量,而各端點的自動擴展功能會在流量增加時持續新增執行個體。

Salesforce 如何將路由器整合至 Internal Gateway

在 Salesforce 的 Internal Gateway 中,路由器呼叫正好取代了原本直接呼叫 InvokeEndpoint 的位置:位於每個請求的出口路徑中,資料駐留檢查之後、回應處理之前。這項檢查是 Gateway 保留的唯一路由決策。標記有資料駐留要求的請求會固定至其區域內的路由目標,而該目標唯一的目的地是本地端點,因此絕不會跨越邊界進行故障轉移。其他請求則會傳送至路由器,本文、內容類型和接受類型都與 Gateway 原先傳送的相同。容量感知、健康狀況評估和故障轉移,現在由路由層負責,而非由 Salesforce 的程式碼處理。

Cross-Region inference routing architecture at Salesforce, with the per-Region Internal Gateway routing requests to a local or remote SageMaker AI endpoint

圖 1:Salesforce 跨區域推理路由的端到端架構。在每個區域,Internal Gateway 會透過 VPC 端點(AWS PrivateLink)傳送用戶端請求。資料駐留旗標設為 true 的請求會直接傳送至區域內的 Endpoint A,不會離開所屬區域。其他請求則會傳送至本地推理路由器;路由器預設會將流量傳送至本地 Endpoint A,當本地端點顯示容量受限的跡象時,則會切換至另一個區域的 Endpoint A。

Salesforce 將每個回應中的兩個路由欄位視為核心遙測資料。閘道會將 InvokedRoutedResourceArn 和 RoutingReason,連同現有的請求 ID 和追蹤 ID,記錄在同一條結構化記錄中,並將兩者設為應用程式效能監控(APM)標籤。由於 ARN 包含區域和帳戶資訊,單一記錄行便能顯示請求是在本地處理,還是跨越區域界線,以及原因:local-preferred、failover、capacity-available 或 only-healthy。團隊調查流量轉移時,會將這些欄位與路由器的 Amazon CloudWatch 指標關聯起來。

閘道的逾時設定已考慮跨區域往返延遲,因此請求切換至遠端區域後,仍有足夠時間完成處理。由於路由器已會在另一個目的地重試一次,閘道不會自行重試,避免事故期間的請求嘗試次數不斷倍增。

範例設定

以下逐步説明 Salesforce 測試過的設定,並使用範例 ID 和名稱。Salesforce 首先在 US West (Oregon) 區域(us-west-2)建立路由器,加入一個本地目的地,並確認請求會路由至該目的地。之後,團隊註冊了另一個帳戶在 US East (Ohio) 區域(us-east-2)擁有的端點,移除本地目的地,並確認請求可跨越帳戶和區域界線,到達遠端端點。範例中,路由器帳戶為 111122223333,而擁有 us-east-2 端點的帳戶為 444455556666。

授權路由器使用目的地端點

在擁有 us-east-2 端點的帳戶中,擁有者會附加一項資源型政策,允許路由器帳戶呼叫該端點,並加入條件,將存取權限限制為一個指定的路由器。路由器目前無須已建立,因此你可以使用計劃建立的路由器 ARN。

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "AllowInferenceRouter",
    "Effect": "Allow",
    "Principal": {"AWS": "arn:aws:iam::111122223333:root"},
    "Action": "sagemaker:InvokeEndpoint",
    "Resource": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2",
    "Condition": {"ArnEquals": {"sagemaker:SourceInferenceRouterArn":
      "arn:aws:sagemaker:us-west-2:111122223333:inference-router/example-agent-router"}}
  }]
}
# Run in account 444455556666, in the endpoint's Region
aws sagemaker put-endpoint-policy \
  --endpoint-name example-toxicity-use2 \
  --resource-policy file://policy.json \
  --region us-east-2

sagemaker:SourceInferenceRouterArn 條件表示路由器帳戶只能透過該路由器連接端點。端點擁有者可隨時使用 delete-endpoint-policy 撤銷存取權。

建立路由器

在路由器帳戶中,於 us-west-2 建立路由器,並設定一個路由目標,按 ARN 列出兩個目的地。

import boto3

ir = boto3.client("sagemaker", region_name="us-west-2")

response = ir.create_inference_router(
    InferenceRouterName="example-agent-router",
    RoutingTargets=[
        {
            "Name": "toxicity-detection",
            "Destinations": [
                {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/example-toxicity-usw2"},
                {"ResourceArn": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2"},
            ],
        }
    ],
)
print(response["InferenceRouterArn"])

每個額外模型都會成為 RoutingTargets 中的另一個項目。

確認每個目的地都可路由

傳送流量前,呼叫 DescribeInferenceRouter,並檢查每個目的地的 RoutingStatus。可路由表示 SageMaker AI 能夠讀取目的地,而且該目的地可以處理流量。不可路由表示目的地已成功讀取,但目前無法處理流量,例如端點並非 InService 狀態。未知表示 SageMaker AI 無法使用你的憑證讀取目的地,例如你缺少 sagemaker:DescribeEndpoint(或推理元件所需的 sagemaker:DescribeInferenceComponent);如果目的地位於另一個帳戶,則可能是其端點政策未授予 Describe 權限。

desc = ir.describe_inference_router(InferenceRouterName="example-agent-router")
for target in desc["RoutingTargets"]:
    for dest in target["Destinations"]:
        print(target["Name"], dest["ResourceArn"], dest["RoutingStatus"])

改為呼叫路由器,而非端點

呼叫程式碼的變更很小。請求本文、內容類型和接受類型都保持原樣。客戶端和操作有所變更,而端點名稱則替換為路由器名稱和路由目標名稱。

import json
import boto3

payload = json.dumps({"inputs": "Example input"})

# Before: call one endpoint directly
smr = boto3.client("sagemaker-runtime", region_name="us-west-2")
resp = smr.invoke_endpoint(
    EndpointName="example-toxicity-usw2",
    ContentType="application/json",
    Body=payload,
)

# After: call the router
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-west-2")
resp = rt.invoke_inference_router(
    InferenceRouterName="example-agent-router",
    RoutingTargetName="toxicity-detection",
    ContentType="application/json",
    Body=payload,
)

print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason:   ", resp["RoutingReason"])
print("Output:   ", resp["Body"].read().decode())

InferenceId 和 CustomAttributes 會像 InvokeEndpoint 一樣傳遞至目的地,因此追蹤 ID 等識別碼會隨請求一同傳送。由於路由目標會取代它們,因此不會使用 TargetVariant 和 InferenceComponentName 等成員。

查看請求的去向

評估路由層的大部分團隊,首先會詢問如何瞭解它的處理結果。推理路由器會在每個回應中,以及在 Amazon CloudWatch 中提供相關資訊。每個回應都會附上處理該請求的目的地 ARN 和路由原因,分別記錄在 InvokedRoutedResourceArn 和 RoutingReason 欄位,以及對應的 X-Amzn-SageMaker-Invoked-Routed-Resource-Arn 和 X-Amzn-SageMaker-Invoked-Routing-Reason 標頭中。由於 ARN 包含區域和帳戶資訊,將這兩個值與自己的請求記錄一併記錄,就能逐項追蹤每個呼叫是在本地執行,還是跨越了邊界。

路由原因有四種值。local-preferred 表示由路由器所在區域內狀態正常的目的地處理請求。failover 表示路由器所在區域內有目的地,但服務不穩定,因此路由器將請求轉送至其他地方。capacity-available 表示路由器所在區域內沒有目的地能夠處理請求,因此請求被送往其他區域中數個狀態正常的目的地之一。only-healthy 表示請求由唯一符合資格且狀態正常的目的地處理。

整體而言,路由器會將 OpenTelemetry 指標發佈至其自身帳戶和區域中的 CloudWatch;每項指標都包含路由器名稱和目的地 ARN,因此可在同一處查看跨區域情況。aws.sagemaker.inference_router.invocations 會按目的地統計請求數,其 error.type 屬性則將失敗細分為 invocation_4xx、invocation_5xx(包括逾時),以及用於記錄模型回傳錯誤的 invocation_model_error。

aws.sagemaker.inference_router.destination.duration 會量度每個目的地所需的時間,而 aws.sagemaker.inference_router.overhead.duration 會量度路由器額外增加的時間,包括往返遠端區域的網絡時間。aws.sagemaker.inference_router.destination.status 會將每個目的地的健康狀態列為 healthy、overloaded 或 degraded。你可以在 CloudWatch Query Studio 使用 PromQL 查詢這些指標,並將它們與每個端點現有的 SageMaker AI 指標並列在跨帳戶、跨區域的儀錶板上。

CloudWatch dashboard showing requests per destination shifting from the local endpoint to remote endpoints during failover, then returning after recovery

圖 2:AWS 使用測試模型進行故障轉移測試期間的 CloudWatch 儀錶板。隨着本地目的地狀態轉差,每個目的地處理的請求數由本地 us-east-2 端點轉移至 us-west-2 的端點;本地目的地恢復後,請求數再逐步轉回。

測試跨帳戶及跨區域故障轉移

Salesforce 在兩種配置下測試了路由器。第一種是在 us-west-2 進行同區域路由,由 Internal Gateway 呼叫本地推理路由器,再由路由器將請求傳送至本地 Endpoint A。第二種是跨帳戶、跨區域路由:位於 us-west-2 的路由器也列出一個位於 us-east-2、由另一個基礎設施帳戶擁有的端點。傳送流量前,團隊呼叫了 DescribeInferenceRouter,確認路由目標列出了兩個目的地,而且兩者的 RoutingStatus 均為 Routable。之後,傳送至路由器的請求均由本地端點處理,路由原因為 local-preferred。設定過程所需工作不多:端點擁有者為路由器的帳戶新增端點政策,而閘道器出站路徑中的直接 InvokeEndpoint 呼叫,則改為呼叫路由器;請求本文、內容類型和接受類型均保持不變。

為了測試故障轉移,團隊持續向 us-west-2 的本地端點發送大量請求,直至端點飽和;同時,另一個獨立探測程式持續呼叫路由器,並記錄每個請求由哪個區域處理及所需時間。在端點飽和約五分鐘期間,探測的 p50 延遲由 0.2 秒升至 45 至 58 秒,而流量仍留在 us-west-2。這是預期的行為,因為單憑延遲不會令流量轉移。當請求開始超出模型容器 60 秒的處理常式逾時限制並傳回錯誤時,路由器便開始轉移流量。首批請求在首次出現錯誤約兩分鐘後抵達 us-east-2;再過一分鐘內,約 78% 的探測流量已由 us-east-2 處理。其餘 20 至 25% 留在本地,讓路由器偵測服務是否恢復。

流量轉移後,p50 延遲回落至 0.2 秒,而跨區域路徑在 p50 增加不足 100 毫秒。本地端點恢復後,流量在約 10 分鐘內逐步返回 us-west-2;探測程式在故障轉移及故障回復期間均沒有記錄到錯誤。每個回應中的 InvokedRoutedResourceArn 和 RoutingReason 欄位,連同 CloudWatch 中路由器按目的地劃分的呼叫指標,完整呈現了整個過程,無需額外的檢測工具。

Line chart of probe request share by Region: traffic stays in us-west-2, shifts to us-east-2 during saturation, then returns to us-west-2 after recovery

圖 3:Salesforce 故障轉移測試期間各區域的探測請求比例(UTC)。本地端點飽和時,流量留在 us-west-2;請求開始傳回錯誤後,流量轉移至 us-east-2(峯值約為 78%);端點恢復後,流量再於約 10 分鐘內逐步返回 us-west-2

路由器讓 Salesforce 能夠取代團隊以往自行建立和維護的運作邏輯:Internal Gateway 中的健康檢查、重試及區域切換邏輯。容量訊號和故障轉移現時由路由層處理,而非由各個應用程式各自處理。

在擴大採用前,Salesforce 計劃再次進行故障轉移測試,讓本地端點維持飽和更長時間,以毫秒精度測量跨區域延遲、評估達到跨區域上限時的級聯區域行為,並在更多區域部署路由器。

「透過 Amazon SageMaker AI 全新的跨區域推理路由功能,我們可以安全地增加容量,同時履行數據駐留承諾。必須留在某個區域的工作負載會繼續留在該處,只有符合資格的流量才可由另一個區域提供服務。一次受管理的呼叫即可配合我們現有的故障轉移邏輯運作,因此我們無需重新設計應用程式架構或更改負載內容。SageMaker AI 負責路由、健康狀況偵測及後備處理,而客戶數據始終留在 Salesforce 的信任邊界內。我們會決定哪些區域符合資格,並透過由我們管理的端點政策控制存取權。由於推理路由器可配合 Amazon CloudWatch 和 AWS CloudTrail 運作,我們亦能為工作負載建立完整的可觀測性、成本追蹤及治理架構。」

— Richard Chang,Salesforce 軟件工程架構師

最佳做法及注意事項

請確保你註冊的每個區域都備有相同的模型、容器映像及構件,因為路由器不會複製這些項目;若目的地使用不同版本的模型,相同請求便會得到不同答案。

按每個目的地的自身流量,以及預計轉送至該處的溢出流量,為其配置足夠容量。路由器不會創造容量;如果所有符合條件的目的地都繁忙,應用程式便會收到目的地自身回傳的錯誤。請像現時一樣,為每個目的地設定自動擴展,並預留足夠容量,讓接收請求的端點在其他區域有流量送達時,能按照自身政策擴展。

客戶可在接收端點的設定(CrossRegionTrafficConfig)中設定上限,包括每個執行個體的請求速率,以及遠端流量可使用的端點容量最高比例。本地流量不計入此上限。遠端流量達到上限時,端點便會停止接收來自其他區域的額外請求,路由器則會將這些請求送往其他目的地,讓本地呼叫方保留可用容量。此上限適用於即時端點。

結論

Salesforce 在全球 30 多個區域,為公司各種產品提供多種模型服務;過去在每個區域分別託管模型,令容量不足演變成可用性問題。透過推理路由器,Salesforce 可將其在不同區域和帳戶中運行的端點註冊至同一個呼叫介面,讓本地端點無法處理的流量轉往其他地方的可用容量,而非請求失敗。必須留在某個區域的請求會留在該處;端點擁有者則透過自行管理的政策授權跨帳戶存取。每個回應都會顯示請求在哪裏執行及原因。Amazon SageMaker AI 負責路由、健康狀況評估,以及端點恢復後逐步恢復流量,無須各個呼叫應用程式自行建立這些邏輯。這讓 Salesforce 能在履行資料駐留承諾的同時,安全地增加容量。

Amazon SageMaker AI 的跨區域推理路由功能將於 2026 年 11 月 18 日起,在所有支援即時端點推理功能的商業區域正式推出。如要開始使用,請參閲 Amazon SageMaker AI Developer Guide 中的推理路由器文件及CreateInferenceRouter API 參考資料。


作者介紹

Apoorva Chandra

Apoorva Chandra

Apoorva 是 Amazon SageMaker AI 推理團隊的產品經理,專注於端點體驗和託管體驗。她與在正式環境部署生成式 AI 模型的客戶合作,致力令加速運算資源更容易取得、運行成本更低,並讓操作更可預測。工作之餘,Apoorva 喜歡遠足、探索咖啡店,以及與朋友相聚。

Hrushikesh Gangur

Hrushikesh Gangur

Hrushikesh 是 AWS 的首席解決方案架構師,常駐加州三藩市。他專精於生成式 AI 和 Agentic AI 技術,協助新創公司和獨立軟件供應商建置及部署 AI 應用程式。

Deepti Ragha

Deepti Ragha

Deepti 是 Amazon SageMaker AI 團隊的資深軟件開發工程師,專精於機器學習(ML)推理基礎架構和模型託管優化。她負責開發功能,以提升部署效能和可用性、降低推理成本,並讓各種規模的機構都能使用機器學習。工作之餘,她喜歡旅行、遠足和園藝。

Richard Chang

Richard Chang

Richard 是 Salesforce 的軟件架構師,負責帶領設計和開發全公司通用的平台,涵蓋 AI 模型推理、訓練和 Agentic 執行環境,為 Salesforce 的全球基礎架構提供可擴展且可靠的 AI 功能。

Scott Chang

Scott Chang

Scott 是 Salesforce AI Cloud Infrastructure 團隊的首席工程師,負責構建支撐 Salesforce Agentforce 產品的 Amazon Bedrock 基礎架構。Scott 的工作涵蓋模型路由、跨帳戶存取,以及大規模大型語言模型(LLM)工作負載的可觀測性。在轉職從事 AI 基礎架構工作前,Scott 曾多年為全球企業設計及營運數據中心和雲端網絡。

來源:AWS Machine Learning Blog · aws.amazon.com