跳到正文
AWS Machine Learning Blog· Joe McCarron·· 2 小時前精選AI 評分61

Skyflow 與 Amazon Bedrock AgentCore Gateway 保護智能體工具呼叫中的敏感資料

Protect agent tool calls with Skyflow and Amazon Bedrock AgentCore Gateway

AI 導讀

Skyflow 與 Amazon Bedrock AgentCore Gateway 結合請求及回應攔截器,在智能體工具呼叫抵達工具前去識別化資料,並按模式處理返回內容。

推薦理由

文章以 AgentCore Gateway 攔截點為核心,對照工具、模型與文件三種資料保護模式,説明敏感資料在智能體工作流中的處理方式。

正文 · 繁體中文

在本文中,我們會介紹 Skyflow 和 Amazon Bedrock AgentCore Gateway 如何避免敏感資料流入 AI Agent 呼叫的工具,以及這些工具提供資料的模型上下文。我們會把 Skyflow Detect 加入 Amazon Bedrock AgentCore Gateway,作為請求和回應攔截器。Skyflow 攔截器會在資料到達工具前將其去識別化,在 Agent 讀取結果前還原資料,並在 Agent 開啟文件前以乾淨副本取代原文件。你的 Agent 和工具無須作出任何更改。

Skyflow 可在 AWS Marketplace 取得,而攔截器則以開源形式在 GitHub 上提供。

Agent 透過工具執行操作,而工具會傳送資料

Agent 已從回答問題轉為採取行動,而它們會透過工具採取行動:Model Context Protocol (MCP) 伺服器、SaaS API、文件儲存庫和網頁搜尋。每次 Agent 呼叫工具都會形成資料流。大部分企業控制措施涵蓋進入模型及從模型輸出的內容。涵蓋 Agent 傳送給工具的資料,或工具傳回的資料的控制措施則少得多。

這個漏洞會以三種方式呈現:

  • 敏感資料會透過工具參數外流。 模型會根據其上下文中的所有內容編寫參數,包括工具不需要的資料。當你要求 Agent 查詢某位客戶時,客戶姓名、帳戶號碼或電郵地址會直接進入發送至第三方伺服器的查詢。該伺服器位於你的 AWS 帳戶及合規範圍之外。
  • 敏感資料會透過工具結果傳回。 抓取的網頁、CRM 記錄和個案備註會進入模型上下文、記憶體、追蹤記錄和日誌,即使任務根本不需要這些資料,也會發生這種情況。
  • 文件會繞過文字檢查。 Amazon Simple Storage Service (Amazon S3)、Box 和 Google Drive 等文件工具會傳回簽署網址,而非文字。只檢查字串的篩選器只會看到連結,並讓它通過,之後 Agent 便會開啟原始檔案。

在不同團隊和框架中逐一修補每個 Agent,並不能擴大規模,也無法涵蓋第三方工具。控制措施必須設於每次工具呼叫都會經過的位置,才能以一致方式對每個 Agent 和工具實施授權、內容安全及資料保護。

AgentCore Gateway 正是這個位置。無論 Agent 使用哪種框架或模型,它都會為 Agent 使用的每項工具提供統一入口。它不只負責轉送流量。透過 AgentCore Gateway 攔截器,你可以在每次經過 Gateway 的呼叫中執行自訂程式碼,例如 AWS Lambda 函數。請求攔截器會在每次呼叫到達工具前查看該呼叫,而回應攔截器則會在每次結果傳回 Agent 前查看該結果。兩者都可以檢查並改寫內容,或封鎖呼叫。因此,Gateway 是在 Policy 和 Guardrails 旁加入資料保護的理想位置。這項控制只需連接一次,便能涵蓋 Gateway 後方的每個 Agent 和工具,無須更改 Agent 或工具程式碼。

範例:一家大型歐洲銀行的爭議處理 Agent

假設有一家大型歐洲銀行,提供零售及企業銀行業務,並須嚴格遵守資料駐留要求。該行的營運團隊正開始採用 Agent 調查信用卡交易爭議。

分析員要求 Agent 調查一宗有爭議的交易。Agent 先在網上搜尋商戶資料,再從 Amazon S3 讀取爭議個案備註並加以摘要。若沒有保護措施,便會發生三件事:

  • 模型會根據上下文中的所有內容建立搜尋查詢。搜尋服務供應商收到「Mateo Jackson 爭議 AnyCompany Electronics London」。這是客戶的姓名,被傳送給第三方,但搜尋其實只需要商戶名稱。
  • 抓取的商戶網頁會把無關的個人資料帶入模型的上下文。
  • Agent 會讀取原始個案紀錄,其中包含客戶的全名、電郵地址、電話號碼及信用卡資料。

在閘道上啟用 Skyflow 攔截器後,同一工作流程會有不同結果:

  • 搜尋服務供應商收到「[NAME_AJbrIud] 爭議 AnyCompany Electronics London」,其中 [NAME_AJbrIud] 是可逆的保管庫代幣。商戶搜尋結果維持不變,供應商無法得知客戶身份,而分析員仍可在 Agent 的回答中看到真實姓名。
  • 網頁內容在到達模型前已完成去識別化。
  • Agent 只會收到指向個案紀錄去識別化副本的連結。

解決方案概覽

Skyflow 攔截器是一個 AWS Lambda 函數,連接至 AgentCore Gateway 的兩個攔截點:

  • REQUEST 會在閘道呼叫工具前執行。
  • RESPONSE 會在工具回覆後、Agent 看到結果前執行。

在每個攔截點,函數都會呼叫 Skyflow Detect,以找出姓名、電郵地址、電話號碼、政府身份證明文件號碼、信用卡號碼、出生日期及地點等敏感資料。它會以代幣取代這些資料,或還原原始資料。Skyflow Vault 會儲存原始值,讓獲授權的系統還原代幣。

Skyflow 閘道設定會為每項工具指定三種保護模式之一:保護工具、保護模型及保護文件。

模式 處理方式 誰能看到真實資料 運作方式 常見用途
保護工具 傳出的參數會移除敏感資料,傳回的結果則會還原這些資料 Agent 和用戶可以看到,工具則不能 使用可逆的保管庫代幣,因此工具在回覆中傳回的資料會在 Agent 讀取前還原 網頁搜尋、資料補充,以及不需要客戶身份資料也能完成工作的第三方 API
保護模型 提示詞、歷史記錄、檔案及工具結果會在模型讀取前完成去識別化。回答傳回時會重新識別 Agent 和用戶可以看到,模型則不能 模型呼叫會經由閘道的推理端點傳送。傳回時,只會還原為該次呼叫產生的代幣 客戶對話、抓取的網頁內容、跨區域或第三方模型
保護文件 檔案的簽署 URL 會替換為指向去識別化副本的 URL Agent 一方無人能看到真實資料 Skyflow Detect v2(預覽版)會擷取檔案、清理內容,並在經核准的區域儲存副本。檔案不會經過 Lambda,因此承載資料大小限制不會限制檔案大小 Amazon S3、Box、Google Drive 中的個案紀錄、結單及合約

在正式環境中,有四項特性至關重要:

  • 無須更改 Agent 或工具。Agent 會如常探索閘道,並使用其 AWS Identity and Access Management (AWS IAM) 角色簽署請求。若要保護模型,Agent 只需將模型用戶端指向閘道的推理端點。除此之外,Agent 不會察覺攔截器的存在。
  • 無需重新部署即可設定。政策會按伺服器及工具設定資料方向、實體類型及權杖類型(可逆保險庫權杖或單向權杖)。政策儲存於 AWS Systems Manager Parameter Store,變更無需重新部署即可生效。
  • 失敗時拒絕放行。如果無法完成去識別化,呼叫便不會發送,而不會以明文傳送。攔截器只會從允許清單內的位置擷取檔案,並會封鎖無法檢查的流量,而非靜默放行。
  • 以 AWS 為基礎的營運機制。Skyflow API 金鑰儲存於 AWS Secrets Manager。每項決策均會記錄至 Amazon CloudWatch,並設有供警報使用的指標;攔截器絕不會記錄憑證或原始值。

架構

參考架構展示各個元件的位置。其後的三個流程示範會沿用同一個工具呼叫,分別展示「保護工具」及「保護文件」模式。

下圖展示攔截器如何位於 AgentCore Gateway 與各項工具之間。

Reference architecture with the Skyflow interceptor Lambda function between Amazon Bedrock AgentCore Gateway and the tools, reading its policy from Parameter Store and its API key from Secrets Manager

圖 1:參考架構。編號步驟與下列流程相對應。

流程如下:

  1. 代理程式透過 AgentCore Gateway 呼叫工具,並以其 IAM 角色簽署呼叫。
  2. REQUEST 攔截器會將工具與政策比對,並在需要時使用 Skyflow Detect 對引數進行去識別化。
  3. Gateway 呼叫工具;工具收到的是權杖,而非敏感值。
  4. RESPONSE 攔截器會按政策要求重新識別結果、對結果進行去識別化,或置換文件網址。
  5. 代理程式收到結果。

代理程式在 AgentCore runtime 上執行;這是 Amazon Bedrock AgentCore 的一項功能。在此流程中,攔截器會從 Parameter Store 讀取政策,從 Secrets Manager 讀取 Skyflow API 金鑰,並將每項決策記錄至 Amazon CloudWatch。它會在獲批准的區域呼叫 Skyflow Detect 和 Skyflow Vault,對資料進行去識別化及重新識別。目標位於 Gateway 之外:第三方網頁搜尋 MCP 伺服器、Amazon S3 中的個案備註儲存庫,以及 Gateway 透過推理目標連接的 Amazon Bedrock 模型。對於模型呼叫,攔截器會在 Amazon DynamoDB 中保留一筆短期記錄,記下每次呼叫產生的權杖,因此只會還原該次呼叫的權杖。記錄不包含任何原始值。處理文件時,Skyflow Detect 會透過預先簽署網址直接擷取檔案,因此檔案位元組不會經過 Lambda。

流程示範:保護工具

以下逐步展示爭議示例中的網頁搜尋。客戶姓名會以權杖形式傳出,返回時則還原為真實值,因此搜尋服務供應商不會看到姓名,而分析員仍可看到姓名。

Shield the tool flow where the customer name is replaced with a vault token before the search provider sees the query and restored before the agent reads the results

圖 2:保護工具。搜尋服務供應商看到查詢前,客戶姓名會先替換為保險庫權杖;代理程式讀取搜尋結果前,姓名會還原。

流程示範:保護模型

以下示範分析員要求代理程式草擬回覆客戶。客戶姓名及電郵地址會以權杖形式傳送至模型,草稿返回時則會填回真實值。

Shield the model flow where the interceptor de-identifies the prompt and conversation history before the model reads them and restores the minted tokens before the agent reads the answer

圖 3:保護模型。攔截器會在模型讀取提示詞及對話記錄前進行去識別化,並在代理程式讀取答案前,將該次呼叫產生的權杖還原為原值。

流程示範:保護文件

以下是個案備註請求。攔截器不會直接處理檔案,而是檢查預先簽署網址,並將網址交給 Skyflow Detect;Detect 會傳回已清理副本的連結。

Shield the document flow where the interceptor checks the presigned URL against the allowlist and Skyflow Detect returns a link to a de-identified copy of the file

圖 4:保護文件。攔截器會檢查預簽署 URL 是否符合允許清單,並檢查大小上限;Skyflow Detect 會取得檔案並將其去識別化,而代理程式會收到清理後副本的連結。

以下是儲存在 Amazon S3 的案件紀錄,以及代理程式收到的副本:

Side-by-side comparison of the case note as stored in Amazon S3 with full customer details and the de-identified copy the agent receives with those values replaced by tokens

圖 5:儲存的案件紀錄(左)及代理程式收到的去識別化副本(右)。

類似 [NAME_AJbrIud] 的 token 是保管庫 token,獲授權的用戶可透過 Skyflow 將其還原。類似 [NAME_1] 的 token 則是單向計數器,無法還原。

以下影片展示「保護文件」的完整流程。代理程式要求取得爭議案件紀錄,收到的不是原始檔案,而是去識別化副本的連結。

影片 1:「保護文件」的實際操作。沒有 Skyflow 時,代理程式會讀取原始案件紀錄。透過閘道使用 Skyflow 時,代理程式會讀取去識別化副本。

與 AgentCore 其他部分的配合方式

攔截器可配合 AgentCore 和 Amazon Bedrock 已提供的控制措施:

  • Amazon Bedrock AgentCore 中的 Policy 使用 Cedar 和 Dogwood 授權代理程式可執行的操作。它不止於判斷主體是否可以呼叫工具,還可根據代理程式執行軌跡中較早前的操作作出決策、控制對代理程式和模型的存取、阻止特定參數傳送至特定工具,以及使用 Amazon Bedrock Guardrails 檢查經過閘道的數據。Skyflow 與 Policy 配合運作。Policy 允許呼叫時,Skyflow 會將其中的敏感值替換為可逆 token,讓呼叫得以進行,同時不會向工具或模型暴露真實資料。Policy 決定代理程式可以執行哪些操作;Skyflow 則控制代理程式執行操作時如何處理敏感資料。
  • Amazon Bedrock Guardrails 負責模型互動中的內容安全及敏感資訊遮蔽。Skyflow 則在同一閘道加入由保管庫支援的 token 化及文件去識別化功能。兩者配合使用,可為每次模型及工具呼叫提供多層保護。
  • AgentCore Identity(Amazon Bedrock AgentCore 的一項功能)和 AWS IAM 維持不變。攔截器不會加入需要代理程式管理的憑證。
  • AgentCore Observability(Amazon Bedrock AgentCore 的一項功能)和 Amazon CloudWatch 會將攔截器的決策與閘道追蹤記錄一併記錄。

部署方案

Skyflow 攔截器以開源形式提供,位於 GitHub 上的 agentcore-skyflow 儲存庫,並採用 MIT 授權條款。Skyflow 可在 AWS Marketplace 取得。若要將攔截器加入現有閘道:

  1. 在 AWS Marketplace 訂閲 Skyflow、建立保管庫,並將其 API 金鑰儲存在 AWS Secrets Manager。
  2. 使用 AWS Cloud Development Kit (AWS CDK),從儲存庫部署攔截器堆疊。它會建立 Lambda 函數、其政策參數、用於記錄模型呼叫的 DynamoDB 資料表,以及 Amazon CloudWatch 指標和警示。
  3. 在兩個攔截點將攔截器連接至閘道。儲存庫中的指令碼會完成這項操作,並授予閘道角色僅可呼叫該函數的權限。如果你使用 AWS CloudFormation 或 AWS CDK 管理閘道,則應在其中宣告攔截器,確保日後更新堆疊時仍會保留該設定。
  4. 若要保護模型,請在閘道加入推理目標,並將代理程式的模型用戶端指向閘道的推理端點。

這篇文章的程式碼儲存庫亦包含完整的參考部署項目,包括 Agent、閘道及其目標。你可使用 AgentCore CLI 部署;AgentCore CLI 是 Amazon Bedrock AgentCore 的一項功能。

有五種接入方式:

  • 現有閘道。將攔截器連接至現有閘道。Agent 和工具維持不變。
  • 新 Agent。從一開始便將工具放在 AgentCore Gateway 之後。
  • AWS 以外的 MCP 伺服器。將它們接入為閘道 MCP 伺服器目標,讓其流量經過攔截器。
  • 文件儲存庫。將文件儲存庫的位置加入政策的允許清單,即可涵蓋會傳回簽署網址的工具。
  • 模型呼叫。加入推理目標,並透過閘道傳送 Agent 的模型呼叫。

Skyflow 提供多種保險庫部署模式及區域選項,以符合資料駐留要求。請參閲 Skyflow 部署模式。

注意事項

  • 格式。文字及 Office 格式(TXT、JSON、CSV、XML、JSONL、DOCX、XLSX 及 PPTX)會保留可還原的保險庫令牌。PDF 和圖片會完全去識別化,但會使用單向令牌,因此無法從這些檔案還原原始值。
  • 可用性。字串去識別化及重新識別功能已全面推出。透過簽署網址進行的文件去識別化使用 Skyflow Detect v2,目前仍處於預覽階段。AgentCore Gateway 在不同 AWS 區域的可用性各有不同。部署前,請查閲 Amazon Bedrock AgentCore 文件中的 支援的 AWS 區域。
  • 文件大小與延遲。文件去識別化在設計上設有界限。攔截器會在提交前檢查檔案大小,因此超出已設定上限的檔案會即時遭拒,而不會等到逾時。在上限以內的檔案,會在 AgentCore Gateway 允許的連線時限內完成處理。去識別化所需時間會隨文件大小而變,因此請設定符合文件大小的上限。Skyflow Detect v2 目前仍處於預覽階段。擴大推行前,請在試行期間按自身的工作負載及所在區域驗證延遲。

結論

Agent 的可信程度取決於其傳輸的資料。透過 AgentCore Gateway 和 Skyflow 攔截器,你可在每次工具呼叫都會經過的位置實施私隱控制。它可雙向運作,涵蓋文件及文字,而且無需更改 Agent 程式碼。

從何開始

  1. 選擇一個會接觸客戶資料,並至少呼叫一項帳戶外工具的 Agent 工作流程。
  2. 列出絕不可離開的實體類型,以及獲準查看這些類型的工具。
  3. 從 GitHub 儲存庫部署攔截器,並將它連接至該工作流程的閘道。
  4. 先從「保護工具」開始。然後為文件儲存庫加入「保護文件」;待 Agent 的模型呼叫經閘道傳送後,再加入「保護模型」。
  5. 擴大推行前,先監察攔截器的 CloudWatch 指標一星期。
  6. 如有其他問題,請參閲 Skyflow SDK 文件。

關於作者

Joe McCarron

Joe McCarron

Joe 是 Skyflow 的開發者倡導主管兼產品負責人。加入 Skyflow,負責平台產品管理及開發者倡導之前,Joe 在過去十年於 Zendesk 和 Apollo GraphQL 建構 API 及開發者平台。

Sindhu Jambunathan

Sindhu Jambunathan

Sindhu 是 AWS 的資深解決方案架構師。Sindhu 與 ISV 客戶合作,建構可擴展、安全且具成本效益的資料及生成式 AI 解決方案。

Sunita Koppar

Sunita Koppar

Sunita 是 AWS 的生成式 AI 及機器學習資深專家解決方案架構師,與來自不同產業的客戶合作,設計解決方案、建立概念驗證,並推動可量化的業務成果。

來源:AWS Machine Learning Blog · aws.amazon.com