跳到正文
AWS Machine Learning Blog· Bharathi Srinivasan·· 9 天前精選AI 評分62

Amazon Bedrock AgentCore Evaluations 智能體評估指南:內建、DeepEval 與 AutoEval 評估器的使用方法

The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations

AI 導讀

AWS 介紹如何在 Amazon Bedrock AgentCore Evaluations 中,運用內建、DeepEval 與 AutoEval 評估器評估生產環境中的智能體表現。文章建議先定義業務成功條件,再拆解成可觀察行為,按 trace 或 session 層級選擇評估器。AgentCore 支援按需、線上及批次評估,三種模式使用相同評估器 ID,從開發測試切換至線上評估只需更改設定。

推薦理由

文章示範由業務結果拆解可觀察行為,再選擇 trace 或 session 評估器,並説明如何按需求組合內建、DeepEval 與 AutoEval 指標。

正文 · 繁體中文

將 Agent 部署至正式環境後,最難回答的問題之一,就是它是否真的發揮作用?關鍵不在於它能否運行,而在於它能否大規模滿足業務需求。許多團隊都會告訴你,他們其實看不清楚 Agent 的表現。他們會抽查輸出、監察延遲,並在有機會時收集用戶意見。這些做法都無法告訴你 Agent 是否完成了用戶的任務、在長時間對話中能否保持切題、是否洩露個人身份識別資料(PII),又或是否悄悄略過了原定流程中的一半步驟。

Iceberg diagram contrasting the surface signals teams watch with the hidden agent behaviors that decide success below the waterline

圖 1:團隊通常監察表面指標,但業務成果取決於水面之下的 Agent 行為

Agent 評估正是為瞭解決這個問題。難處在於,某項指標得分良好,可能會掩蓋另一項指標上的失敗。客戶支援 Agent 可以解決每一宗工單,卻仍可能在回覆中洩露個人資料。在這種情況下,即使 Agent 的完成率很高,它仍然未能勝任。要做好評估,就要按每個 Agent 的需要,在適當的細緻程度衡量重要行為。

本文將示範如何在 Amazon Bedrock AgentCore 上實踐。我們會直接使用 AgentCore Evaluations 中內置的評估器,以及 DeepEval 和 AutoEval 評估器。

從業務成果出發,而非指標名稱

最常見的錯誤,是先看指標清單,再挑選聽起來合適的名稱。「有幫助聽起來不錯,所以我們就用它。」最後雖然能運行並產生數字,卻幾乎沒有提供有用的洞見。指標只符合名稱,並未反映 Agent 成功的真正定義。

相反,應從以下三個步驟着手。

  1. 以業務角度定義成功。對客戶支援 Agent 而言,成功可能代表首次聯絡解決率;對研究 Agent 而言,可能代表提供完整、來源可靠,並完全以檢索到的文件為依據的答案;對內容審核助理而言,則代表標記所有應該標記的內容,而且只標記應該標記的內容。
  2. 把成果拆解為可觀察的行為。能達到首次聯絡解決率的客戶支援 Agent,通常會完成用戶提出的目標;如問題需要澄清,便在多輪對話中保持連貫;確保回覆符合合規要求;並正確呼叫建立工單或查詢訂單等後端工具。
  3. 按適當層級,為每種行為配對評估器。Trace 層級的指標涵蓋每輪對話或每次工具呼叫的行為;Session 層級的指標則涵蓋只有檢視整段對話才有意義的成果。

Three-step flow from business success to observable behaviors to evaluators, illustrated with a customer support mapping example

圖 2:把業務成果轉化為可觀察的行為,再配對至 Trace 或 Session 層級的特定評估器

這套三步流程是令評估發揮作用的思考框架。本文其餘部分將介紹 AgentCore 提供哪些功能,助你實踐這套流程。

評估器目錄

AgentCore 提供種類廣泛的評估器,來自三個來源:

  1. 內置評估器由 AWS 編寫並經品質測試。你只需以其 ID 參照(Builtin.GoalSuccessRate、Builtin.Helpfulness,以及另外 13 個),其餘事項均由服務處理。這些評估器經過可靠性基準測試,並涵蓋常見範疇,因此是最直接的起點。
  2. 第三方託管評估器來自DeepEval和AutoEval,這兩個成熟的開源評估程式庫。以託管模式使用時,AgentCore 會代管程式碼、選擇評判模型,並使用自身資源執行推理,方式與內置評估器完全相同。如果團隊已在開發過程中使用其中一個程式庫,便可在正式環境中執行相同的評估指標,無須另設評估服務。
  3. 自訂評估器以內置或第三方評估器為基礎,讓你可以換用自己的模型,並修改提示詞或評分準則。

Table comparing AgentCore built-in, third-party managed, and custom derived evaluator tiers by scoring logic, judge model, and AWS quality testing

圖 3:三個評估器層級在 AWS 品質保證與逐步提高對執行推理的模型及帳戶的控制權之間取捨

建立後,自訂衍生評估器的用法與其他評估器完全相同。

評估器全貌

AgentCore 提供種類繁多的評估器,讓你很少需要從零開始。在撰寫自訂評判器之前,先檢查目錄中是否已有評估器,可用來衡量你關注的行為。下圖展示完整的評估器全貌。

Catalog of AgentCore evaluators by source: built-in AWS evaluators and trajectory checks, DeepEval, AutoEval, and custom LLM-as-a-judge

圖 4:AgentCore 上完整的評估器全貌,涵蓋內置、DeepEval、AutoEval 和自訂來源

AWS 內置評估器分為五組:

  1. 回應品質用於評估答案是否準確、有根據且表達完整:Correctness、Faithfulness、Helpfulness、ResponseRelevance、Conciseness、Coherence、InstructionFollowing和Refusal。
  2. 任務和目標完成度包括GoalSuccessRate,它會檢視整個工作階段,判斷用戶的目標是否達成。
  3. 工具使用包括ToolSelectionAccuracy和ToolParameterAccuracy,用來檢查代理是否選對工具,以及是否傳入正確的引數。
  4. 技能包括SkillSelectionAccuracy和SkillInstructionFollowing,適用於載入技能的代理:是否調用了正確的技能,以及是否遵循其步驟?
  5. 安全性包括Harmfulness和Stereotyping。

此外,還有三項以真實答案為基準的軌跡檢查:TrajectoryExactOrderMatch、TrajectoryInOrderMatch和TrajectoryAnyOrderMatch。它們會比較代理實際使用的工具路徑與預期路徑。當代理如何達成目標與產出結果同樣重要時,便可使用這些檢查。

DeepEval提供四組託管開源評估指標:

  1. 任務和目標完成度:TaskCompletion、GoalAccuracy和ConversationCompleteness。
  2. 對話品質:TurnRelevancy、KnowledgeRetention和Summarization。
  3. 工具使用:ToolUse。
  4. 安全性:Bias、Toxicity和PIILeakage。

這些評估指標對多輪對話代理尤其有用。ConversationCompleteness會找出只回答最新訊息,卻悄悄遺漏較早要求的代理。KnowledgeRetention則會找出忘記用戶在三輪對話前提過的內容的代理。

AutoEval提供更專門的評估信號:

  1. Security會標示惡意輸出,例如試圖注入指令或揭露系統提示詞。
  2. Possible會找出過度謹慎、錯誤地宣稱有效任務無法完成的代理。
  3. Humor適用於面向消費者的代理;在這類產品中,個性也是產品的一部分。

自訂評估器。如果目錄中沒有合適的評估器,你可以編寫自訂的 LLM 評判器。

每個評估器的確切定義、評分尺度和輸入要求,均載於AgentCore 説明文件的提示詞範本庫中。當中包括評估器使用的評判提示詞、執行時所採用的追蹤記錄或工作階段層級,以及是否需要參考答案或預期軌跡。你可以呼叫ListEvaluators API,一次取得完整目錄和自己的自訂評估器。

多維度評估器

目前為止,每個評估器都會為每條執行軌跡或工作階段回傳一個分數。當你只衡量一種行為時,這種做法行得通。但在結果映射的第 2 步中,每個評估器很少只對應一種行為。客服回覆必須解決問題、遵守退款及資料政策,並保持專業。若由一個評審衡量這三項,最後只會得到一個數字,無法看出是哪項準則影響了分數。

多維度評估器是一種自訂的 LLM 評審,包含多個維度,而非單一評分尺度。每個維度都有自己的名稱、指示,以及數值或類別量表。評審只需讀取一次執行軌跡,便會在同一次呼叫中為所有維度評分。AgentCore 會為每個維度回傳一項結果。

Diagram of a multi-dimension evaluator: one judge call reads a trace once and returns a separate result for each scored dimension

圖 5:多維度評估器透過一次評審呼叫為多個維度評分,並為每個維度回傳一項結果,不提供綜合分數

當不同成功準則可以各自失敗時,請使用多維度評估器,例如答案準確但不合規,或問題已解決但語氣粗魯。這種做法亦要求每項準則都能根據相同證據作出判定,讓一次評審呼叫取代多個幾乎相同、反覆讀取同一執行軌跡的評估器。分開為各項準則評分後,你便可以逐項設定門檻。若某次發佈改善了語氣,卻令政策合規性倒退,就不應通過;單一的綜合分數則可能掩蓋這種情況。

若已有成熟的內置或第三方指標涵蓋相關準則,請讓它們使用獨立評估器,例如 Builtin.Correctness 或 ThirdParty.DeepEval.PIILeakage。若準則需要不同的評估層級或評審模型,也應分開處理,因為同一評估器內的維度會共用相同層級和模型。部分準則若需要標準答案,例如 {expected_response} 或 {assertions},亦應分開處理。將不需要參考答案的準則放在獨立評估器中,便仍可用它評估即時流量。

按 Agent 類型分類的評估器組合

以下每組評估器都會先採用兩至三個最符合業務成果的評估器。若你發現這組評估器未能捕捉某種失敗情況,再加入其他評估器。標示為「需要標準答案」的評估器只會在批次評估中執行,因為即時流量沒有參考答案或預期路徑。

客戶支援 多步驟研究 專業領域內容(醫療、法律、金融)
業務成果 在一次工作階段內解決問題,且不造成後續風險 透過明確的工作流程,提供完整且有充分來源支持的答案 在相關領域提供正確、公正、安全的答案
主要風險 遺漏請求,或回覆不安全、不合規 透過錯誤的工具路徑得出正確答案,或在長時間工作階段中遺失上下文 答案錯誤。答錯比不回答更糟。
先採用

Builtin.GoalSuccessRate(基準)

ThirdParty.DeepEval.ConversationCompleteness

ThirdParty.DeepEval.PIILeakage

Builtin.TrajectoryAnyOrderMatch(需要標準答案)

ThirdParty.DeepEval.GoalAccuracy

ThirdParty.DeepEval.KnowledgeRetention

Builtin.Correctness(需要標準答案)

ThirdParty.DeepEval.PIILeakage

ThirdParty.AutoEval.Security

有需要時加入

ThirdParty.DeepEval.Toxicity

ThirdParty.AutoEval.Security(敏感帳戶資料)

Builtin.Helpfulness

Builtin.SkillInstructionFollowing

ThirdParty.AutoEval.Possible

ThirdParty.DeepEval.Bias

Builtin.Helpfulness

衍生評估器 可選 若推理作業必須留在你的帳戶內,則用於執行軌跡及技能指標 幾乎總是需要,確保每次評審呼叫都符合你的數據治理要求

執行評估:三種模式

AgentCore 支援三種評估模式。

隨選評估可提供最快的回饋。在開發或除錯期間,直接將工作階段傳送至 client.evaluate()。系統中的所有評估器(包括第三方評估器)都可在此模式下運作。

import boto3

client = boto3.client('bedrock-agentcore')

response = client.evaluate(
    evaluatorId="ThirdParty.DeepEval.TaskCompletion",
    evaluationInput={"sessionSpans": session_span_logs}
)

for result in response["evaluationResults"]:
    print(f"Value: {result.get('value')}")
    print(f"Explanation: {result.get('explanation', '')}")

線上評估會連接至即時 Agent 執行環境,並按設定的比率抽樣實際流量,作為生產環境的健康狀況指標。你可以在同一個線上評估設定中自由混用內置及第三方評估器。

批次評估會針對固定的一組工作階段執行指定的評估器組合:這就是你在發布前用於回歸測試的黃金數據集。你可以藉此確認提示詞變更或模型升級後,在你關注的各個維度上仍能維持品質。

三種模式使用相同的評估器 ID。由按需開發測試切換至正式環境線上評估,只需更改設定,無須重寫程式碼。

整合運用

愈來愈多時,難處在於選擇哪些評估器。先挑選最能反映你是否達成業務目標的兩三種行為,並優先衡量這些行為。發現目前的評估器組合未能識別某項失誤時,再新增評估器。

如要查看完整目錄,請呼叫 ListEvaluators API。它會在同一個回應中列出內置、DeepEval 和 AutoEval 評估器,以及你帳戶中的任何自訂評估器。選擇前,先回答兩個問題:「這個 Agent 怎樣才算成功?」以及「追蹤記錄中的哪種行為能顯示它已成功?」


作者簡介

Bharathi Srinivasan

Bharathi Srinivasan

Bharathi 是 AWS 可信任 AI 領域的技術市場推廣專家,協助機構將前沿 AI 概念安全地應用於真實世界的正式環境。她熱衷於 AI 可靠性及開發者支援,經常發表有關 LLM 評估、可靠性和安全性的研究及程式碼範例。閒暇時,她喜歡探索山間小徑、為野外探險作準備,以及欣賞韓劇。

Neha Thakur

Neha Thakur

Neha 是 AWS 解決方案架構師,既是涵蓋 AWS 各類服務的通才,也是 AI/ML 專家。她與英國一些規模最大的銀行和金融科技公司合作,利用 AWS AI/ML 服務協助解決複雜的業務挑戰。她對 AI 可解釋性抱有濃厚熱忱,並致力令人工智能更透明、易於解釋和值得信賴。

Visakh Madathil

Visakh Madathil

Visakh 是 AWS 解決方案架構師,與客戶及內部團隊合作,致力提升正式環境中 AI 系統的可理解性、可信度及安全性。他有關 AI 安全與可靠性的研究曾於機器學習會議上發表。工作以外,他喜歡音樂、觀鳥和運動。

Manoj Selvakumar

Manoj Selvakumar

Manoj 是 AWS AI 專家解決方案架構師,協助初創公司及企業在 Amazon Bedrock 上建構並擴展 AI 應用程式和 Agent。他的工作涵蓋模型推理、Agent harness 和 Agent 評估,研究模型與 Agent 在真實世界要求下的行為,以及如何令它們在大規模運作時保持可靠。他與 AWS 服務團隊合作,將這些來自正式環境的洞見轉化為產品發展方向及服務改進。

來源:AWS Machine Learning Blog · aws.amazon.com