跳到正文
AWS Machine Learning Blog· Evandro Franco·· 2 小時前精選AI 評分73

Amazon Bedrock AgentCore harness 升級 Strands 預設、內置工具及生命週期 hooks

Amazon Bedrock AgentCore harness adds Strands harness defaults, built-in tools, and lifecycle hooks

AI 導讀

AWS 升級 Amazon Bedrock AgentCore harness,改用 Strands harness,加入託管預設、內置工具及生命週期 hooks;用戶無須採取行動。

推薦理由

這次更新把規劃、委派和上下文管理納入託管預設,並以生命週期 hooks 在工具執行前加入確定性檢查,呈現長任務支援與行動治理的設計。

正文 · 繁體中文

譯文尚不完整,完整內容請切換到原文。

建立 AI 代理程式時,選擇模型只是第一步。代理程式仍需要工具、完成工作的指示、在長時間工作階段中管理上下文增長的方法,以及在執行任何可能造成重大影響的操作(例如發出退款)前設置的防護機制。

我們正升級 Amazon Bedrock AgentCore harness,改用 Strands harness。Strands harness 是我們的開源代理程式執行框架,於今年較早時推出,採用 Apache 2.0 授權。AgentCore harness 亦引入生命週期掛鈎,讓你可在代理程式循環中的指定時點,套用自訂的確定性檢查及通知。

採用受管理預設設定的代理程式,升級後可使用建議模型、以任務為本的系統提示詞、自動提示詞快取(初期適用於 Amazon Bedrock 上的 Anthropic 模型),以及主動式上下文管理。代理程式亦會獲得額外的內置工具,用於規劃、網頁檢索、檔案系統存取、上下文卸載及任務委派。這些功能讓代理程式在長時間任務中具備更強的能力,能夠掌握子任務進度、減少上下文視窗用量,以及委派工作。使用掛鈎時,你可在特定生命週期檢查點執行確定性程式碼,將非確定性的 AI 行為轉化為可預測、安全且受管控的工作流程。

無須採用新的資源類型或整合方式。你目前使用的 AgentCore harness 會自動獲得這兩項更新。

AWS 上的 Strands 功能

Strands harness 提供一套組裝完成的代理程式基礎架構,內含建議指示、工具及上下文管理功能。Amazon Bedrock AgentCore harness 以 AWS 受管理服務的形式運作這套基礎架構。因此,你可獲得適用於正式環境的預設代理程式,無須自行組裝及操作執行框架或其基礎架構。

你無須配置運算資源、打包及託管代理程式循環、管理工作階段擴展,或操作工具執行基礎架構。每個工作階段均在 AgentCore runtime 的安全、核心隔離微型虛擬機器中執行。AgentCore runtime 是 Amazon Bedrock AgentCore 的一項功能,提供受管理的運算資源、擴展及高可用性。

AgentCore 透過將執行框架連接至正式環境代理程式所需的服務,實現這些功能,包括工作階段持續性、串流回應、使用情況中繼資料、可觀測性、AgentCore memory、Identity、Gateway、Browser、Code Interpreter,以及客戶提供的容器。你仍可控制模型、指示、工具、權限及生命週期政策,而 AgentCore 會管理底層執行環境。

功能更強大的受管理執行框架

採用受管理預設設定時,執行框架現在可提供更完善的使用體驗:

  • 最新的建議模型。如果沒有指定模型,Harness 會使用建議的預設模型,並隨新模型推出而更新,讓你的執行框架保持最新。明確指定的執行框架層級及每次呼叫的模型設定仍會優先採用。
  • 以任務為本的指示。受管理的系統提示詞會引導代理程式收集相關上下文、使用合適的工具、持續工作直至完成任務、在遇到失敗或操作遭拒時作出調整,並在回報完成前核實工作。預設系統提示詞會持續改進,以支援執行框架的最新功能。
  • 自動提示詞快取。對於在 Amazon Bedrock 上使用 Converse 的受支援模型,Harness 會快取系統提示詞、工具定義及對話記錄。使用相同提示詞和工具範圍重複呼叫時,可使用價格較低的快取讀取 token,降低輸入處理延遲及成本。
  • Proactive context management. By default, Harness summarizes older conversation turns while retaining recent context once the context window reaches a configurable threshold. Keeping the context lean this way helps Harness run at about 34% lower token cost than other leading harnesses.
  • 卸載上下文。大型工具結果可以移出模型的即時上下文。代理程式會收到預覽,並可在需要時擷取完整結果,減少重複佔用上下文,同時不失去存取資料的能力。
  • 跨呼叫規劃。todo_write工具會維護結構化任務計劃,並可在同一工作階段的後續呼叫中還原,包括對話摘要後。
  • 有針對性的委派。subagent工具會將獨立完整的任務委派給全新的工作者,再將結果交回父代理程式。工作者只存在於該次呼叫內,並非獨立管理的 Harness 資源,而且會共用該次呼叫的限制及你的工具呼叫生命週期掛鈎。
  • 網頁擷取。web_fetch工具會擷取指定網頁的內容,為你的 Harness 提供最新的外部上下文。
  • 精細的檔案系統存取權限。透過read、write及edit這些獨立工具,你可以只授予代理程式所需的精細檔案系統能力。

客戶提供的 Model Context Protocol (MCP) 伺服器、AgentCore Gateway(Amazon Bedrock AgentCore 的一項功能)、Browser、Code Interpreter、內嵌函式、技能、記憶功能,以及客戶提供的容器,仍可透過現有的 Harness 介面運作。

預設建議使用,需要時可設定

Harness 會管理預設設定,讓使用這些設定的代理程式隨着模型、指示、上下文管理及內置功能改進,享有 AgentCore 目前建議的體驗。

明確設定一律優先:

  • 設定模型 ID,便可繼續使用指定模型。
  • 設定systemPrompt,即可完全取代由 Harness 管理的系統提示詞。
  • 設定truncation,以維持特定的上下文管理政策。
  • 列出個別的allowedTools選擇器,以維持固定的工具範圍。

省略allowedTools或將其設為["*"]時,Harness 會提供目前建議的內置工具集。由於此工具集日後可能加入新功能,具有固定安全或能力界限的應用程式應只列出所需工具。

例如,以下設定允許唯讀檔案系統存取及網頁擷取,但不授予 Shell 存取權或修改檔案的權限:

{
    "allowedTools": [
        "read",
        "web_fetch"
    ]
}

透過生命週期掛鈎管控可能造成重大影響的操作

透過生命週期掛鈎,你可以在代理程式迴圈的指定時間點執行自己的確定性程式碼。例如,AWS Lambda 函式可允許或拒絕要求或工具呼叫,而 Amazon Simple Notification Service (Amazon SNS) 主題或 Amazon EventBridge 事件匯流排則可接收通知,以記錄活動或啟動非同步工作流程。

Harness 支援四種生命週期事件:

事件 執行時機 Lambda 拒絕時的效果
before_invocation 代理程式處理要求之前 以hook_stopped停止此次呼叫
before_tool_call 模型提出工具呼叫後、執行前 略過工具呼叫。代理循環繼續執行
after_tool_call 有工具結果後 保留結果,並在進一步推理前停止
after_invocation 呼叫完成後 回報決定。已串流輸出的內容無法撤回

只有 Lambda 鈎子可以改變代理循環。它們會同步執行,並傳回 allow 或 deny,可選擇附上原因。SNS 和 Amazon EventBridge 鈎子只會發送通知,不會阻止代理循環。

例如,客戶支援代理可以自行查核訂單,而 before_tool_call 鈎子會在退款工具執行前,根據批核上限檢查每筆退款。以下設定會將該 Lambda 函數連接至 harness:

[
    {
        "beforeToolCall": {
            "name": "refund_policy",
            "target": {
                "lambda": {
                    "arn": "arn:aws:lambda:us-west-2:123456789012:function:refund-policy",
                    "timeoutSeconds": 10,
                    "failureMode": "deny"
                }
            }
        }
    }
]

該函數會在鈎子承載資料中接收擬議的工具呼叫,並傳回決定:

def lambda_handler(event, _context):
    tool = event["context"]
    if tool["toolName"] == "issue_refund" and tool["toolInput"]["amount"] > 500:
        return {"decision": "deny", "reason": "Refund exceeds the $500 auto-approval limit."}
    return {"decision": "allow"}

當函數拒絕呼叫時,harness 會略過退款,代理會繼續執行,因此可以告知客戶該申請已轉交處理。每項決定亦會以 hookEvent 的形式出現在 InvokeHarness 回應串流中:

{
    "hookEvent": {
        "name": "refund_policy",
        "type": "before_tool_call",
        "decision": "deny",
        "reason": "Refund exceeds the $500 auto-approval limit."
    }
}

鈎子亦適用於子代理。代理委派工作時,子代理發出的每個工具呼叫都會經過相同的 beforeToolCall 和 afterToolCall 鈎子,因此委派無法繞過退款政策。呼叫層級的鈎子(beforeInvocation、afterInvocation)則會在整個呼叫中執行一次。

使用 CreateHarness 或 UpdateHarness 設定鈎子。如果 Lambda 函數逾時或傳回錯誤,鈎子會套用其 failureMode,預設值為 deny。關於逾時、承載資料欄位及上下文限制,請參閲 Amazon Bedrock AgentCore Developer Guide 中的生命週期鈎子。

要查看所有事件和目標類型如何協同運作,請試用 Amazon Bedrock AgentCore 的 Refund Desk 範例,網址為 GitHub 上的 samples repository。六個步驟的導覽會展示全部四種生命週期事件,以及 AWS Lambda、Amazon SNS 和 Amazon EventBridge 目標。內容亦展示如何驗證用戶提供的內嵌函數結果,以及 failureMode deny 與 allow 的分別。

使用 AgentCore CLI 執行多代理研究協調器

建立 harness 只需一個指令。你可以為它命名,並設定所需的指示、上下文政策和限制。此範例會建立 Research Coordinator:一個採用任務導向系統提示詞和摘要式截斷策略的 harness。單次呼叫中,它會以子代理方式執行研究員、綜合整理員和審核員,並傳回一份整合報告。無須佈建基礎設施或自行設定委派流程,即可使用多代理協調和上下文管理功能。

agentcore harness 指令會直接呼叫 harness API,因此無須 CLI 專案或部署步驟。使用 npm 安裝 AgentCore CLI;它是 Amazon Bedrock AgentCore 的一項功能:

npm install -g @aws/agentcore

CLI 會使用你的預設 AWS 憑證。它沒有 --profile 旗標,因此如要使用特定設定檔,請設定 AWS_PROFILE 環境變數。在工作目錄中,將樣本中的協調器指示儲存為 system_prompt.md。

建立 harness

此指令會傳入協調器的系統提示詞、一項摘要政策(隨對話增長,保留最近 30 則訊息原文),以及足以完成整個工作流程的限制。由於未指定模型、記憶體和執行角色,harness 會使用 AgentCore 目前建議的模型和受管理記憶體,而 CLI 會在 IAM 中為你建立執行角色。

HARNESS_ID=$(agentcore harness create --region us-west-2 --json \
--name ResearchCoordinator \
--system-prompt "$(cat system_prompt.md)" \
--truncation '{"strategy":"summarization","config":{"summarization":{"summaryRatio":0.3,"preserveRecentMessages":30}}}' \
--max-iterations 100 \
--timeout-seconds 3600 \
| jq -r '.harness.harnessId')

建立作業以非同步方式進行。等待建立完成。最後一個指令應輸出 READY:

while [ "$(agentcore harness get --region us-west-2 --id "$HARNESS_ID" --json | jq -r '.harness.status')" = CREATING ]; do sleep 10; done

agentcore harness get --region us-west-2 --id "$HARNESS_ID" --json | jq -r '.harness.status'

傳送提示詞

使用新的工作階段 ID 呼叫 harness,先提出一個基本問題。協調器會直接回答,不會呼叫其子代理:

SESSION_ID=$(uuidgen)
agentcore harness invoke --region us-west-2 \
--id "$HARNESS_ID" \
--session-id "$SESSION_ID" \
--prompt "What is the current trending topic in AI?"

然後在同一個工作階段要求一份完整的研究報告。協調器會規劃工作,並依次委派給研究員、綜合整理員和審核員。如果審核員要求修訂,協調器最多會進行一輪修訂,然後交付最終報告。重用工作階段 ID,即可在相同環境中繼續對話。

agentcore harness invoke --region us-west-2 \
--id "$HARNESS_ID" \
--session-id "$SESSION_ID" \
--prompt "Perform a full research report on how data shapes innovations in the tech industry. Use specialized subagents to complete this task. In the final output, clearly state which part each subagent was responsible for, followed by their specific findings."

加入 --prompt 後,CLI 會在回合結束時以 JSON 格式輸出完整對話記錄。研究流程約需 10 至 15 分鐘。如要跟進執行進度,請省略 --prompt,CLI 便會開啟互動式聊天。

同一個 Python(boto3)範例(包括完整系統提示詞)可在 GitHub 上的 AgentCore samples 儲存庫取得。

清理

完成後請刪除 harness。除非你傳入 --delete-managed-memory false,否則這也會刪除其受管理記憶。CLI 建立的執行角色會保留在你的帳戶中;如不再需要,請在 IAM 主控台中將其刪除。

agentcore harness delete --region us-west-2 --id "$HARNESS_ID"

推出及相容性

11 月 11 日,AgentCore harness 開始向新建及現有的 harness 推出由 Strands harness 支援的體驗。用戶無須採取任何行動。

你明確提供的設定會維持不變。未指定模型、系統提示詞或 truncation 設定,或使用 allowedTools: ["*"] 的 harness,會採用升級後的受管理預設設定。

如果你的應用程式需要固定的行為或能力範圍,請明確設定相關選項。

瞭解更多

按照現有方式建立及呼叫 AgentCore harness。你可以使用受管理預設設定,取得目前完整的推薦體驗;如果應用程式需要固定行為,則可個別設定各項選項。

期待看到你利用升級版 AgentCore harness 打造的成果。


作者簡介

Evandro Franco

Evandro Franco

Evandro 是 Amazon Web Services 的資深數據科學家。他隸屬 Global GTM 團隊,協助 AWS 客戶克服與 AI/ML 相關的業務挑戰,主要聚焦以 AWS 為基礎的 Amazon Bedrock AgentCore 和 Strands Agents。他在科技領域擁有超過 18 年經驗,涵蓋軟件開發、基礎設施、無伺服器技術以至機器學習。閒暇時,Evandro 喜歡和兒子一起玩,主要是砌一些有趣的 Lego 積木。

Diego Brasil

Diego Brasil

Diego 是 Amazon Web Services 的生成式 AI 領域專家工程師,常駐愛爾蘭都柏林。他協助 AWS 客戶將 AI Agent 從原型推進至正式生產環境,主要聚焦 Amazon Bedrock AgentCore、Strands Agents 和 Kiro。他在科技領域擁有超過 13 年經驗。起初,他在 HSBC 和 B3(巴西證券交易所及場外交易市場)等銀行和交易所,從事資本市場平台的軟件開發和系統整合,之後轉投雲端及生成式 AI 領域。Diego 持有 USP/ESALQ 的數碼商業及人工智能工商管理碩士學位。

Eshan Kumar

Eshan Kumar

Eshan 是 Amazon Web Services 的軟件工程師,常駐紐約。他負責 Amazon Bedrock AgentCore,並屬於打造 AgentCore 託管 Agent harness 的團隊。他在 UCLA 修讀生物工程,並以此展開職業生涯;其後曾在 Codexis 擔任科學家,然後轉投軟件及 AI 領域。他亦曾在 Columbia University 就讀。工作以外,Eshan 曾為 Free The Children 擔任義工,並協助在尼加拉瓜一條村莊興建學校。

Amir Hegazy

Amir Hegazy

Amir 是 Amazon Web Services 的軟件工程師,常駐紐約。他負責 Amazon Bedrock AgentCore,並屬於打造 AgentCore 託管 Agent harness 的團隊。在加入 AgentCore 前,他曾負責 Amazon Bedrock Converse API,開發新功能,並在 Converse 推出時引入 Anthropic 的 Claude 模型。他持有 University of Southern California 的電腦科學學士學位。工作以外,Amir 喜歡打籃球和關注 Formula 1。

來源:AWS Machine Learning Blog · aws.amazon.com