Amazon Bedrock AgentCore 新一代 runtime 啟動工作階段低於 2 秒
Run agents securely and efficiently with the next generation AgentCore runtime
Amazon Bedrock AgentCore 宣佈更新 AgentCore runtime,工作階段啟動速度最高提升 15 倍、算力擴展至前代 4 倍,運行效率最高提升 68%,並維持硬件隔離。
新版把硬件隔離、快速啟動、彈性算力與資料置於信任邊界內,並加入閒置縮至零及按需回收記憶體的管理方式,具體呈現正式部署中安全、效能與成本的取捨。
AI Agent 已不再侷限於一次性提示詞。現在,它們會連續數小時執行多步驟工作負載。前沿 Agent 能夠獨立完成的任務時長,大約每四個月翻一倍(METR);大型企業中正擴大應用 AI Agent 的比例,亦由一年前的 27% 升至 40%(McKinsey)。隨着 Agent 執行任務的時間更長、自主程度更高,關注重點亦由 Agent 能做甚麼,轉為如何讓它們在大規模運作時兼具安全性、可靠性和成本效益。Agent 能做的遠超傳統軟件:它們可以執行程式碼、瀏覽網頁、存取敏感資料,並代表用戶行事。這些能力帶來新的安全和基礎設施需求,因此生產環境部署必須具備強隔離能力。
每個 Agent 工作階段都需要安全、隔離的環境。然而,要大規模提供這種隔離能力,就必須面對一個根本挑戰:如何平衡效能、成本和效率。預先配置的環境即使閒置也會消耗資源,推高成本。按需配置的環境可減少容量浪費,但會帶來冷啟動延遲,令 Agent 延遲執行。兩種做法都難以在沒有取捨的情況下有效擴展。當機構由部署少量 Agent,轉為同時運行數千個工作階段,自行建置和管理沙盒就會變得愈來愈複雜、昂貴,而且難以預測。
挑戰顯而易見。只有 15% 的機構已擴展經編排的多 Agent 系統,而 70% 表示目前仍未能信任並治理其 Agent(Deloitte)。擴展 Agent 應用,不應迫使用戶在安全性、速度和成本之間作出取捨。下一代 Agent 基礎設施必須兼具強隔離、快速啟動、彈性擴展,以及按用量計費的成本模式。隨着 AI Agent 投入生產環境,安全執行不應成為瓶頸,而應成為實現規模化的基礎。最快捷的生產部署途徑,也應該是最安全的。
新一代 AgentCore runtime
我們打造了 Amazon Bedrock AgentCore,協助開發者安全地大規模建置、連接和優化 Agent。AgentCore runtime 是 Amazon Bedrock AgentCore 的一項功能,也是託管運算層。它為開發者提供全託管環境,讓他們部署和運行 Agent,無需建置或維護基礎設施。自推出以來,我們的客戶一直將 Agent 用於日益複雜的工作負載。隨着工作負載增加,對執行環境的要求亦隨之提高:需要更多運算資源、更靈活的計費方式,以及延伸至資料而不僅限於運算的信任邊界。只有底層基礎設施兼顧規模化和速度,Agent 才能大規模投入生產環境。
今天,我們宣佈 AgentCore runtime 推出更新,以滿足這些需求。核心承諾維持不變:每個工作階段都會在各自獨立、具硬件隔離的 Firecracker 微型虛擬機器 (MicroVM) 中運行,並各自具備身份、政策和稽核記錄。這些更新在維持此承諾的前提下,擴展了可實現的功能。工作階段的啟動速度最高提升 15x,可擴展至 4x 運算資源,運行效率最高提升 68%,而隔離邊界則完整保留。
以下是更新內容。
執行更大型工作負載,啟動時間不會因此延長
打造日益先進 Agent 的團隊要求更大的靈活性:可在隔離的工作階段內擴展記憶體和運算資源,以配合工作負載需求。無論是編譯大型程式碼庫、由瀏覽器驅動的工作流程,還是在本機進行模型推理,執行環境都必須跟上需求。
與上一版本相比,工作階段的擴展能力提升 4 倍,最高可達 8 vCPUs 和 32 GB,並支援大小達 10 GB 的容器映像檔。無論映像檔大小和並行量如何,工作階段均可在 2 秒內啟動。你不再需要使用預熱資源池和預先配置的叢集來管理冷啟動。
「AgentCore Runtime 讓我們能夠大規模執行 AI 驅動的開發工作。每個編碼 Agent 工作階段都在獨立的硬件隔離環境中執行;當 Agent 執行程式碼時,我們需要這種環境。Runtime 會按需求彈性擴展,而且每次都能快速啟動,讓工程師可以迅速工作,無須管理任何基礎設施。」
— Siwei Shen,Coinbase 工程副總裁
「Mission 正使用 Amazon Bedrock AgentCore runtime,為自然語言查詢 Agent 提供支援,協助用戶取得房地產和銷售資訊,無須在複雜的數據系統中搜尋。在我們對兩個 runtime 版本進行的初步比較中,同一工作負載的推理請求冷啟動速度提升 35%,健康檢查啟動速度提升 77%,而每次呼叫的實測 runtime 成本則降低 17%。新一代 AgentCore runtime 結合更快速的 Agent 體驗和更有效率的資源運用,讓我們能將企業級 Agent 推向正式環境。」
— Dr. Ryan Ries,Mission Cloud 首席 AI 及數據科學家
「我們的做法是盡可能透過自動化和 AI Agent 運行 Zuora 的雲端服務,而這只有在 runtime 高效可靠的情況下才行得通。新一代 AgentCore runtime 在許多使用情境中,將每次呼叫的記憶體佔用量減少約 60%,同時在延遲維持穩定的情況下處理更多流量。隨着我們在平台上擴展 Agent 工作負載,這讓我們的成本效益更佳。」
— Brad Ruppert,Zuora 雲端及安全副總裁
「Rescale 平台透過 Agentic 數碼工程,協助研發及工程團隊加快產品開發。我們專為工程工作打造的 Agent 會驗證模擬輸入、排除工作執行問題、選擇硬件和產生報告,同時由工程師掌握控制權。Amazon Bedrock AgentCore runtime 讓我們能在正式環境部署及擴展這些 Agent,無須建置或營運底層 Agent 基礎設施,讓我們可以更快向客戶提供新的 Agent。」
— Mark Whitney,Rescale 工程副總裁
停止為閒置的 Agent 付費
隨着各團隊逐步將 Agent 推向正式環境,他們希望收費方式能反映 Agent 的實際運作情況。Agent 有不少時間都在等待模型回應、工具呼叫或人工作出決定。收費應根據 Agent 執行的工作,而不是等待所花的時間。
執行階段現在會在 Agent 釋放記憶體後數分鐘內回收記憶體,而閒置的 Agent 會縮減至零。對於互動之間有自然停頓的多輪 Agent,這代表每個工作階段的記憶體用量最多可減少 68 percent。對於持續運作的 Agent,承諾式基準定價會為每個工作階段設定記憶體基準,並按最低用量收費;按需求可突增至該基準的四倍。這讓穩定的工作負載能以 AWS Lambda MicroVM 費率享有可預測的價格。執行階段更有效地運用運算資源,因此完成相同工作所需的費用更低,也令往往左右正式部署的財務成本討論更容易達成共識。
“新一代 Amazon Bedrock AgentCore runtime 透過加快 Agent 啟動速度和更有效地運用記憶體,協助我們提供回應更迅速的 AI 體驗。讓用量配合實際使用情況,令客戶更有信心擴展代理式方案,同時確保成本反映實際需求。”
— Ashwin Patil,Deloitte Consulting LLP Principal、AI 及數據主管
“AgentCore runtime 為我們提供受管理的基礎,讓我們可圍繞客戶的數據、工具和業務流程,建立代理式產品及平台。新一代 Agentcore runtime 透過還原已初始化的環境及回收未使用的記憶體,令這個基礎更迅速回應,並更有效運用資源。我們正開始採用最新版本進行開發,因為成本和延遲的降低,對客戶的業務運作方式帶來重大改變。”
— Randall Hunt,Caylent CTO
隔離範圍現在延伸至你的數據
許多企業的 Agent 安全模型一直存在一個難以解決的缺口:Agent 在隔離的工作階段內運作,但所需數據卻位於這個邊界之外。長時間運作的 Agent 會逐步累積上下文,包括檔案、憑證、工具輸出等。團隊最終需要自行制定數據進出方式的規則;每增加一個 Agent,複雜性和風險也隨之增加。
隔離只涵蓋運算資源,所建立的邊界並不完整。新一代 AgentCore runtime 填補了這個缺口。每個工作階段仍在各自的硬件隔離環境中運作,並有專屬身份、存取政策和稽核記錄。Agent 現在可動態掛載檔案系統,並將工作儲存其中,例如具備 FUSE 支援的 Amazon Simple Storage Service (Amazon S3) 儲存貯體。整個工作期間,你的數據都會留在信任邊界內,並由一套只需設定一次的控制措施統一管理。
“在 Okta,AgentCore runtime 與 Lambda MicroVM 結合,為我們的 Agent 提供所需的隔離執行環境和情境記憶體,讓它們能在臨時沙盒內檢查程式碼、執行測試套件及開啟 pull request。配合由身份管理的政策控制,AgentCore Runtime 和 Lambda MicroVM 展示了我們如何安全地擴展自主工程 Agent,同時避免工作區資料外洩或權限提升。”
— Monica Bajaj,Okta SVP Engineering
“從協助購車人士評估舊車換購價,到協助經銷商預約維修服務及制定交易方案,Amazon Bedrock AgentCore 為 Cox Automotive 旗下品牌提供數十種代理式方案。統一且受治理的 Agent 平台,讓公司各團隊可以更有信心地將試點項目投入正式運作。”
— Chris Dillon,Cox Automotive VP、Product and Engineering
「隨着新一代 CoCounsel Legal 推出,我們着手打造一個代理式系統,不只回答問題,更能從頭到尾處理法律事務,由研究到產出值得信賴的法律成果。要盡快讓客戶使用這套系統,我們需要把時間花在法律推理和品質上,而非管理代理基礎設施。AgentCore Runtime 負責託管和擴展,讓我們迅速由原型邁向正式投入生產,同時完全掌控代理的運作方式,以及它們如何與現有系統整合。我們的開發人員可使用偏好的框架,而 Runtime 則為我們提供所需的企業級可靠性和隔離能力,讓我們能夠大規模為世界各地的法律專業人士運行 CoCounsel 的代理式法律工作流程。」
— Danilo Tommasina,傑出工程師 – Thomson Reuters
我們的承諾
能夠投入正式生產環境的代理,必須是你信任它們代表你行事的代理,因為它們會接觸真實數據、面對切身利害,並承擔實際責任。信任不是日後才加上的功能,而是你所建基的執行環境。這次發布是邁向這個未來的一步:更大的工作階段、更有效率的資源使用,以及位於信任邊界內的儲存空間,同時不削弱讓工作值得信賴的隔離機制。到 re:Invent 時,每個工作階段都會透過帶有工作階段標籤的憑證,綁定至專屬的儲存資料夾;我們亦會在此基礎上繼續開發。
立即開始
新一代 AgentCore 執行環境今日起於北美、南美、歐洲及亞太地區的 AWS 區域推出。前往 Amazon Bedrock AgentCore 開始使用,或開啟 Amazon Bedrock 主控台 探索功能。
作者簡介
Madhu Parthasarathy
Madhu 是 Amazon Bedrock AgentCore 的總經理,負責帶領團隊打造供企業用於建構、連接及最佳化正式投入生產環境的 AI 代理的平台。他擁有逾 20 年建構大規模分散式基礎設施的經驗,其中在 Amazon 任職逾 16 年,曾領導 Amazon Retail、Amazon Elastic Block Store (Amazon EBS) 及現時 AgentCore 的多項重要計劃。重返 Amazon 前,Madhu 曾在 LinkedIn 擔任高級領導職務,帶領開發支援 LinkedIn 所有企業業務線的平台;亦曾在一家新型雲端初創公司領導 AI 基礎設施工作,並制定安全性和開發者體驗的願景。他現居加州聖塔克拉拉。
來源:AWS Machine Learning Blog · aws.amazon.com