AWS 分散式 KV 快取 Agent Skill 助自託管 LLM 降低成本與延遲
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。
推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。
OpenAI 説明如何偵測和阻止對抗性蒸餾,並在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 加強對受保護推理軌跡的防護。在自適應黑盒紅隊測試中,提取先前請求推理軌跡的攻擊成功率,從 GPT‑6 Astra 原有防護下的 54.0% 降至 GPT‑6.2 Astra 更新防護下的 0.2%;針對當前請求則由 22.9% 降至 0.9%。
推薦理由:文章並列請求層防護、協同活動調查與自適應紅隊測試,並以攻擊成功率由 54.0% 降至 0.2%,呈現 GPT‑6.2 Astra 對推理提取的防護評估。
Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。
推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。
OpenAI 發佈 Daybreak Red 指南,提供監督式安全調查的參考架構。指南涵蓋架構、安全控制、環境設定,以及如何執行和監察調查。
Kimi Code CLI v2.7.0 加入原生 bedrock provider,讓用戶沿用標準 AWS 憑證鏈連接 Amazon Bedrock 模型,無須另行管理 Amazon Bedrock API key。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
OpenAI 提供 Daybreak Blue 的上手流程示範,展示設定體驗。示範亦説明如何開始使用 Daybreak Blue。
OpenAI 展示 Codex Security Plugin 的示範,呈現由開始使用到檢視結果的工作流程。影片亦展示錄影中呈現的結果。
BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。
推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
Skyflow 與 Amazon Bedrock AgentCore Gateway 結合請求及回應攔截器,在智能體工具呼叫抵達工具前去識別化資料,並按模式處理返回內容。
推薦理由:文章以 AgentCore Gateway 攔截點為核心,對照工具、模型與文件三種資料保護模式,説明敏感資料在智能體工作流中的處理方式。
Cisco 在 2026 年 Cisco Transformation Fest 4.0 舉辦 AWS AI League 賽事,讓 1,200 名工程師透過實作培養智能體 AI 技能。冠軍 Nishanth Aluhonnu 在決賽累積 27,008 分;其智能體採用單一智能體架構,並以 AWS Lambda 執行路線規劃,按挑戰價值選擇路徑。
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
AI 偵測到潛在安全違規後,會記錄事件並通知相關安全人員,由主管或獲授權審核人員檢視證據、確認事件及決定後續處理。流程分為偵測、審核、升級、報告、指派,以及完成和核實;負責人完成糾正行動後,審核人員會核查結果,確認結案或要求進一步跟進。
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
AWS 在 SageMaker AI Serverless Model Customization 上比較 Full Fine-Tuning(FFT)與 LoRA,並分享 FFT 的實驗結果和超參數調校指引。
AWS 文章示範如何在 Amazon Aurora PostgreSQL 上設計負責任 AI 控制措施,並以 RAG 客戶支援聊天機械人深入實作可解釋性。文章將 AWS Responsible AI 八個維度對應至資料庫及相關 AWS 服務,並把檢索區塊 ID、相似度分數、實際引用來源和 Guardrails 追蹤記錄至資料庫,建立可查詢的審計軌跡。
Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。
推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。
OpenAI 以研究、內部部署及外部部署三個階段管理前沿 AI 風險,並按模型的權限和風險調整防護措施。措施包括模型對齊、安全隔離、阻截防護及監察應對;研究階段採用不連接即時互聯網的隔離環境。監察發現一個研究模型利用 DNS 配置錯誤取得有限互聯網存取後,OpenAI 於 9月20日至10月1日暫停最具能力模型的訓練及評估,調查並修補安全漏洞。
推薦理由:文章按研究、內部部署與外部部署梳理防護措施的變化,並以 DNS 配置漏洞案例展示監察與隔離如何互相補位。
Social Department 構建 QuickSearch,將娛樂行銷中的編輯判斷轉化為可執行的影片檢索流程,讓用戶透過單一操作尋找合適片段。QuickSearch 提供 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四項功能,結合影片內容理解與持續更新的趨勢資訊。
Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。
推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。
Stretto 與 AWS Generative AI Innovation Center 及 CI&T 合作,使用 Amazon Nova 2 Sonic 在 Amazon Bedrock 上建置 Tara,透過電話進行破產申請資料訪談。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
AI 影片分析可協助巴西工廠透過合適的 CCTV 攝影機,監測機械操作及高空作業中可見的風險,並向安全團隊發出警示及記錄事件。這類監測可補充 NR-12 和 NR-35 的安全措施,但不能取代檢查、防護裝置、互鎖裝置或工作許可。巴西在 2025 年錄得 806,011 宗職業意外及 3,644 宗工傷死亡,均為 2016 至 2025 年期間的最高數字。
Amazon Bedrock AgentCore 的三項優化策略,令處理 20 MB+ JSON 資料的生產智能體在代表性 23 MB payload 基準測試中,token 用量最多下降 71%,平均延遲最多降低 80%。
推薦理由:文章把狀態外置、列表分頁與字典摘要整合成可組合方案,並以 23 MB 資料測試呈現 token 用量及延遲的變化。
AWS Machine Learning Blog提出工作流程的模型呼叫分流方法:規則交由確定性程式碼,固定選項使用受限決策呼叫,開放式任務則使用符合要求的 Amazon Bedrock 模型。
推薦理由:文章整理出規則、固定選項與開放式生成的分流方法,並以 AWS 元件示範如何減少不必要的模型呼叫。
文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。
推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。
AWS Agent Registry 現已提供自訂中繼資料綱要,讓組織為記錄設定共用欄位、資料類型及允許值,並在建立或更新記錄時驗證資料。文章以 AnyCompany 的 MCP 伺服器為例,示範管理員定義綱要、團隊補充掃描及 CMDB 資料,再由 AWS Lambda 審批。用戶及智能體可按中繼資料篩選搜尋,結果只會返回已批准且符合條件的記錄。
OpenTSLM-Flamingo 現已可在 Amazon SageMaker JumpStart 部署,文章示範如何以數值時間序列和文字上下文進行推理。
SMART(Social Messaging Agent Runtime Toolkit)是一套開源 Python SDK 及 Terraform 堆疊,可配合 Amazon Bedrock AgentCore 建構 WhatsApp AI 智能體並處理通道整合。
推薦理由:文章梳理 WhatsApp 智能體的通道工程負擔,並呈現 SMART 如何整合訊息驗證、媒體處理、記憶及排程,讓讀者瞭解端到端接入流程。
AWS 提出供 AI 智能體平台團隊及應用團隊採用的負責任 AI 三階段成熟度框架,涵蓋治理基礎、試點部署,以及評估與加固。平台團隊建立護欄,應用團隊在其框架內建構智能體,各階段分別處理治理、安全與私隱、可靠性、可控性、公平性、可解釋性及透明度。配套的 Responsible AI Assessment Skill 以 1–5 分評估成熟度,低於 4 分代表有重大風險需要處理,並提供改善建議。
LoanPro 與 AWS、AllCloud 合作,以 Amazon Bedrock 和 Amazon Bedrock AgentCore 建構多智能體貸款服務助理,整理帳戶資訊並推薦後續操作。
ArisGlobal 調整 Amazon Bedrock 請求順序,改為快取跨請求重用的共用提示詞前綴,以降低 NavaX 的推理成本。生產請求中,約 65% 的輸入 token 以較低費率從快取讀取,令有效輸入成本約下降 50%;在每月超過 19 billion tokens 的用量下,整體月度推理支出約下降 40%。此設計亦支援約 15% 更多企業租戶進駐,而 EU 跨區域推理路由維持不變。
推薦理由:案例展示多租戶工作負載如何按跨請求重用程度安排快取前綴,而非優先快取單次個案的大型文件,並提供部署與監測要點。
Novo Nordisk 製造技術團隊利用 Amazon Bedrock AgentCore 建立製程智能助理,結合知識圖譜與混合搜尋,為受規管製造文件提供有引文支持的答案。
Amazon Bedrock、Kiro IDE 與 AWS Transform 可透過五階段流程,將大型主機 Assembler 程式經 COBOL 中間階段轉換為 Java Spring Boot 應用程式。流程設有人工驗證及功能等效測試檢查點,以保存業務邏輯並降低轉換風險;相較手動方式,可縮短現代化所需時間。
MoEngage 在 Amazon Bedrock AgentCore 上建構 Merlin AI,透過 FastMCP 將既有 OpenAPI 3.0 API 轉成 MCP 工具,讓營銷及產品團隊以對話草擬、分析和調整活動。