AWS 分散式 KV 快取 Agent Skill 助自託管 LLM 降低成本與延遲
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
Amazon SageMaker HyperPod 推出 Global Inference Gateway,透過單一 SageMaker 管理端點,在已註冊的叢集之間(包括跨 AWS 區域)路由請求。
推薦理由:Global Inference Gateway 將 HyperPod 跨叢集及跨區域推理路由整合至單一端點,並以容量、佇列、區域距離和錯誤率分流,呈現減少手動路由與故障切換工作的實作方式。
AWS 為 Amazon SageMaker HyperPod Slurm 叢集推出託管叢集擴展,首批涵蓋觀測性與用戶管理。用戶可透過 API 或 Amazon SageMaker AI 主控台安裝及管理擴展;HyperPod 會驗證設定、套用至所有節點(包括新增及替換節點),並回報狀態和健康問題。
Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。
推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。
Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。
推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。
OpenAI 發佈 Daybreak Red 指南,提供監督式安全調查的參考架構。指南涵蓋架構、安全控制、環境設定,以及如何執行和監察調查。
Kimi Code CLI v2.7.0 加入原生 bedrock provider,讓用戶沿用標準 AWS 憑證鏈連接 Amazon Bedrock 模型,無須另行管理 Amazon Bedrock API key。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。
推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。
Amazon SageMaker AI 現會預設監測使用 vLLM serving containers 和 GPU instances 的生成式 AI 推理端點,偵測延遲漂移、閒置 GPU,以及未採用的效能優化。
NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。
推薦理由:EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。
推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。
Cisco 在 2026 年 Cisco Transformation Fest 4.0 舉辦 AWS AI League 賽事,讓 1,200 名工程師透過實作培養智能體 AI 技能。冠軍 Nishanth Aluhonnu 在決賽累積 27,008 分;其智能體採用單一智能體架構,並以 AWS Lambda 執行路線規劃,按挑戰價值選擇路徑。
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
PolyAI 的即時複雜對話推理模型 Dialog-RSN-1,現已可透過 AWS Marketplace 和 Amazon SageMaker JumpStart 使用。模型可部署為用戶 AWS 帳戶內的 SageMaker endpoint,直接理解通話音訊、推理及即時回應;目前只支援英文。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
Amazon SageMaker HyperPod 推出增強型可觀測性功能,協助用戶更快診斷 GPU 訓練問題,適用於 Amazon EKS 和 Slurm 編排的訓練工作。
AI 偵測到潛在安全違規後,會記錄事件並通知相關安全人員,由主管或獲授權審核人員檢視證據、確認事件及決定後續處理。流程分為偵測、審核、升級、報告、指派,以及完成和核實;負責人完成糾正行動後,審核人員會核查結果,確認結案或要求進一步跟進。
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
Amazon SageMaker JumpStart 在 SageMaker Studio 推出 Model Leaderboard,讓用戶並列比較模型品質、速度和估算成本。
AWS 為 Amazon SageMaker HyperPod 推出三項工作負載復原及基礎設施檢查能力,分別驗證訓練運算、監察 EKS 故障,以及偵測 Slurm 停滯任務。
AWS 文章示範如何在 Amazon Aurora PostgreSQL 上設計負責任 AI 控制措施,並以 RAG 客戶支援聊天機械人深入實作可解釋性。文章將 AWS Responsible AI 八個維度對應至資料庫及相關 AWS 服務,並把檢索區塊 ID、相似度分數、實際引用來源和 Guardrails 追蹤記錄至資料庫,建立可查詢的審計軌跡。
Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。
推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。
Social Department 構建 QuickSearch,將娛樂行銷中的編輯判斷轉化為可執行的影片檢索流程,讓用戶透過單一操作尋找合適片段。QuickSearch 提供 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四項功能,結合影片內容理解與持續更新的趨勢資訊。
Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。
推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。
Hugging Face分析272次生產環境監督式微調(SFT)工作,發現CatBoost能更準確地預測端到端耗時。測試涵蓋約7,382 GPU 小時;CatBoost的R²為0.98,平均絕對誤差為1.71小時,中位誤差為0.51小時。相比之下,FLOP估算的R²為0.31,平均絕對誤差為12.41小時。
AWS Quick User Group DC 首次聚會展示企業如何以受管治、可信的數據基礎,推進 AI 分析及智能體工作流程。AWS Quick 整合分析、自然語言互動及多步驟任務協調,並連接 Salesforce、Slack、Google Drive 和 Microsoft 365。所有出席者在 50 分鐘內設計並推出自訂應用程式,另有六名參加者製作自動化流程。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
OpenAI 表示,其模型已用於改進自研 Jalapeño、AMD GPU IP 及開源 RISC-V 核心的晶片設計,並提升 RISC-V 評測中的吞吐量。在 AMD 旗艦 GPU IP 上,相較高度優化基線,PPA 改善最高達 14%;Jalapeño warp engine 和 matrix unit 的標準單元面積則分別減少約 13% 和 10%。
推薦理由:文章並列量產設計中的 PPA 改善與兩款開源 RISC-V 核心評測,亦交代功能取捨和物理綜合檢查等限制,可對照模型測試分數與實際晶片設計要求。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 緊湊型桌上電腦現已開售,支援本機 AI 智能體、圖像及影片生成,以及模型微調。系統配備 20 核心 NVIDIA Grace CPU、具 6,144 個 CUDA 核心的 NVIDIA Blackwell RTX GPU,統一記憶體最高 128GB,AI 效能最高達 1 petaflop。
推薦理由:文章交代 RTX Spark 桌上型電腦的本機 AI 用途、硬件規格與創作軟件支援,呈現其面向開發者和創作者的工作流程範圍。
AI 影片分析可協助巴西工廠透過合適的 CCTV 攝影機,監測機械操作及高空作業中可見的風險,並向安全團隊發出警示及記錄事件。這類監測可補充 NR-12 和 NR-35 的安全措施,但不能取代檢查、防護裝置、互鎖裝置或工作許可。巴西在 2025 年錄得 806,011 宗職業意外及 3,644 宗工傷死亡,均為 2016 至 2025 年期間的最高數字。
AWS 為 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo 託管支援,涵蓋多節點部署、分離式 prefill 與 decode 推理。
推薦理由:文章對照兩種部署路徑,並以 Qwen3-235B 基準呈現分離式 prefill 與 decode 在指定服務門檻下,最高吞吐量達聚合式的 2.05×。
Amazon Bedrock AgentCore 的三項優化策略,令處理 20 MB+ JSON 資料的生產智能體在代表性 23 MB payload 基準測試中,token 用量最多下降 71%,平均延遲最多降低 80%。
推薦理由:文章把狀態外置、列表分頁與字典摘要整合成可組合方案,並以 23 MB 資料測試呈現 token 用量及延遲的變化。
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
AWS Machine Learning Blog提出工作流程的模型呼叫分流方法:規則交由確定性程式碼,固定選項使用受限決策呼叫,開放式任務則使用符合要求的 Amazon Bedrock 模型。
推薦理由:文章整理出規則、固定選項與開放式生成的分流方法,並以 AWS 元件示範如何減少不必要的模型呼叫。
文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。
推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。
AWS Forward Deployed Engineering 現已在 15 個國家為商業及公共部門客戶提供服務,並配備數十項內置、可供生產環境使用的加速器。