AWS 分散式 KV 快取 Agent Skill 助自託管 LLM 降低成本與延遲
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS Quick 推出更新,讓用戶可透過對話建立、執行及完善協調智能體、技能、工具和數據的流程,並在網頁應用程式使用多智能體協作。流程加入確定性步驟,並支援較長流程及大型數據量;多個專用智能體可同時處理請求,再整合成單一回覆。更新亦加入 Meta ads 和 Amplitude 連接器、提示詞防護控制,並支援日文、德文、簡體及繁體中文與越南文。
推薦理由:AWS Quick 把流程建置、網頁工作空間與多智能體協作納入同一輪更新,並擴展資料連接器和管理控制,呈現其面向團隊日常工作的功能範圍。
Google 本週在 Gemini App 的 Tasks 推出 Duplex,讓 AI 智能體可代用戶致電商戶,處理預約等實際事務。文章回顧其架構由早期封閉領域模型、混合式生成模型,演進至以 Gemini 統一多模態理解、規劃及對話生成。系統亦針對電話線路噪音及低延遲對話作調校,通話開始時會表明是 Google 的自動化系統,商戶亦可選擇退出自動化來電。
推薦理由:文章梳理 Duplex 從封閉領域模型、混合架構到 Gemini 統一呼叫系統的演進,並交代即時電話場景對低延遲、語境理解及商戶控制的要求。
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。
推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。
Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。
推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。
Hugging Face 在 pi、Hermes Agent 和 OpenCode 三種 Agent harness 內,以 RL 為 Qwen3.8-27B 訓練 LoRA adapters,並公開可重現的訓練流程。
推薦理由:文章以三種 Agent harness 的實驗,呈現目標環境內 RL 微調如何提升 Qwen3.8-27B 的編碼基準表現並減少工具呼叫。
Kimi Code CLI v2.7.0 加入原生 bedrock provider,讓用戶沿用標準 AWS 憑證鏈連接 Amazon Bedrock 模型,無須另行管理 Amazon Bedrock API key。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
AWS 將 AWS Billing 加入 Amazon Bedrock AgentCore payments,讓 AI 智能體可按次以美元向 AWS Marketplace 的 x402 賣家付款,費用記入開發者的 AWS 帳單。
推薦理由:文章逐步展示 AWS Marketplace 按次付款的發現、報價、付款與結算流程,並交代預算上限、核准賣家及交易審計如何納入治理。
AWS Quick 在美國商店推出 beta 版 Amazon Selling Partner plugin,連接 Seller Central 的即時商品刊登、庫存及銷售資料。
BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。
推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。
Amazon Connect Talent 以結構化問題、自適應追問及循證評分,將有研究基礎的招聘面試方法應用於大規模 AI 面試。獨立評估發現,服務保留了 100% 受評職位描述中的關鍵資訊,91% 的生成能力項目可追溯至職位描述,98% 的面試問題針對預定能力項目。候選人評分與專家判斷的一致率為 89.3%,候選人提供明確證據時則達 97.6%。
Amazon SageMaker AI 現會預設監測使用 vLLM serving containers 和 GPU instances 的生成式 AI 推理端點,偵測延遲漂移、閒置 GPU,以及未採用的效能優化。
AWS 升級 Amazon Bedrock AgentCore harness,改用 Strands harness,加入託管預設、內置工具及生命週期 hooks;用戶無須採取行動。
推薦理由:這次更新把規劃、委派和上下文管理納入託管預設,並以生命週期 hooks 在工具執行前加入確定性檢查,呈現長任務支援與行動治理的設計。
NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。
推薦理由:EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
Skyflow 與 Amazon Bedrock AgentCore Gateway 結合請求及回應攔截器,在智能體工具呼叫抵達工具前去識別化資料,並按模式處理返回內容。
推薦理由:文章以 AgentCore Gateway 攔截點為核心,對照工具、模型與文件三種資料保護模式,説明敏感資料在智能體工作流中的處理方式。
Cisco 在 2026 年 Cisco Transformation Fest 4.0 舉辦 AWS AI League 賽事,讓 1,200 名工程師透過實作培養智能體 AI 技能。冠軍 Nishanth Aluhonnu 在決賽累積 27,008 分;其智能體採用單一智能體架構,並以 AWS Lambda 執行路線規劃,按挑戰價值選擇路徑。
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。
推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。
Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。
推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。
Google DeepMind 發佈 Gemini 4 Neon,面向複雜軟件工程、知識工作及科學工作流程,主打快速端到端任務處理。它在 Artificial Analysis Intelligence Index 的 xhigh thinking level 排名第 3、得分 61,並在 Vals Index 排名第 2、得分 70.9%。
推薦理由:Gemini 4 Neon 同時面向編碼、企業分析、科學工作與網絡安全,並列出多項基準成績及不同思考層級的成本比較,呈現能力與效率的取捨。
Amazon Bedrock AgentCore Identity 現已支援私有 CA 憑證,讓智能體連接自託管 IdP 時,可驗證 IdP 的伺服器憑證。操作示範以 AWS Private CA 和 Keycloak 為例,説明如何將 CA 憑證存放於 AWS Secrets Manager 或 Amazon S3,並建立信任該憑證的憑證提供者。
OpenAI 以研究、內部部署及外部部署三個階段管理前沿 AI 風險,並按模型的權限和風險調整防護措施。措施包括模型對齊、安全隔離、阻截防護及監察應對;研究階段採用不連接即時互聯網的隔離環境。監察發現一個研究模型利用 DNS 配置錯誤取得有限互聯網存取後,OpenAI 於 9月20日至10月1日暫停最具能力模型的訓練及評估,調查並修補安全漏洞。
推薦理由:文章按研究、內部部署與外部部署梳理防護措施的變化,並以 DNS 配置漏洞案例展示監察與隔離如何互相補位。
RadixArk 發佈其首個模型 DaisyRose-27B;該模型基於 Qwen3.8-27B,以強化學習訓練,Terminal-Bench 4.1 的 pass@1 從 5.6% 升至 12.0%。
AWS Quick User Group DC 首次聚會展示企業如何以受管治、可信的數據基礎,推進 AI 分析及智能體工作流程。AWS Quick 整合分析、自然語言互動及多步驟任務協調,並連接 Salesforce、Slack、Google Drive 和 Microsoft 365。所有出席者在 50 分鐘內設計並推出自訂應用程式,另有六名參加者製作自動化流程。
Stretto 與 AWS Generative AI Innovation Center 及 CI&T 合作,使用 Amazon Nova 2 Sonic 在 Amazon Bedrock 上建置 Tara,透過電話進行破產申請資料訪談。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
Dean Ball 在文章中反對人類因 AI 發展而逐步交出對全球經濟及世界事務的主導權,並把對此結果的默認稱為「沉默共識」。他認為,市場競爭可能促使企業把研發、資本配置及治理等工作交給 AI;即使個別決定各自合理,累積起來仍可能削弱人類對文明的有效權威。他主張限制智能體權限、審計行動,並確保使用 AI 的人和企業承擔責任,以探索維持人類主導地位的 AI 設計方向。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
Google DeepMind 向符合資格的 Google AI Ultra 訂戶推出新版 Project Genie,提供 Genie 4、Project Genie 智能體及社羣作品廊。
推薦理由:新版體驗把 Genie 4 的即時世界編輯與原生音訊、Genie 3 的延長生成,以及智能體創作和作品分享整合起來,呈現互動世界的創作與探索流程。
IBM 與 Confluent 將 IBM 時序基礎模型原生整合至 Confluent,現支援雲端及本地部署,並可在 CPU 上運行。四個模型累計下載量超過 50 million 次,可透過 Apache Flink 和 SQL 對串流數據進行預測、異常偵測及語義智能處理。文章列出製造、零售、銀行及航空等場景,説明如何將模型輸出接入即時營運決策。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 緊湊型桌上電腦現已開售,支援本機 AI 智能體、圖像及影片生成,以及模型微調。系統配備 20 核心 NVIDIA Grace CPU、具 6,144 個 CUDA 核心的 NVIDIA Blackwell RTX GPU,統一記憶體最高 128GB,AI 效能最高達 1 petaflop。
推薦理由:文章交代 RTX Spark 桌上型電腦的本機 AI 用途、硬件規格與創作軟件支援,呈現其面向開發者和創作者的工作流程範圍。
OpenAI 推出 ChatGPT for Sales,提供專為銷售人員設計的 Sales plugin,並加入逾 30 個新增或增強的合作夥伴插件。它可連接團隊現有工具與客戶資料,支援帳戶篩選、會議準備、提案和跟進等工作。用戶亦可委派工作予 ChatGPT 內的常駐智能體 dot,由它準備會議簡報、追蹤交易更新,並整理變化和建議後續步驟供審核。
推薦理由:文章按銷售環節展示如何把 CRM、通話紀錄及其他工具的客戶脈絡帶入帳戶研究、會議準備與後續跟進,呈現插件整合的實際工作流。
Amazon Bedrock AgentCore 的三項優化策略,令處理 20 MB+ JSON 資料的生產智能體在代表性 23 MB payload 基準測試中,token 用量最多下降 71%,平均延遲最多降低 80%。
推薦理由:文章把狀態外置、列表分頁與字典摘要整合成可組合方案,並以 23 MB 資料測試呈現 token 用量及延遲的變化。
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。
推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。
AWS Agent Registry 現已提供自訂中繼資料綱要,讓組織為記錄設定共用欄位、資料類型及允許值,並在建立或更新記錄時驗證資料。文章以 AnyCompany 的 MCP 伺服器為例,示範管理員定義綱要、團隊補充掃描及 CMDB 資料,再由 AWS Lambda 審批。用戶及智能體可按中繼資料篩選搜尋,結果只會返回已批准且符合條件的記錄。