AWS 分散式 KV 快取 Agent Skill 助自託管 LLM 降低成本與延遲
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS Quick 推出更新,讓用戶可透過對話建立、執行及完善協調智能體、技能、工具和數據的流程,並在網頁應用程式使用多智能體協作。流程加入確定性步驟,並支援較長流程及大型數據量;多個專用智能體可同時處理請求,再整合成單一回覆。更新亦加入 Meta ads 和 Amplitude 連接器、提示詞防護控制,並支援日文、德文、簡體及繁體中文與越南文。
推薦理由:AWS Quick 把流程建置、網頁工作空間與多智能體協作納入同一輪更新,並擴展資料連接器和管理控制,呈現其面向團隊日常工作的功能範圍。
Google 本週在 Gemini App 的 Tasks 推出 Duplex,讓 AI 智能體可代用戶致電商戶,處理預約等實際事務。文章回顧其架構由早期封閉領域模型、混合式生成模型,演進至以 Gemini 統一多模態理解、規劃及對話生成。系統亦針對電話線路噪音及低延遲對話作調校,通話開始時會表明是 Google 的自動化系統,商戶亦可選擇退出自動化來電。
推薦理由:文章梳理 Duplex 從封閉領域模型、混合架構到 Gemini 統一呼叫系統的演進,並交代即時電話場景對低延遲、語境理解及商戶控制的要求。
Amazon SageMaker HyperPod 推出 Global Inference Gateway,透過單一 SageMaker 管理端點,在已註冊的叢集之間(包括跨 AWS 區域)路由請求。
推薦理由:Global Inference Gateway 將 HyperPod 跨叢集及跨區域推理路由整合至單一端點,並以容量、佇列、區域距離和錯誤率分流,呈現減少手動路由與故障切換工作的實作方式。
AWS 為 Amazon SageMaker HyperPod Slurm 叢集推出託管叢集擴展,首批涵蓋觀測性與用戶管理。用戶可透過 API 或 Amazon SageMaker AI 主控台安裝及管理擴展;HyperPod 會驗證設定、套用至所有節點(包括新增及替換節點),並回報狀態和健康問題。
Hebbia 測試 GPT-6 Astra,改善金融研究中的來源檢索和簡報製作。在 Hebbia 的測試中,模型引用所需類型來源的得分比最佳替代模型高 13.6 個百分點,所引段落有 99.5% 與問題相關;另有 97.9% 的適用簡報要求獲得滿足。使用者可循引用和投影片註腳追查來源。
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
AWS 宣佈 Amazon Textract Insights 正式推出,這項 Amazon Textract 生成式 AI 功能可透過新 API 擷取用戶以自然語言描述的欄位,並提供結構化結果。用戶可提交最多 3,000 頁的單一文件或混合文件包;每項結果均附有信心分數,以及來源頁面和邊界框定位,無需模型訓練。
Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。
推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。
OpenAI 説明如何偵測和阻止對抗性蒸餾,並在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 加強對受保護推理軌跡的防護。在自適應黑盒紅隊測試中,提取先前請求推理軌跡的攻擊成功率,從 GPT‑6 Astra 原有防護下的 54.0% 降至 GPT‑6.2 Astra 更新防護下的 0.2%;針對當前請求則由 22.9% 降至 0.9%。
推薦理由:文章並列請求層防護、協同活動調查與自適應紅隊測試,並以攻擊成功率由 54.0% 降至 0.2%,呈現 GPT‑6.2 Astra 對推理提取的防護評估。
OpenAI 推出 MedChemBench,評估 AI 模型能否結合分子結構與實驗證據,解釋結果、比較化合物並預測性質。基準包含來自 117 篇論文和專利的 99 道題目及 761 種分子結構;在 xhigh 設定下,GPT‑6.2 Astra 得分為 84.5%。
Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。
推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。
Hugging Face 在 pi、Hermes Agent 和 OpenCode 三種 Agent harness 內,以 RL 為 Qwen3.8-27B 訓練 LoRA adapters,並公開可重現的訓練流程。
推薦理由:文章以三種 Agent harness 的實驗,呈現目標環境內 RL 微調如何提升 Qwen3.8-27B 的編碼基準表現並減少工具呼叫。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。
OpenAI 發佈 Daybreak Red 指南,提供監督式安全調查的參考架構。指南涵蓋架構、安全控制、環境設定,以及如何執行和監察調查。
Kimi Code CLI v2.7.0 加入原生 bedrock provider,讓用戶沿用標準 AWS 憑證鏈連接 Amazon Bedrock 模型,無須另行管理 Amazon Bedrock API key。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
OpenAI 提供 Daybreak Blue 的上手流程示範,展示設定體驗。示範亦説明如何開始使用 Daybreak Blue。
OpenAI 展示 PR scans 的操作流程。示範者在 pull request 工作流程中檢視掃描結果。
OpenAI 展示 Codex Security Plugin 的示範,呈現由開始使用到檢視結果的工作流程。影片亦展示錄影中呈現的結果。
AWS 將 AWS Billing 加入 Amazon Bedrock AgentCore payments,讓 AI 智能體可按次以美元向 AWS Marketplace 的 x402 賣家付款,費用記入開發者的 AWS 帳單。
推薦理由:文章逐步展示 AWS Marketplace 按次付款的發現、報價、付款與結算流程,並交代預算上限、核准賣家及交易審計如何納入治理。
AWS Quick 在美國商店推出 beta 版 Amazon Selling Partner plugin,連接 Seller Central 的即時商品刊登、庫存及銷售資料。
BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。
推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。
Amazon Connect Talent 以結構化問題、自適應追問及循證評分,將有研究基礎的招聘面試方法應用於大規模 AI 面試。獨立評估發現,服務保留了 100% 受評職位描述中的關鍵資訊,91% 的生成能力項目可追溯至職位描述,98% 的面試問題針對預定能力項目。候選人評分與專家判斷的一致率為 89.3%,候選人提供明確證據時則達 97.6%。
Amazon SageMaker AI 現會預設監測使用 vLLM serving containers 和 GPU instances 的生成式 AI 推理端點,偵測延遲漂移、閒置 GPU,以及未採用的效能優化。
Google Research 在 Willow 量子處理器上展示並測量量子情境性,魔方陣遊戲勝率達 98.30%,高於經典策略上限。團隊以 Bell–Kochen–Specker 不等式測得 χ = 5.590 ± 0.008,高於經典上限 4。在最多 105 個量子位元的隱藏線性函數任務中,處理器成功率高於一半;這些任務亦能揭示隨機電路基準容易掩蓋的細微相干錯誤。
推薦理由:研究顯示,量子情境性相關任務可在多量子位元處理器上,揭示隨機電路基準容易掩蓋的細微相干錯誤。
Amazon Polly 的語音複製功能已正式推出,目前採受限開放,只有部分客戶已獲啟用。用戶可提供 1–10 段經説話者同意的錄音,通常 5–10 分鐘即可完成聲音建立,功能支援七種語言。建立聲音免費,合成語音則按用量收費;聲音只屬建立它的 AWS 帳戶及區域,並可透過 Amazon Polly API 用於即時或長篇語音合成。
推薦理由:文章除介紹功能外,也列出建立流程、説話者同意、權限管理及區域配額,呈現將語音複製整合至應用程式時的實務環節。
AWS 升級 Amazon Bedrock AgentCore harness,改用 Strands harness,加入託管預設、內置工具及生命週期 hooks;用戶無須採取行動。
推薦理由:這次更新把規劃、委派和上下文管理納入託管預設,並以生命週期 hooks 在工具執行前加入確定性檢查,呈現長任務支援與行動治理的設計。
NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。
推薦理由:EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
Skyflow 與 Amazon Bedrock AgentCore Gateway 結合請求及回應攔截器,在智能體工具呼叫抵達工具前去識別化資料,並按模式處理返回內容。
推薦理由:文章以 AgentCore Gateway 攔截點為核心,對照工具、模型與文件三種資料保護模式,説明敏感資料在智能體工作流中的處理方式。
Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。
推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。
Cisco 在 2026 年 Cisco Transformation Fest 4.0 舉辦 AWS AI League 賽事,讓 1,200 名工程師透過實作培養智能體 AI 技能。冠軍 Nishanth Aluhonnu 在決賽累積 27,008 分;其智能體採用單一智能體架構,並以 AWS Lambda 執行路線規劃,按挑戰價值選擇路徑。
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
PolyAI 的即時複雜對話推理模型 Dialog-RSN-1,現已可透過 AWS Marketplace 和 Amazon SageMaker JumpStart 使用。模型可部署為用戶 AWS 帳戶內的 SageMaker endpoint,直接理解通話音訊、推理及即時回應;目前只支援英文。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
Amazon SageMaker HyperPod 推出增強型可觀測性功能,協助用戶更快診斷 GPU 訓練問題,適用於 Amazon EKS 和 Slurm 編排的訓練工作。
GeForce NOW 宣佈支援 Amazon 三款運行 Vega OS 的 Fire TV Stick,並推出 Black Friday 會員優惠及本週遊戲更新。
香港大學未來媒體學院(SFM)與香港管絃樂團(HK Phil)簽署諒解備忘錄,展開為期兩年的策略合作,並製作以樂團歷史為題的混合式 AI 紀錄片。影片將結合檔案影像與 AI 重現,呈現樂團自 1947 年以來的歷史。合作亦包括 AI 輔助創作、數碼營銷及業界教育,為學生提供實習和項目學習機會。
AI 偵測到潛在安全違規後,會記錄事件並通知相關安全人員,由主管或獲授權審核人員檢視證據、確認事件及決定後續處理。流程分為偵測、審核、升級、報告、指派,以及完成和核實;負責人完成糾正行動後,審核人員會核查結果,確認結案或要求進一步跟進。