AWS 詳解 Amazon SageMaker AI 上的融合 MoE 核心優化
AWS 與 vLLM 社羣為融合 MoE 模型實作多項核心優化,並將其應用於 Amazon SageMaker AI 的 LMI Deep Learning Container,整體最高提升 10% 吞吐量及 9% TTFT。
AWS 與 vLLM 社羣為融合 MoE 模型實作多項核心優化,並將其應用於 Amazon SageMaker AI 的 LMI Deep Learning Container,整體最高提升 10% 吞吐量及 9% TTFT。
文章展示如何在 Amazon Bedrock 上以 Grok 4.7 建立工具呼叫智能體,並以三項需要搜尋的任務比較 low、medium、high、xhigh 四種推理力度。
推薦理由:文章以三項答案可窮舉驗證的任務比較推理力度與 token 用量,並提供可移用於自有 Agent 評測的測試設計和生產監控方法。
AI 影片分析可利用現有 CCTV 持續監察化學品儲存及處理區域,在出現指定安全風險時向相關人員發出警示,補足庫存系統無法即時觀察現場情況的不足。若現有鏡頭覆蓋範圍合適,無須新增攝影機;影片分析可與傳統化學品庫存管理系統並行,而非取代它。
AWS 説明如何透過 Amazon Bedrock 全球跨區域推理,在泰國、馬來西亞、新加坡、印尼及台灣存取 GPT-6 Sol 和 GPT-6 Luna,並在新加坡存取 GPT-6 Astra。
推薦理由:文章把 API 呼叫、IAM/SCP 權限、配額與監控串成部署流程,並交代跨區域請求的資料保留位置及來源區域追蹤方式。
AWS 介紹如何在 Amazon SageMaker AI 上以 llama.cpp 部署決策模型,並可用 SemIf 擴展服務,直接返回指定選項的概率而不生成答案 token。
NVIDIA 在 OCP 全球峯會透過開放式 NVIDIA MGX 架構,向 OCP 提交 Vera Rubin 機架及運算托盤設計,並宣佈多項 AI 工廠基礎設施合作與開放標準。
推薦理由:文章將機架、供電、網絡與軟件更新放在共同開放標準下,呈現跨供應商協作如何支撐 AI 工廠擴展的整體架構。
Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。
推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。
Ai2 的 AI 基礎設施團隊以 GPU 時間預算、階層式公平分配及時間切片合約取代優先級排程,將 GPU 時間分配由逐案處理改為透明的預算流程。實施後的 30 日測試期內,團隊獲得應得 GPU 時數的 98%,叢集佔用率維持 98%;debug 工作負載的 p90 等候時間由 2 小時降至 30 秒,需人工介入的維修減少 74%。
LegalOn 按任務複雜度及開發階段選用 GPT-6 Astra、GPT-6.1 Sol 或 GPT-6 Luna,估算每日成本較 GPT-5.5 降低約 65%,並維持開發速度。公司亦開始預設限制 Fast mode,並按部門、羣組及個人設定 AI 開支上限;成熟業務目標是提升成本效益最多約 20%,新業務則獲較充裕預算。
Incarna 使用 Amazon Bedrock AgentCore payments,讓 AI 智能體透過 x402 向 BlockRun 逐次支付模型推理費用,並將流程部署至 Base 正式環境。
推薦理由:文章以 Incarna 的整合案例,説明 AgentCore payments 如何透過 x402 支援按次推理付款,並在基礎設施層執行支出上限。
這篇教程提出在 Amazon SageMaker HyperPod 的 EKS 叢集上,讓多個團隊共用 GPU 資源並維持工作負載隔離與資源公平分配的參考架構。
黎少斌拆解AI轉型中的四大迷思,提出切忌「為AI而AI」的觀點。文章聚焦AI轉型相關觀唸的辨析。
AWS 宣佈 Claude Haiku 5.5 已可透過 Amazon Bedrock 及 Claude Platform on AWS 使用。Anthropic 表示,它是 Claude 5.5 系列中速度最快、效率最高的模型,大多數任務的成本比 Claude Haiku 4.5 低約 75 percent。
推薦理由:文章説明 Claude Haiku 5.5 面向高用量、成本敏感任務的定位,並列出 Amazon Bedrock 使用範例及可用區域,提供模型選用與部署的實用參考。
AWS 團隊分享一套為期六週的培訓計劃,協助沒有工程背景、日常接觸 AI 的商業專業人士建立 AI 智能體實作能力。參加者每週投入約四小時,在導師支援下使用 AWS 工具製作可展示的原型;四名面向客戶的專業人士打造多智能體理財工具 WealthWise,並在展示中獲得第一名。
AWS Machine Learning Blog 示範以 AWS Lambda Durable Functions、Amazon EventBridge 和 Amazon Bedrock,將 AWS DevOps Agent 的事故調查結果轉為需人工審批的修復流程。
Qlik 利用 Amazon Bedrock 構建 Qlik Answers,讓企業員工以自然語言提問,並從知識庫、即時分析應用、詞彙表或文件取得附有來源的答案。
Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。
推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。
文章示範如何以 OpenClaw 和 Amazon Bedrock AgentCore 建構可累積上下文的 AI 助手,並以 Sprout 園藝助手展示整體架構。
推薦理由:文章以 OpenClaw 和 AgentCore 示範記憶檢索、用戶資料隔離及提示詞快取的設計,並整理可移植至其他領域的智能體部署方法。
AWS 教程示範如何在航空應用程式中,以 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 建立語音旅遊禮賓服務。
Amazon SageMaker Studio 現可直接在 HyperPod EKS 叢集建立及管理 Amazon SageMaker Spaces,並啟動 JupyterLab 或 Code Editor。
AWS 説明如何在 SageMaker Unified Studio 專案中提供核准的 Amazon SageMaker HyperPod 運算資源,同時讓基礎設施團隊保留叢集管理權。
Amazon SageMaker AI 推出 aws-ai-ml 技能,讓支援 MCP 的編碼智能體協助最佳化生成式 AI 推理。它可測試現有端點、推薦部署配置、比較基準測試結果,並生成可檢視及執行的 SageMaker Python SDK v3 程式碼;測試報告提供實際基礎設施負載下的吞吐量、延遲和並行數據。
NVIDIA 推出 Open Agent Safety Platform,以軟件執行邊界及獨立硬件監察管理智能體運行。平台由開源軟件 OpenShell 和 Sentry 參考系統設計組成;OpenShell 記錄操作並執行權限政策,Sentry 在 BlueField-4 DPU 上持續監察智能體活動。NVIDIA 表示,智能體試圖越過軟件邊界時,系統可在毫秒級內隔離並停止相關智能體。
推薦理由:OpenShell 與 Sentry 分別負責軟件執行邊界及硬件監察,並交代 OpenShell 已可使用和可擴展至 Arm、Intel 等平台。
AI 可在地下礦場事故發生前識別風險,將安全監察由事故後調查提前至警示、前兆和未遂事故階段。文章指出,地下環境視線受阻、網絡連接不穩,需結合攝影機、穿戴式裝置、邊緣設備及環境感測器,並由 Edge AI 在現場處理影片和感測器數據。
Chatham Financial 使用 Codex 和 GPT-5.6 建構技術並重新設計工作流程,將交易驗證時間由 30 分鐘縮短至不足 4 分鐘。
uniopen 以 Amazon SageMaker AI 監督式微調及提示詞優化客製化 Amazon Nova 2 Lite,令兩項零售審核分類指標均達到生產門檻。
AWS Machine Learning Blog 提供 Claude Platform on AWS 多環境存取指南,示範為 AWS 工作負載、開發者筆電及外部環境配置推理存取。
推薦理由:文章按 AWS 工作負載、開發者筆電與外部環境,示範 cross-account SigV4、workspace-scoped API key 和 OIDC federation 如何配置,並維持 workspace 隔離。
OpenAI 的 GPT-6 系列模型指南説明初創企業如何選擇 GPT-6 模型、調整推理力度,並準備投入生產的工作流程。指南亦涵蓋改善提示詞與技能,以及協調工具。
Ai2 開源 AstaBrief 8B,這款模型可把研究問題和檢索到的文獻摘錄生成帶引用報告,並已在 Asta 的 Generate a report 功能中提供 Fast mode。
Google Research 公佈採用可信執行環境(TEE)的新一代聯邦學習系統,讓伺服器端的數據匿名化處理可供驗證和審計。設備上傳的訓練數據只會交由符合預先授權存取政策的 TEE 工作負載解密處理,相關政策亦發布於 Rekor 公開透明日誌。Gboard 已採用新系統推出英文及日文下一詞預測模型,模型私隱保障更強、準確度更高,計算時間亦較舊系統大幅縮短。
推薦理由:文章比較舊式聯邦學習與 TEE 架構在服務端可驗證性上的差異,並交代存取政策公開記錄機制及 Gboard 部署後在私隱、準確度和訓練速度上的變化。
NVIDIA 宣佈 DGX Spark 64GB 配置將於 10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 開售,起價 $4,999。
AWS Professional Services 以 Amazon Bedrock AgentCore 部署四智能體方案,協助擴展雲端遷移並處理組織特定需求。
Amazon Quick 推出 Live Data in Apps,讓已發布的 Quick Apps 每次開啟時即時查詢受治理的 Quick Sight 資料集,而非讀取建置時快照。查詢以查看者身份執行並套用其 RLS 與 CLS 權限;每位查看者首次使用每個資料集時須同意,且不支援匿名或公開存取。
文章示範如何將 Amazon S3 Vectors 設為 NVIDIA NeMo Agent Toolkit(NAT)的持久記憶層,並把智能體工作流部署到 Amazon EKS。
Amazon Bedrock AgentCore 的參考實作把 Amazon S3 上傳或排程事件轉成智能體工作,並讓智能體在需要澄清、審批或覆核時暫停等待人員回應。
推薦理由:文章把事件來源、AgentCore 執行與人在迴路處理串成參考架構,並清楚區分樣本內建能力與需自行擴展的訊號來源。
Albertsons Cos. 利用 ChatGPT Enterprise 和 OpenAI API,協助團隊加快工作,並讓數百萬顧客更輕鬆地購買雜貨。
CoreWeave 宣佈在 CoreWeave Cloud 提供 NVIDIA Vera Rubin NVL72,並推出 CoreWeave Forge,推進智能體 AI 從訓練到生產的部署。
推薦理由:文章披露 Cognition 對 Vera Rubin NVL72 與 GB200 NVL72 的 SWE-2 推理測試,列出最高 4.8x 的總 token 吞吐提升,讓兩種平台在智能體編碼工作負載下可作量化比較。
Amazon Bedrock 現已在印度提供 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5,透過印度地理跨區域推理處理請求。
AI 影片分析透過工廠攝影機畫面識別預設的安全風險、營運狀況及異常事件,為沙特阿拉伯智能製造提供現場視覺監察。系統可在偵測到設定條件時發出警示、記錄事件及分析累積數據,並配合生產控制、IoT 和安全系統運作;沙特未來工廠計劃已協助約3,900間工廠,目標為4,000間。
建築工地 AI 安全系統利用人工智能和電腦視覺分析攝影機畫面,偵測預先設定的安全狀況並發出警報。系統可監察工人進入起重機作業範圍、未有明顯防墜保護的高處作業,以及車輛倒車接近行人路線等情況,並可配合現有閉路電視使用。