TorchNeuron(Part 1):如何在 AWS Trainium 上進行系統層級效能分析
這篇教學示範如何在 AWS Trainium 上使用 torch.profiler 和 Neuron Explorer 分析 TorchNeuron 推理效能,追蹤運算由框架派發、runtime 排程至硬件執行的耗時。
這篇教學示範如何在 AWS Trainium 上使用 torch.profiler 和 Neuron Explorer 分析 TorchNeuron 推理效能,追蹤運算由框架派發、runtime 排程至硬件執行的耗時。
Schlotzsky’s 與 Cinnabon 特許經營商 Ted Taylor 使用 ChatGPT Work,將三間餐廳的每月現金對賬時間由 3 小時縮至 5-10 分鐘,減少 94%。
i14 與 AWS 使用 TorchNeuron Native 的原生 PyTorch 支援,在 AWS Trainium2 上訓練及推理 Laplace 3B,保留 Gated Linear Attention(GLA)架構。
Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。
推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。
AWS 作者展示在 Amazon SageMaker HyperPod 上微調 GPT-OSS-20B,50 個測試案例中的指定語言推理正確率由基礎模型的 22% 升至 SFT 後的 100%。
AWS 團隊示範如何以 Amazon Quick 和 Amazon Bedrock AgentCore 建立對話式供應鏈流程,串連系統資料、評估中斷影響並提出採購建議。
AWS 的示例展示如何透過 AWS Agent Registry,在執行時搜尋已核准的 MCP 伺服器、智能體及技能,並按結果建立本次請求所需的用戶端。示例以訂單狀態、價格折扣及退貨退款三種情境,展示 MCP 單獨呼叫、MCP 與 A2A 串接,以及語義搜尋。搜尋結果只提供連線描述資料,不含呼叫憑證;記錄須經核准才會透過可搜尋資料平面提供,各項能力所需的呼叫憑證須另行處理。
推薦理由:文章以 MCP 與 A2A 的訂單管理示例拆解執行時探索流程,並説明搜尋描述資料、核准治理與能力呼叫憑證之間的責任邊界。
AWS 説明加拿大用戶如何透過 Amazon Bedrock 跨區域推理,存取 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 Sol。
三位 Java Champion 分享在生產環境及開源項目中運用 GitHub Copilot 的做法,並提出提升開發效率與確保程式可靠性的實踐。其中一人以 Copilot 將 15 份簡報、約 900 張投影片由 Reveal.js 遷移至 Marp,約用 8 至 10 小時,並透過截圖、動畫及 PDF 比對驗證。
推薦理由:三位 Java Champion 的實例涵蓋功能開發、遷移和除錯,呈現需求釐清、驗證證據與人工審核如何支撐 AI 輔助開發。
AWS 教學示範以 AtScale 在 Amazon Redshift 建置供 AI 智能體使用的語義層,並透過 Amazon Bedrock AgentCore 將 Strands agent 接入 AtScale MCP server。
教學示範以兩個相連的 Strategy Mosaic 模型整合 Amazon Redshift 和 Amazon Aurora 的 Customer 360 資料,並透過 MCP 供 Amazon Bedrock AgentCore 上的 Strands 智能體查詢。
文章示範如何以 Denodo Platform 和 Amazon Bedrock AgentCore 建立 AI 智能體語義層,讓 Strands agent 查詢 Amazon Aurora、Amazon Redshift 與本地部署的 PostgreSQL 資料。
Eon 利用 Amazon Bedrock AgentCore MCP Gateway,將跨多個雲端的調查工具集中至單一經身分驗證的入口,供工程師及自主智能體使用。
AWS 與 Keyfactor 展示一套結合 X.509 PKI、Keyfactor EJBCA 及 AWS 服務的參考架構,為多智能體系統建立身份驗證與授權鏈。架構採用已簽署請求封套、用戶簽署的委派聲明、RFC 8693 受眾限定存取權杖,以及即時 OCSP 撤銷檢查。文章逐步説明用戶登入、智能體間呼叫、MCP 工具伺服器驗證及登出撤銷流程,並指出此模式可應用於其他兼容 MCP 的工具伺服器。
GitHub Copilot app 的工作階段可直接在 VS Code 開啟,並保留原有對話、程式碼變更及工作脈絡,讓用戶在同一工作樹繼續工作。用戶可在 VS Code 逐行檢視差異、手動修改及本機測試,完成後把變更推送至該工作階段關聯的 pull request。
推薦理由:文章示範如何把 Copilot app 工作階段及其工作脈絡帶入 VS Code,讓智能體產生的修改可在原有工作樹中接續檢視、測試及推送。
AWS 説明 vLLM 的雙向 KV cache 傳輸如何讓 prefill 節點在多輪智能體對話中重用 decode 節點保留的 KV,減少重複計算並降低 TTFT。
Deepgram 與 AWS 把 Nova-3 語音轉文字模型移植並調校至 AWS Trainium2,以提升離線批次推理效率。單一 Amazon EC2 trn2.3xlarge 執行個體配置八個模型副本後,每美元可處理的音訊量較 Deepgram 原有運算方案增加 11–70%。這項成果有助 Deepgram 更有效率地擴展服務,並以較低價格向客戶提供模型。
香港人工智能專業協會與葵青地區康健中心合辦「AI防騙講座」,講解騙徒如何利用 AI 換臉及擬真語音冒充親友或銀行職員行騙。講座示範人工智能生成文字、圖像、聲音及短片的能力,並講解深偽釣魚訊息和假投資陷阱。
南非礦山運礦卡車安全須結合交通管理、工程控制、設備維護及持續監察,以應對盲點、疲勞、道路狀況、粉塵和機械故障等風險。南非《礦山健康與安全法》相關規定要求 TMM 偵測行人及其他機器、發出警示,並在無人採取行動時自動減速及制動;礦山死亡人數由 2021 年的 74 人降至 2022 年的 49 人,2025 年為 41 人。
Benefit Street Partners 使用 Codex 建立貸款估值追蹤及信貸協議分析工具,讓團隊更快回應投資委員會問題,並常在會議期間作答。追蹤工具首版約用 1 day,總開發時間約 10–12 hours;信貸協議分析工具以 GPT‑6 Astra 重構,約 20 min 產生初步分析,之後仍需 1+ hour 人手審核。
Itaú 透過 ia.i 對話介面及 IARA 治理與協調平台,把生成式 AI 用於客戶服務及銀行內部流程。ia.i 首階段約涵蓋 300,000 名客戶,目標於 2026 年底覆蓋全體客戶;法律方案以 90M+ 份文件為基礎,每月執行超過 2 million 項任務,流程效率提升 20% 至 80%。
AWS Sales, Marketing, and Global Services(SMGS)團隊以 Amazon Bedrock AgentCore Evaluations 建立九階段評估框架,涵蓋 AI 智能體由開發到正式環境運作的完整生命週期。
推薦理由:文章把工具、單一智能體與多智能體協作納入九階段評估流程,並展示如何透過回歸門檻、線上監測及追蹤資料定位品質退化。
新加坡建造及建築管理局(BCA)的 Integrated Digital Delivery(IDD)以共享數碼資料連接建築項目各方,涵蓋設計至長期營運管理。IDD 分為設計、預製、施工、資產交付及管理四個階段,並把 BIM 延伸至整個項目的活動、人員和資訊協作。
AWS將一套分層治理方法稱為 Trust in Depth,主張以可驗證規則支撐智能體在保留控制下承擔更多自主工作。框架分為 Scope、Know、Bound、Observe 四個環節,並以自動推理檢查可精確表述的規則;需要情境判斷的部分則交由人處理。以員工離職流程為例,Amazon Bedrock AgentCore 會阻止未先封鎖登入或查核法律保留的操作,並記錄每一步。
新加坡建築自動化運用 AI、電腦視覺及物聯網感測器,協助承建商監察工地安全、施工進度及設備運作,並自動整理報告。可自動化的工作包括工地巡查、進度記錄、資源監察、安全檢查及項目協調;相關技術還包括邊緣裝置、LiDAR、無人機及 AI 智能體。新加坡建設局預計,2026 年建築需求將達 S$47–53 billion。
港口安全的 AI 影片分析透過電腦視覺分析攝影機畫面,識別預設危險、不安全行為及限制區域闖入,並發出警示。應用涵蓋起重機與碼頭作業、設備禁區、碼頭交通、PPE 合規、出入監察及火警偵測;viAct Port Safety Solution 是文中列舉的方案,系統不能取代實體隔離、設備檢查、吊運程序或應急系統。
Block 使用包括 OpenAI Daybreak 在內的 AI 系統加快漏洞處理,讓安全團隊把時間投放於策略性工作。團隊可在不足1小時內,將建議的偵測變更與7個月的生產遙測資料重播;近期紅隊演練中,從提交概括描述的漏洞到產生自動建議修補程式需時18分鐘。每季約600分析員工時從誤報分流中釋出,另完成約1,100分析員工時的調查,分流處理量提升50%;每項結果仍由人員驗證。
SentinelOne 表示,OpenAI Daybreak 可將惡意軟件逆向分析由 4–6 週縮至約 8 小時,並產出人類水平的逆向分析結果。分析時間縮短後,研究人員可調查更多樣本並比較威脅間的關聯;團隊仍須對結果負責,涉及架構變更的決策仍需人員審視。
AWS 的教學示範如何使用 Amazon Bedrock AgentCore 建立文件處理系統,讓多個智能體分類、擷取及驗證文件,並從修正中學習。方案包含八個專職智能體;新文件格式會生成並修正擷取提示詞,驗證通過後保存供重用,範例中首輪與後續採購單處理耗時分別為 3 分 49 秒和 1 分 30 秒。
Third Moment Research 使用 GPT-6 Astra、GPT-6 Sol、GPT-6.1 Sol 和 Codex,支援 10,000 個智能體同時進行 36–48 小時自主研究。Codex 配合 GPT-5.6 找出快取優化和記憶體打包技術,將回測時間由約 3 小時縮短至約 3 至 5 分鐘。Daybreak 會在模擬啟動前自動測試智能體能否脱離研究環境並存取更廣泛的網絡。
Tamnoon 以 Amazon Bedrock 建構 Tami,一個 AI 智能體雲端修復協調平台,可自主調查 CNAPP 等來源的安全發現、評估修復安全性,並在護欄和治理機制下生成及協調修復。該方案在 90 天內令嚴重雲端安全暴露減少逾 90%,期間沒有生產環境問題。不同智能體可透過單一 API 使用各自合適的基礎模型。
AWS 團隊示範以 Amazon Bedrock AgentCore 建置智能體系統,根據企業文件生成 PowerPoint 簡報。以 90 頁 Amazon 2024 Annual Report PDF 進行的內部測試中,系統生成 6 頁簡報需 70–90 秒,模型呼叫成本約 $0.04(us-east-1,撰文時)。
印尼建築工地運用 AI、電腦視覺及數碼監測,協助安全團隊識別預設風險、接收警示並檢視反覆出現的安全事件。攝影機可監測工作區域,感測器則可收集環境狀況,AI 可分析影像中的預設安全事件。AI 是輔助技術,不能取代 SMKK、風險評估、實體控制、工人培訓或合資格的 HSE 監督。
AWS 的教學示範如何從 Amazon SageMaker JumpStart 部署預訓練模型,使用 SageMaker Python SDK 執行可重複的輕量測試,並在完成後刪除端點。
港口電腦視覺 AI 的六類已驗證應用,涵蓋岸邊貨櫃起重機監測、RTG 危險區域偵測、碼頭車輛監測、裝卸工人個人防護裝備偵測、碼頭閘口監測及貨櫃火警偵測。系統分析 CCTV 影像,識別工人、車輛、設備和可見安全風險,並記錄偵測事件及相關片段。偵測準確度視乎模型、鏡頭視角及作業環境。
Anchor Browser 整合 Amazon Bedrock AgentCore payments,讓 AI 智能體可在同一瀏覽器工作階段自動支付受 x402 保護的網頁和 API。
推薦理由:文章梳理 Anchor Browser 與 AgentCore payments 處理 x402 付款的端到端流程,説明預算控制及私鑰簽署如何由受管基礎設施承擔。
AWS Machine Learning Blog 介紹兩種透過 AWS License Manager 啟用 Amazon Bedrock 私人定價優惠權益的方法,分別用於一次性處理及持續自動化。
Orca Security 在 Amazon Bedrock 上建構 Discovery AI,將自然語言問題轉換為 Sonar 查詢,並已在生產環境每日處理數千次查詢。相較初始基準,輸入 token 減少 93%、查詢成本降低 90%,端到端延遲由約 60 秒降至 15 秒。系統結合 RAG 範例檢索、Cohere Rerank 3.5、按階段分配模型,以及專家持續標註。
AWS 與 vLLM 社羣為融合 MoE 模型實作多項核心優化,並將其應用於 Amazon SageMaker AI 的 LMI Deep Learning Container,整體最高提升 10% 吞吐量及 9% TTFT。
文章展示如何在 Amazon Bedrock 上以 Grok 4.7 建立工具呼叫智能體,並以三項需要搜尋的任務比較 low、medium、high、xhigh 四種推理力度。
推薦理由:文章以三項答案可窮舉驗證的任務比較推理力度與 token 用量,並提供可移用於自有 Agent 評測的測試設計和生產監控方法。