跳到正文
目前篩選:一手
10月31日週六
  1. AWS Machine Learning Blog67

    Amazon Bedrock 成本管理:FinOps 與平台團隊的端到端實務指南

    AWS Machine Learning Blog 的作者提出 Amazon Bedrock 成本管理五階段運作模式,涵蓋成本歸因、請求觀測、預算管控、平台最佳化及定期檢視。

    推薦理由:五階段流程將帳單歸因、請求觀測、預算執行與平台最佳化串成閉環,並交代 FinOps 與平台團隊的分工及階段依賴。

  2. AWS Machine Learning Blog60

    如何透過 Amazon Bedrock AgentCore runtime 即時預覽編碼智能體建立的網站

    AWS 示範以 Amazon Bedrock AgentCore runtime 的 Session endpoints,讓編碼智能體建立的 Vite 網站在瀏覽器中即時預覽,並在智能體儲存檔案時更新。

    推薦理由:文章以 Vite 網站示範如何透過 Session endpoint 即時預覽編碼智能體的修改,並交代連接埠授權、本機憑證轉送與連線限制。

  3. AWS Machine Learning Blog63

    如何在 AWS GovCloud (US) 的 Amazon Bedrock 上設定 ChatGPT 桌面應用程式

    AWS 教學示範如何在 AWS GovCloud (US) 的 Amazon Bedrock 上設定 ChatGPT 桌面應用程式,並將 Codex 的模型推理請求路由至 us-gov-west-1 的 Amazon Bedrock Mantle。

    推薦理由:文章把設定檔、AWS 身份驗證與網絡限制串成受控部署流程,並列出驗證、故障排查及回復步驟,方便機構按自身授權要求評估。

10月30日週五
  1. AWS Machine Learning Blog61

    如何在 Amazon EKS 和 SageMaker HyperPod EKS 上以 NVIDIA Nemotron 模型加速智能體 AI

    AWS Machine Learning Blog 介紹如何在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型,以支援智能體 AI 工作流程。

    推薦理由:文章以並行度測試比較聚合與分離式部署,並示範如何根據 TTFT、ITL 和吞吐量規劃容量及判斷擴展方向。

10月29日週四
  1. viAct · 視覺 AI 及工地安全31

    越南建築工地安全:法規、技術與最佳做法

    越南建築工地安全須遵循《職業安全與健康法》No. 84/2015/QH13 及建築安全技術規例 QCVN 18:2021/BXD,並防範高空作業、起重及機械等風險。2025 年,越南錄得 7,004 宗工傷事故、658 人職業死亡及 1,779 人重傷。AI CCTV、無人機、IoT 感測器及 AI 影片分析可協助監察高風險活動和及早識別不安全狀況。

10月28日週三
  1. viAct · 視覺 AI 及工地安全30

    新加坡數據中心安全:AI 基礎設施擴張下的實體風險管理

    隨着 AI 基礎設施擴張,新加坡數據中心須管理設施內日益增加的實體風險,尤其是高密度運算、空間不足及在運作中的場地進行改造工程所帶來的安全挑戰。GPU 叢集的機櫃功率密度可達 50 至 150 kW,傳統雲端配置則為 5 至 10 kW。透過 AI 影片分析,現有 CCTV 可用於偵測煙霧、未經授權進入、不安全的承包商活動及漏水等情況。

  2. AWS Machine Learning Blog66

    AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 SOCI 索引映像

    AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 Seekable OCI(SOCI)索引,透過容器映像延遲載入,讓工作數秒內啟動。SageMaker AI 先載入啟動容器所需檔案,再於程式執行期間串流其餘檔案,無須修改工作定義、入口點或資料通道。

    推薦理由:文章以不同映像大小及執行個體測試 SOCI 延遲載入,並交代首個 epoch 的額外耗時,方便評估對工作啟動時間的影響。

  3. HKT 香港電訊 · AI 平台及企業應用46

    HKT 開設 Loop 創新科技中心及 AI Exchange,支持北部都會區發展

    HKT 正式開設位於河套香港園區的創新科技中心及 AI Exchange,透過網絡基建支持北部都會區發展,並為大灣區未來跨境數據流動奠定基礎。AI Exchange 將以 3.2Tbps AI DCI Superhighway 連接香港主要數據中心集羣,支援大學、研究機構及大型企業的高效能 AI 運算應用。

10月27日週二
  1. AWS Machine Learning Blog66

    AI 智能體的「土撥鼠之日」:在 Amazon Bedrock 使用 OpenAI 模型的提示詞快取模式

    AWS 的 Claudio Mazzoni 示範如何在 Amazon Bedrock 上為 OpenAI 模型配置提示詞快取,讓智能體重用未變的上下文並降低重複輸入成本。文章比較隱式、顯式及混合快取,並示範如何處理工具清單變更、子智能體和跨工作階段重用。六輪工作負載中,GPT-6 Astra 的隱式快取令輸入成本約降低 62%,顯式滾動斷點約降低 61%。

    推薦理由:文章按靜態共享前綴、逐輪增長的對話及新增工具等情境,示範提示詞快取邊界的配置方法,並提供相應程式碼。

10月24日週六
10月23日週五
  1. AWS Machine Learning Blog60

    如何使用 Amazon Quick 在 HIPAA eligible 環境部署 AI

    AWS 提供使用 Amazon Quick 部署 AI 工作流程的指南,説明服務具 HIPAA eligible 資格並不代表整個環境自動符合 HIPAA。文章梳理 PHI 經非結構化文件及結構化數據進入服務的路徑,並涵蓋 BAA、存取控制、加密與審計日誌等治理措施。指南亦列出 KMS key、身份模型及文件層級 ACL 等部署前設定,並建議先驗證非 PHI 工作流程,再逐步擴展。

    推薦理由:文章拆解 Amazon Quick 處理 PHI 的兩條資料路徑,並整理 BAA、存取控制與審計要求,呈現服務資格和整體合規責任的界線。

  2. AWS Machine Learning Blog66

    Amazon SageMaker AI training session APIs 如何讓用戶自訂訓練迴圈而毋須管理 GPU

    AWS 為 Amazon SageMaker AI 加入 training session APIs,讓用戶以本機 Python 自訂訓練迴圈,並由服務管理 GPU 運算。

    推薦理由:文章以 GSM8K 數學題及競賽編程 RL 範例,拆解本機訓練迴圈如何組合抽樣、獎勵計算與梯度更新,並由 SageMaker 管理 GPU 執行及檢查點。

  3. AWS Machine Learning Blog64

    AWS SageMaker AI 正式推出 Serverless Training Sessions,支援自訂模型後訓練迴圈

    AWS SageMaker AI 正式推出 Serverless Training Sessions,讓用戶自訂模型後訓練迴圈、損失函數及獎勵訊號,而無需管理底層 GPU 基礎設施。

    推薦理由:Training sessions 讓團隊自訂後訓練迴圈,同時由 SageMaker AI 管理 GPU 密集運算;文中以 GRPO 説明採樣、評分和權重更新如何串接。

  4. AWS Machine Learning Blog60

    Amazon SageMaker AI 上如何以實測設定 TTS 自動擴縮容目標

    AWS 示範在 Amazon SageMaker AI 即時端點部署 Kokoro-82M,並以實測取代 TTS 自動擴縮容目標的猜測。在 ml.g5.xlarge 上,Q_max 為 50;實際擴容耗時為 260.2 秒,另計入按政策設定界定、未經本次測量的 60 秒偵測延遲,規劃 T_total 為 320.2 秒。

    推薦理由:文章以單機可承受併發量和實際擴容耗時兩項測量,推導 TTS 端點的擴縮門檻與冷卻時間,並展示 Kokoro-82M 的部署流程。

10月22日週四
  1. NVIDIA Blog41

    NVIDIA 推出 Minerva,為 AI 工廠提供端到端可觀測性

    NVIDIA 推出 AIOps 平台 Minerva,整合基礎設施與 AI 工作負載的遙測資料,協助團隊及早發現問題,提升 AI 工廠的運作效率。平台每小時分析數十億個數據點,偵測異常、預測故障並找出可能的根本原因。Minerva 已有合作夥伴計劃部署,Dell Technologies、Lenovo 和 Supermicro 亦將把它納入 AI 工廠營運產品組合。

  2. NVIDIA Blog66

    NVIDIA Cosmos 擴展工具,支援世界模型訓練、評估及部署

    NVIDIA 擴展 Cosmos 平台,加入訓練工具、模擬檢查點及 Cosmos Data Factory 藍圖,支援世界模型訓練、評估和部署。Cosmos Data Factory 提供五種雲端原生藍圖;Cosmos Framework 則支援透過微調和強化學習調適開源模型,並以知識蒸餾和量化作最佳化。

    推薦理由:文章串連數據整理、模型調適與模擬測試等更新,並列出 Porsche、ANYbotics 等企業案例,呈現 Cosmos 工具鏈在實體 AI 開發流程中的應用。

  3. AWS Machine Learning Blog61

    Deep Insight 如何解決多智能體系統的 5 項生產環境挑戰

    AWS Solutions Architecture 團隊以 Deep Insight 説明如何應對多智能體系統投入生產環境的 5 項挑戰,涵蓋執行流程、模型選擇、程式碼安全及監控。

    推薦理由:文章把多智能體生產部署拆成協作流程、模型分工、程式碼隔離和營運監控等層面,並交代各項設計採用的元件與取捨。

  4. AWS Machine Learning Blog50

    Strands Agents 自適應智能體框架的架構與實作

    AWS 示範以 Strands Agents 建構 Adaptive Agentic Intelligence Framework(AAIF),由本地 SLM 處理例行任務,並把複雜分析路由至 Amazon Bedrock。示例以 llama3.2:1b 作本地協調器,透過 Ollama 處理設備遙測與圖像分析。文章亦説明全雲端、混合及全離線部署配置,並介紹使用 MCP 伺服器集中共享工具。

  5. Hugging Face Blog49

    小型語言模型如何透過專門化詞彙,在實際應用中降低 77% 推理成本

    Hugging Face 以 VocabX 為小型語言模型專門化詞彙,在實際應用中降低 77% 推理成本,且不更改基礎模型。葡萄牙文作文評分系統以 Qwen3-4B 為基礎,輸出層詞彙列由約 152,000 縮至約 65,000,數據及訓練配方維持不變。相關數據來自仍在審閲的論文版本,發表前或會變動。