Amazon SageMaker Inference 回顧 2026 年 14 項更新(第二部分)
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。
推薦理由:EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。
Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。
推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。
Google DeepMind 發佈 Gemini 4 Neon,面向複雜軟件工程、知識工作及科學工作流程,主打快速端到端任務處理。它在 Artificial Analysis Intelligence Index 的 xhigh thinking level 排名第 3、得分 61,並在 Vals Index 排名第 2、得分 70.9%。
推薦理由:Gemini 4 Neon 同時面向編碼、企業分析、科學工作與網絡安全,並列出多項基準成績及不同思考層級的成本比較,呈現能力與效率的取捨。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
AWS 為 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo 託管支援,涵蓋多節點部署、分離式 prefill 與 decode 推理。
推薦理由:文章對照兩種部署路徑,並以 Qwen3-235B 基準呈現分離式 prefill 與 decode 在指定服務門檻下,最高吞吐量達聚合式的 2.05×。
OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。
推薦理由:材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。
AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。
推薦理由:文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。
AWS Machine Learning Blog 提出一套在 Amazon Bedrock 上按任務而非 token 核算成本、優化智能體支出及衡量投資回報的方法。
推薦理由:文章把每項任務成本、成功率與人工投入納入同一評估框架,並説明如何以人類基線和 holdout 測試核算智能體投資回報。
Google DeepMind 發佈 Gemini 4 Hydrogen,主打日常編碼及智能體工作流程中的快速執行,並即日起在開發者、企業及消費者產品渠道全球推出。
推薦理由:文章以 Gemini 3.8 Flash 為對照,列出 Hydrogen 在任務速度、Terminal-Bench 4.1 成績及多項安全指標上的變化,呈現更新涵蓋的能力範圍。
Google DeepMind 開放 Gemini 4 Carbon,供開發者、企業、科學家及一般用戶使用,並定位為面向複雜知識工作、軟件工程及科學推理的前沿模型。
推薦理由:文章列出 Gemini 4 Carbon 在多項工作流程基準的排名及相對成本,並交代付費開發者和企業的使用入口,呈現其產品定位與採用條件。
Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。
推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。
Amazon SageMaker Inference 現支援 NVIDIA Multi-Instance GPU(MIG)分區,讓多個模型可在同一 GPU 上獲得硬件隔離。
推薦理由:文章以 H100 的 mig-3g.40gb 對比完整 A100,呈現 GPU 分區的效能與成本差異如何隨流量形態改變。
Mistral AI 發佈改進版 Mistral Large 4(Le Chonk)的開放權重;這款 1-trillion-parameter 原生多模態模型提升了編碼、防禦性網絡安全及推理效率。
推薦理由:文章把編碼基準成績與 tokens 使用效率並列,並交代開放權重模型的自託管及企業託管服務選項,呈現能力比較與部署方式。
Ai2 發佈《Old Ideas, Novel Problems》研究及基準,發現大語言模型判斷研究構想新穎性的結果會因評估設定而大幅變動。以 GPT-5.4 評估人類與 AI 生成構想的配對時,僅更改提示詞便令準確率由 93.5% 降至 40.9%,並改變逾半配對的判斷。
推薦理由:研究從 ICLR 2026 評審中抽取明確談及原創性的案例,建立可比較人類與 AI 生成構想的基準,呈現提示詞變動對評估結果的影響。
OpenAI、PerturbAI 與 Scripps Research 使用由 GPT‑Rosalind 驅動的數千個 AI 智能體,在 32 分鐘內分析數百萬個小鼠腦細胞的既有實驗數據,找出可供後續研究的生物學線索。
推薦理由:以小鼠腦細胞數據展示分佈式智能體如何串連基因擾動結果與科學文獻,並以單一智能體和盲評比較其分析廣度。
PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。
推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。
Reflection 在 Hugging Face 發佈開源模型 Beam,採用 501B 參數 MoE 架構,每個 token 啟用 23B 參數,支援 1M tokens 上下文窗口。
推薦理由:文章詳列不同精度檢查點的硬件配置與評測,並附推理及微調配方,呈現自行部署這個 501B 模型的資源要求。
Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。
推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。
Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。
推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。