AWS 分散式 KV 快取 Agent Skill 助自託管 LLM 降低成本與延遲
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
AWS 的 Agent Toolkit for AWS 提供分散式 KV 快取 Skill,可由編碼智能體協助評估及設定自託管 LLM 共享快取。Amazon ElastiCache 的分散式 KV 快取可將自託管 LLM 推理成本最多降低 40%,並將首個 token 時間(TTFT)最多縮短 80%。
OpenAI 推出 MedChemBench,評估 AI 模型能否結合分子結構與實驗證據,解釋結果、比較化合物並預測性質。基準包含來自 117 篇論文和專利的 99 道題目及 761 種分子結構;在 xhigh 設定下,GPT‑6.2 Astra 得分為 84.5%。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。
NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。
推薦理由:EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。
Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。
推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
Amazon SageMaker JumpStart 在 SageMaker Studio 推出 Model Leaderboard,讓用戶並列比較模型品質、速度和估算成本。
Google DeepMind 發佈 Gemini 4 Neon,面向複雜軟件工程、知識工作及科學工作流程,主打快速端到端任務處理。它在 Artificial Analysis Intelligence Index 的 xhigh thinking level 排名第 3、得分 61,並在 Vals Index 排名第 2、得分 70.9%。
推薦理由:Gemini 4 Neon 同時面向編碼、企業分析、科學工作與網絡安全,並列出多項基準成績及不同思考層級的成本比較,呈現能力與效率的取捨。
RadixArk 發佈其首個模型 DaisyRose-27B;該模型基於 Qwen3.8-27B,以強化學習訓練,Terminal-Bench 4.1 的 pass@1 從 5.6% 升至 12.0%。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
AWS 為 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo 託管支援,涵蓋多節點部署、分離式 prefill 與 decode 推理。
推薦理由:文章對照兩種部署路徑,並以 Qwen3-235B 基準呈現分離式 prefill 與 decode 在指定服務門檻下,最高吞吐量達聚合式的 2.05×。
OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。
推薦理由:材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。
OpenTSLM-Flamingo 現已可在 Amazon SageMaker JumpStart 部署,文章示範如何以數值時間序列和文字上下文進行推理。
AWS 示範如何透過 Amazon SageMaker JumpStart 部署 OpenFold3-preview(OpenFold3 0.4.1),以非同步推理預測蛋白質、DNA、RNA、小分子配體及其複合物的三維結構。
研究團隊推出 XYBench,以 8,115 個真實問題評估 AI 助手能否識別用戶的錯誤假設,並回應其實際目標。在 Stack Overflow 子集中,五個受測模型提供原始請求解法的比例為 75–86%,提供底層目標解法的比例為 59–71%;回答主要聚焦底層目標的比例為 35–41%。
AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。
推薦理由:文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。
AWS Machine Learning Blog 提出一套在 Amazon Bedrock 上按任務而非 token 核算成本、優化智能體支出及衡量投資回報的方法。
推薦理由:文章把每項任務成本、成功率與人工投入納入同一評估框架,並説明如何以人類基線和 holdout 測試核算智能體投資回報。
Google DeepMind 發佈 Gemini 4 Hydrogen,主打日常編碼及智能體工作流程中的快速執行,並即日起在開發者、企業及消費者產品渠道全球推出。
推薦理由:文章以 Gemini 3.8 Flash 為對照,列出 Hydrogen 在任務速度、Terminal-Bench 4.1 成績及多項安全指標上的變化,呈現更新涵蓋的能力範圍。
開源引擎 semi-persistent 以 anti-unification 比較形式化政策,合併共享結構,並用 Variants 節點標示分歧。
Google DeepMind 開放 Gemini 4 Carbon,供開發者、企業、科學家及一般用戶使用,並定位為面向複雜知識工作、軟件工程及科學推理的前沿模型。
推薦理由:文章列出 Gemini 4 Carbon 在多項工作流程基準的排名及相對成本,並交代付費開發者和企業的使用入口,呈現其產品定位與採用條件。
Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。
推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。
OpenAI 建立並已在研究基礎設施部署 Control Room,集中追蹤模型工作負載,並可在出現安全或保安疑慮時停止模型輸出。收到停止指令後,系統最多需 35 秒阻止工作繼續產生輸出;若 Control Room 服務故障,推理請求會一律被拒絕,直至服務恢復。
Amazon SageMaker Inference 現支援 NVIDIA Multi-Instance GPU(MIG)分區,讓多個模型可在同一 GPU 上獲得硬件隔離。
推薦理由:文章以 H100 的 mig-3g.40gb 對比完整 A100,呈現 GPU 分區的效能與成本差異如何隨流量形態改變。
Runway 發表研究,拆解 Characters 如何為約 57B 參數的影片擴散 Transformer 提供即時對話服務。在四張 H100 上,優化把每步耗時由 240.9ms 降至 159.3ms(24.5 fps),加入融合 kernel 後進一步降至 147.4ms。
StateBench 是研究團隊推出的長上下文基準,分四個複雜度級別評估語言模型追蹤文件內實體狀態變化的能力。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在較難的 soluble 和 general finite 任務上,準確率隨輸入變長而大幅下跌,最長 general finite 測試降至 13% 或以下。
Mistral AI 發佈改進版 Mistral Large 4(Le Chonk)的開放權重;這款 1-trillion-parameter 原生多模態模型提升了編碼、防禦性網絡安全及推理效率。
推薦理由:文章把編碼基準成績與 tokens 使用效率並列,並交代開放權重模型的自託管及企業託管服務選項,呈現能力比較與部署方式。
Ai2 發佈《Old Ideas, Novel Problems》研究及基準,發現大語言模型判斷研究構想新穎性的結果會因評估設定而大幅變動。以 GPT-5.4 評估人類與 AI 生成構想的配對時,僅更改提示詞便令準確率由 93.5% 降至 40.9%,並改變逾半配對的判斷。
推薦理由:研究從 ICLR 2026 評審中抽取明確談及原創性的案例,建立可比較人類與 AI 生成構想的基準,呈現提示詞變動對評估結果的影響。
Granite Timeseries Ensemble 組合四款預訓練 Granite 時間序列模型,輸出中位數及分位數預測,無需重新訓練或擬合 ensemble 權重。
OpenAI、PerturbAI 與 Scripps Research 使用由 GPT‑Rosalind 驅動的數千個 AI 智能體,在 32 分鐘內分析數百萬個小鼠腦細胞的既有實驗數據,找出可供後續研究的生物學線索。
推薦理由:以小鼠腦細胞數據展示分佈式智能體如何串連基因擾動結果與科學文獻,並以單一智能體和盲評比較其分析廣度。
這篇教學示範如何在 AWS Trainium 上使用 torch.profiler 和 Neuron Explorer 分析 TorchNeuron 推理效能,追蹤運算由框架派發、runtime 排程至硬件執行的耗時。
Terminal X 的 Eval Agent 使用 GPT-6.1 Sol,在 500 項評分判斷中與資深人類審核者的一致率為 88.6%。Eval Agent 按 54 項準則評分;相較次佳模型,GPT-6.1 Sol 多識別約 25% 偏離基金投資授權的建議,同一工作流程每次查詢成本低約 30%。
i14 與 AWS 使用 TorchNeuron Native 的原生 PyTorch 支援,在 AWS Trainium2 上訓練及推理 Laplace 3B,保留 Gated Linear Attention(GLA)架構。
AWS 作者展示在 Amazon SageMaker HyperPod 上微調 GPT-OSS-20B,50 個測試案例中的指定語言推理正確率由基礎模型的 22% 升至 SFT 後的 100%。
AWS 説明加拿大用戶如何透過 Amazon Bedrock 跨區域推理,存取 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 Sol。
PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。
推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。
vLLM 的 push-based NIXL connector 透過預先註冊 decode 端 KV 區塊,並將傳輸準備移至背景執行緒,改善分離式推理的 TTFT 與 TPOT。
Reflection 在 Hugging Face 發佈開源模型 Beam,採用 501B 參數 MoE 架構,每個 token 啟用 23B 參數,支援 1M tokens 上下文窗口。
推薦理由:文章詳列不同精度檢查點的硬件配置與評測,並附推理及微調配方,呈現自行部署這個 501B 模型的資源要求。
OpenAI 推出 Rosalind Academic Plan,供美國大學合資格學術實驗室申請 GPT‑Rosalind 使用權。獲批實驗室最多可為30名具名成員提供 Business Standard 席位,費用為每人每月 $0,期限最長12個月;GPT‑Rosalind 須經 trusted-access 審批。
Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。
推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。
Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。
推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。