Amazon SageMaker AI 即時端點新增 KV-aware routing
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
Amazon Bedrock Managed Knowledge Base 透過 memoryConfiguration 接入 AgentCore memory,處理對話還原、相關記憶搜尋及回存。
推薦理由:文章以員工助理示範結合對話記憶與知識庫檢索,並以已驗證身份及 IAM 條件分別控制文件存取和用戶記憶隔離。
Amazon Bedrock Managed Knowledge Base 可透過檢索指令,為不同租戶設定各自的回答語氣、格式、檢索指引及回答政策。檢索指令本身不限制可檢索的文件,需配合 metadata filter 或分開的知識庫控制租戶資料存取。文章亦示範如何固定指令版本、逐租戶推出更新,並從 Planning trace 確認回應採用的指令版本。
推薦理由:文章拆解租戶指令與 metadata filter 的分工,並示範如何固定版本、追蹤回應及逐租戶推出變更,以管理指令更新。
Amazon Bedrock Managed Knowledge Base 現已支援表格搜尋,可透過 AgenticRetrieveStream 請求結合 CSV、XLSX 或 XLS 表格計算與相關文件資訊,回答分析問題。
推薦理由:文章以財務政策、結賬備忘錄及 P&L 活頁簿示範如何結合文件規則與全表計算,並透過追蹤記錄查看程式讀取的檔案。
Natera 與 AWS 使用 Amazon Bedrock AgentCore 建置 SWARM,為實驗室運維支援工單自動生成診斷報告。在 90 天生產評估中,平均首次回應時間由 17.4 小時降至約 8 分鐘,約快 130 倍;96.2% 的工單在工程師查看前收到自動診斷報告。
推薦理由:文章拆解 SWARM 的雙運行時、技能庫、資料管線與持續評估設計,並提供實驗室工單自動診斷的實測數據,呈現一套可參考的運維智能體建置路徑。
Amazon Bedrock Managed Knowledge Base 的示例架構以已驗證用戶身份,限制共用 AI 智能體對內部文件的搜尋。AgentCore Gateway 的請求攔截器會從已驗證的 JWT 注入用戶的 userContext,知識庫再透過 ACL awareness 篩選搜尋結果。
推薦理由:文章拆解共享智能體與知識庫下的多層存取控制,展示如何以已驗證身份限制搜尋,並防範提示詞注入及繞過閘道的直接呼叫。
Amazon Bedrock Managed Knowledge Base 現透過 AgenticRetrieveStream 支援單次 RAG、純檢索及智能體檢索,並可按 maxAgentIteration 設定檢索流程。
推薦理由:文章對照 maxAgentIteration 不同取值下的檢索與生成流程,並交代規劃輪數和模型呼叫差異,便於按問題複雜度及延遲需求選擇模式。
AWS Machine Learning Blog 示範以 Python AWS CDK,在 Managed Amazon Bedrock Knowledge Base 上構建跨兩個知識庫的智能體檢索系統。
推薦理由:文章展示如何用 CDK 管理跨堆疊依賴,並把跨知識庫檢索、追蹤與評估一併部署,提供企業檢索系統的實作路徑。
Bayer Crop Science 基於 Amazon Bedrock AgentCore 建構 Agentic Decision Engine(ADE),作為 Connected Decision Engine(CDE)的多智能體自然語言介面,讓用戶查詢工作流程狀態、結果、模型行為及故障。
推薦理由:文章整理 ADE 從設計到投產的關鍵工程取捨,涵蓋狀態持久化、身份與工具權限、任務級監測及成本歸因,提供多智能體系統落地的具體參照。
NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。
推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。
Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。
推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。
DeepSeek 本週更新 V4.1 Flash 1017,並推出 Search & Fetch API,文章將兩者視為模型推理與網頁搜尋兩線價格競爭的一部分。
推薦理由:文章把 V4.1 Flash 1017 的模型成本與 Search & Fetch API 定價並列,呈現 DeepSeek 如何從模型推理和網頁搜尋兩端改變 AI 開發者的成本結構。
Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。
推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。
Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。
推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。
Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。
推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。
LlamaIndex 在 OpenAI Developer Day 當日為其程式庫加入對兩款新模型及多項 OpenAI 功能的支援。
推薦理由:文章列出 LlamaIndex 對新模型、Azure endpoints、嵌入向量抽象層及函數調用的支援,並附模型調用程式例子,呈現這次更新涵蓋的整合範圍。
AWS 介紹並部署 Adjudicated Query 模式,讓 Amazon Quick 的自然語言合規查詢透過固定 MCP 操作交由確定性規則引擎判定,而非由模型作出決策。
推薦理由:文章把自然語言查詢與合規判定分開,並以完整性收據和逐筆證據鏈展示如何核對大量檢查結果。
Mistral 推出 Agentic Search,讓模型透過多步檢索搜尋、查看、導覽及核實複雜文件中的資料。在 FinanceBench 金融文件測試中,正確率由 26.7% 升至 86%;OfficeQA Pro 表格密集的多文件問題則由 6.3% 升至 51.9%。
推薦理由:FinanceBench 和 OfficeQA Pro 的基準數據呈現 Agentic Search 相較單次 RAG 的準確率提升,也量化延遲與 token 使用量變化。
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
IBM Granite 發佈兩款採 Apache 2.0 授權的多語嵌入模型:97M 參數的 granite-embedding-97m-multilingual-r2 和 311M 參數的 granite-embedding-311m-multilingual-r2。
推薦理由:文章提供 97M 與 311M 版本在多語檢索、長文及程式碼基準的比較,並交代 Matryoshka 維度選項對儲存與部署取捨的影響。