AWS 與 Accenture 分享 Amazon Bedrock 六項 AI 成本優化措施及實施次序
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
AWS 與 Accenture 提出在 Amazon Bedrock 透過三個階段的六項措施優化 token 開支,並先用成本分攤標籤追蹤各團隊、工作負載及 Agent 的消耗。
AWS 文章示範如何在 Amazon Aurora PostgreSQL 上設計負責任 AI 控制措施,並以 RAG 客戶支援聊天機械人深入實作可解釋性。文章將 AWS Responsible AI 八個維度對應至資料庫及相關 AWS 服務,並把檢索區塊 ID、相似度分數、實際引用來源和 Guardrails 追蹤記錄至資料庫,建立可查詢的審計軌跡。
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
Novo Nordisk 製造技術團隊利用 Amazon Bedrock AgentCore 建立製程智能助理,結合知識圖譜與混合搜尋,為受規管製造文件提供有引文支持的答案。
Amazon Bedrock Managed Knowledge Base 透過 memoryConfiguration 接入 AgentCore memory,處理對話還原、相關記憶搜尋及回存。
推薦理由:文章以員工助理示範結合對話記憶與知識庫檢索,並以已驗證身份及 IAM 條件分別控制文件存取和用戶記憶隔離。
Amazon Bedrock Managed Knowledge Base 可透過檢索指令,為不同租戶設定各自的回答語氣、格式、檢索指引及回答政策。檢索指令本身不限制可檢索的文件,需配合 metadata filter 或分開的知識庫控制租戶資料存取。文章亦示範如何固定指令版本、逐租戶推出更新,並從 Planning trace 確認回應採用的指令版本。
推薦理由:文章拆解租戶指令與 metadata filter 的分工,並示範如何固定版本、追蹤回應及逐租戶推出變更,以管理指令更新。
Amazon Bedrock Managed Knowledge Base 現已支援表格搜尋,可透過 AgenticRetrieveStream 請求結合 CSV、XLSX 或 XLS 表格計算與相關文件資訊,回答分析問題。
推薦理由:文章以財務政策、結賬備忘錄及 P&L 活頁簿示範如何結合文件規則與全表計算,並透過追蹤記錄查看程式讀取的檔案。
Natera 與 AWS 使用 Amazon Bedrock AgentCore 建置 SWARM,為實驗室運維支援工單自動生成診斷報告。在 90 天生產評估中,平均首次回應時間由 17.4 小時降至約 8 分鐘,約快 130 倍;96.2% 的工單在工程師查看前收到自動診斷報告。
推薦理由:文章拆解 SWARM 的雙運行時、技能庫、資料管線與持續評估設計,並提供實驗室工單自動診斷的實測數據,呈現一套可參考的運維智能體建置路徑。
AWS 在 Agent Toolkit for AWS 的 amazon-bedrock skill 加入知識庫遷移指南,協助團隊使用編碼智能體將客戶管理的 Amazon Bedrock 知識庫遷移至 Amazon Bedrock Managed Knowledge Base。
Amazon Bedrock Managed Knowledge Base 的示例架構以已驗證用戶身份,限制共用 AI 智能體對內部文件的搜尋。AgentCore Gateway 的請求攔截器會從已驗證的 JWT 注入用戶的 userContext,知識庫再透過 ACL awareness 篩選搜尋結果。
推薦理由:文章拆解共享智能體與知識庫下的多層存取控制,展示如何以已驗證身份限制搜尋,並防範提示詞注入及繞過閘道的直接呼叫。
AWS 介紹其自 2023 年起發布的 23 個開源生成式 AI 可重用資產,並示範如何選用、評估及部署 Contact Center GenAI Agent。示範流程包括部署兩個 AWS CloudFormation 範本及整合 Amazon Connect,需時不到一小時。Ricoh 案例中,每次部署的工程工時由 80 小時降至不足 5 小時。
Amazon Bedrock Managed Knowledge Base 現透過 AgenticRetrieveStream 支援單次 RAG、純檢索及智能體檢索,並可按 maxAgentIteration 設定檢索流程。
推薦理由:文章對照 maxAgentIteration 不同取值下的檢索與生成流程,並交代規劃輪數和模型呼叫差異,便於按問題複雜度及延遲需求選擇模式。
Amazon 團隊在 Amazon ECS Fargate 上構建無伺服器 MCP 伺服器,作為 AI 智能體連接企業資料湖的集中式閘道。新增資料集只需提供描述結構、業務背景及欄位語義的 JSON 元資料檔,索引後即可供已連接的智能體使用,伺服器則在 MCP 層集中執行存取控制。
Taxbit 在 Amazon Bedrock AgentCore 上構建 Taxbit Assist,讓合規團隊可在產品儀錶板使用附有來源連結、並按用戶角色及組織權限提供答案的 AI 助手。
AWS 示範以 Crawl4AI 預備授權公開網頁內容並匯入 Amazon Bedrock Knowledge Bases 的定時工作流程。一般公開網站可先用 Amazon Bedrock Web Crawler;需要篩選頁面主體、清除樣板內容或附加自訂中繼資料時,則可用 Crawl4AI。
AWS Machine Learning Blog 示範以 Python AWS CDK,在 Managed Amazon Bedrock Knowledge Base 上構建跨兩個知識庫的智能體檢索系統。
推薦理由:文章展示如何用 CDK 管理跨堆疊依賴,並把跨知識庫檢索、追蹤與評估一併部署,提供企業檢索系統的實作路徑。
Bayer Crop Science 基於 Amazon Bedrock AgentCore 建構 Agentic Decision Engine(ADE),作為 Connected Decision Engine(CDE)的多智能體自然語言介面,讓用戶查詢工作流程狀態、結果、模型行為及故障。
推薦理由:文章整理 ADE 從設計到投產的關鍵工程取捨,涵蓋狀態持久化、身份與工具權限、任務級監測及成本歸因,提供多智能體系統落地的具體參照。
IskayPet 以 Amazon Bedrock Managed Knowledge Bases 建立企業知識助理,整合分散於 SharePoint 的營運資料,讓員工以自然語言查詢。助理支援四種語言及三個國家,按文件權限檢索並提供來源引用;託管 RAG 免除自行管理向量資料庫、嵌入向量及資料擷取流程。團隊使用 Kiro 和 Claude Haiku 4.5 建構整套方案。
NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。
推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。
Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。
推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。
Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。
推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。
AWS 團隊示範以 Amazon Bedrock AgentCore 建置智能體系統,根據企業文件生成 PowerPoint 簡報。以 90 頁 Amazon 2024 Annual Report PDF 進行的內部測試中,系統生成 6 頁簡報需 70–90 秒,模型呼叫成本約 $0.04(us-east-1,撰文時)。
Orca Security 在 Amazon Bedrock 上建構 Discovery AI,將自然語言問題轉換為 Sonar 查詢,並已在生產環境每日處理數千次查詢。相較初始基準,輸入 token 減少 93%、查詢成本降低 90%,端到端延遲由約 60 秒降至 15 秒。系統結合 RAG 範例檢索、Cohere Rerank 3.5、按階段分配模型,以及專家持續標註。
AWS 示範使用多節點 Ray LLM Deep Learning Containers,在 Amazon EKS 將單一大型語言模型部署至兩個 GPU 節點,由兩個節點分別執行 prefill 與 decode,並透過單一 OpenAI 相容端點提供服務。
Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。
推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。
Amazon Quick 與 Amazon Bedrock Knowledge Bases 加入查詢時即時 ACL 核驗,直接向權威資料來源確認用戶的文件存取權限。系統先以索引中已儲存的 ACL 篩選候選文件,再於查詢時核實權限,只把獲授權的文件段落交予 LLM。AWS 表示,用戶存取權被撤銷後,變更會在短時間內反映於 AI 回應,而非等候數小時或數天。
Qlik 利用 Amazon Bedrock 構建 Qlik Answers,讓企業員工以自然語言提問,並從知識庫、即時分析應用、詞彙表或文件取得附有來源的答案。
Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。
推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。
AWS 教程示範如何在航空應用程式中,以 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 建立語音旅遊禮賓服務。
AWS 文章示範如何以 LangChain 在 Amazon Bedrock Knowledge Bases 建立 RAG 應用,並比較標準檢索與 Agentic retrieval 處理多部分問題的方式。
AWS 介紹並部署 Adjudicated Query 模式,讓 Amazon Quick 的自然語言合規查詢透過固定 MCP 操作交由確定性規則引擎判定,而非由模型作出決策。
推薦理由:文章把自然語言查詢與合規判定分開,並以完整性收據和逐筆證據鏈展示如何核對大量檢查結果。
Ai2 開源 AstaBrief 8B,這款模型可把研究問題和檢索到的文獻摘錄生成帶引用報告,並已在 Asta 的 Generate a report 功能中提供 Fast mode。
NeoMME 推出 260M 和 800M 兩種規模的多語言多模態編碼器,並提供用於視覺文件檢索的 NeoMME-Retriever。模型從零開始以單一雙向 Transformer 處理文字 token 和原始圖像 patch;NeoMME-Retriever 單次前向傳播可輸出密集與 late-interaction 嵌入向量。
Mistral 推出 Agentic Search,讓模型透過多步檢索搜尋、查看、導覽及核實複雜文件中的資料。在 FinanceBench 金融文件測試中,正確率由 26.7% 升至 86%;OfficeQA Pro 表格密集的多文件問題則由 6.3% 升至 51.9%。
推薦理由:FinanceBench 和 OfficeQA Pro 的基準數據呈現 Agentic Search 相較單次 RAG 的準確率提升,也量化延遲與 token 使用量變化。
ClusterTech 在 LEAP East 2026 的 HKSTP 展館展示 PRISMA 及 CHESS,涵蓋企業 AI 智能體與高效能運算管理方案。PRISMA 運用大語言模型(LLM)及檢索增強生成(RAG),提供安全且可自訂的智能方案;CHESS 則是 ClusterTech 自行開發的高效能運算管理平台。
AI CRM 系統結合預測分析、生成式 AI 和自動化,協助企業識別高意向潛客、預警客戶流失,並生成情境化跟進內容。SleekFlow 作為 AI 智能通訊層,支援 WhatsApp 與 HubSpot 或 Salesforce 雙向同步,並提供對話摘要、情境化回覆及多代理架構。
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
Google 在 Gemini Enterprise Agent Platform 推出由 Agentic RAG 驅動的 Cross-Corpus Retrieval 公開預覽,透過多智能體規劃、路由及充分上下文檢查,迭代搜尋跨來源資料。
Mistral AI 發佈開源 Search Toolkit 公開預覽版,將資料匯入、檢索與評估整合為共享介面的 AI 搜索框架。它內置 BM25 稀疏檢索、基於嵌入向量的密集檢索及混合檢索,並提供 recall、precision、MRR 和 NDCG 指標,可在自有測試集評估。框架可在雲端、本地部署及邊緣環境運行,並提供 starter app template。
PaddleOCR 3.5 為支援的 OCR 與文件解析模型加入 Transformers 推理後端,開發者可透過 `engine` 參數選擇。`engine_config` 可設定 dtype、裝置配置及 attention implementation;若優先考慮 OCR 或文件解析吞吐量,文章通常建議使用預設的 paddle_static 後端。