跳到正文
目前篩選:一手
  1. AWS Machine Learning Blog69

    Amazon SageMaker AI 即時端點新增 KV-aware routing

    Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。

    推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。

  1. AWS Machine Learning Blog64

    Amazon Bedrock Managed Knowledge Base 如何按租戶自訂回答

    Amazon Bedrock Managed Knowledge Base 可透過檢索指令,為不同租戶設定各自的回答語氣、格式、檢索指引及回答政策。檢索指令本身不限制可檢索的文件,需配合 metadata filter 或分開的知識庫控制租戶資料存取。文章亦示範如何固定指令版本、逐租戶推出更新,並從 Planning trace 確認回應採用的指令版本。

    推薦理由:文章拆解租戶指令與 metadata filter 的分工,並示範如何固定版本、追蹤回應及逐租戶推出變更,以管理指令更新。

  2. AWS Machine Learning Blog69

    Amazon Bedrock Managed Knowledge Base 支援表格搜尋

    Amazon Bedrock Managed Knowledge Base 現已支援表格搜尋,可透過 AgenticRetrieveStream 請求結合 CSV、XLSX 或 XLS 表格計算與相關文件資訊,回答分析問題。

    推薦理由:文章以財務政策、結賬備忘錄及 P&L 活頁簿示範如何結合文件規則與全表計算,並透過追蹤記錄查看程式讀取的檔案。

  1. AWS Machine Learning Blog63

    Natera 如何以 Amazon Bedrock AgentCore 設計實驗室運維智能體系統

    Natera 與 AWS 使用 Amazon Bedrock AgentCore 建置 SWARM,為實驗室運維支援工單自動生成診斷報告。在 90 天生產評估中,平均首次回應時間由 17.4 小時降至約 8 分鐘,約快 130 倍;96.2% 的工單在工程師查看前收到自動診斷報告。

    推薦理由:文章拆解 SWARM 的雙運行時、技能庫、資料管線與持續評估設計,並提供實驗室工單自動診斷的實測數據,呈現一套可參考的運維智能體建置路徑。

  2. AWS Machine Learning Blog66

    Amazon Bedrock Managed Knowledge Base 工具如何實作細粒度存取控制

    Amazon Bedrock Managed Knowledge Base 的示例架構以已驗證用戶身份,限制共用 AI 智能體對內部文件的搜尋。AgentCore Gateway 的請求攔截器會從已驗證的 JWT 注入用戶的 userContext,知識庫再透過 ACL awareness 篩選搜尋結果。

    推薦理由:文章拆解共享智能體與知識庫下的多層存取控制,展示如何以已驗證身份限制搜尋,並防範提示詞注入及繞過閘道的直接呼叫。

  1. AWS Machine Learning Blog60

    Amazon Bedrock Managed Knowledge Base 支援單次 RAG、智能體檢索及純檢索模式

    Amazon Bedrock Managed Knowledge Base 現透過 AgenticRetrieveStream 支援單次 RAG、純檢索及智能體檢索,並可按 maxAgentIteration 設定檢索流程。

    推薦理由:文章對照 maxAgentIteration 不同取值下的檢索與生成流程,並交代規劃輪數和模型呼叫差異,便於按問題複雜度及延遲需求選擇模式。

  1. AWS Machine Learning Blog62

    AWS CDK 如何在 Managed Amazon Bedrock Knowledge Base 上構建智能體檢索

    AWS Machine Learning Blog 示範以 Python AWS CDK,在 Managed Amazon Bedrock Knowledge Base 上構建跨兩個知識庫的智能體檢索系統。

    推薦理由:文章展示如何用 CDK 管理跨堆疊依賴,並把跨知識庫檢索、追蹤與評估一併部署,提供企業檢索系統的實作路徑。

  1. AWS Machine Learning Blog63

    Bayer Crop Science 如何透過 Amazon Bedrock AgentCore 與 AWS Unified Operations 建構 Agentic Decision Engine(ADE)

    Bayer Crop Science 基於 Amazon Bedrock AgentCore 建構 Agentic Decision Engine(ADE),作為 Connected Decision Engine(CDE)的多智能體自然語言介面,讓用戶查詢工作流程狀態、結果、模型行為及故障。

    推薦理由:文章整理 ADE 從設計到投產的關鍵工程取捨,涵蓋狀態持久化、身份與工具權限、任務級監測及成本歸因,提供多智能體系統落地的具體參照。

  1. Hugging Face Blog62

    NVIDIA 擴展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse

    NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。

    推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。

  2. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

  1. Hugging Face Blog60

    Granite Switch 4.1 推出 8B、30B 版本,單一端點整合對話、決策與語音轉文字

    Granite Switch 4.1 發佈 8B 和 30B 模型,讓對話、通用及專項決策與語音轉文字可透過同一個託管端點處理。兩款模型整合 Decision aLoRA、Guardian aLoRA 和 Granite-Speech-5.0-Turbo-CTC,合併後佔用的 GPU VRAM 約與基礎模型單獨運行相若,且可重用基礎模型生成的 KV cache。

    推薦理由:文章呈現以 aLoRA 組合通用及專項決策與語音辨識的方法,並交代共用 KV cache 如何使多項能力維持接近基礎模型的 GPU VRAM 佔用。

  1. AWS Machine Learning Blog60

    Postman 如何在 Amazon Bedrock 上為 40 million 名開發者運行 Agent Mode

    Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。

    推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。

  1. Google DeepMind70

    Google DeepMind 發佈開放、輕量級多模態嵌入模型 EmbeddingGemma 2

    Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。

    推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。

  1. AWS Machine Learning Blog69

    使用 Amazon Quick 與 Adjudicated Query 模式,對數萬份租約進行合規掃描

    AWS 介紹並部署 Adjudicated Query 模式,讓 Amazon Quick 的自然語言合規查詢透過固定 MCP 操作交由確定性規則引擎判定,而非由模型作出決策。

    推薦理由:文章把自然語言查詢與合規判定分開,並以完整性收據和逐筆證據鏈展示如何核對大量檢查結果。

  1. Mistral AI68

    Mistral 推出 Agentic Search,以多步檢索提升準確率並降低延遲和 token 使用量

    Mistral 推出 Agentic Search,讓模型透過多步檢索搜尋、查看、導覽及核實複雜文件中的資料。在 FinanceBench 金融文件測試中,正確率由 26.7% 升至 86%;OfficeQA Pro 表格密集的多文件問題則由 6.3% 升至 51.9%。

    推薦理由:FinanceBench 和 OfficeQA Pro 的基準數據呈現 Agentic Search 相較單次 RAG 的準確率提升,也量化延遲與 token 使用量變化。

  1. Mistral AI60

    Mistral OCR 4 發佈,新增文件區塊定位、分類與信心分數

    Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。

    推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。

  1. Hugging Face Blog66

    Sentence Transformers v5.4 多模態嵌入與 Reranker 模型使用指南

    Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。

    推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。

  1. Hugging Face Blog67

    Google 發佈 EmbeddingGemma 多語言嵌入模型

    Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。

    推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。