企業的記憶應比 AI 模型更長久
企業應自行掌握可跨供應商延續的工作脈絡,讓記錄、權限和未完成工作不會因更換 AI 模型而失去可用性。模型更換成本不只涉及生成模型,還包括嵌入模型變更後重建索引、微調模型退役,以及重新驗證提示詞和工具行為。文章建議保留可還原的來源資料與權威記錄,並透過匯出還原演練和評測套件,測試替代供應商能否延續工作流程。
企業應自行掌握可跨供應商延續的工作脈絡,讓記錄、權限和未完成工作不會因更換 AI 模型而失去可用性。模型更換成本不只涉及生成模型,還包括嵌入模型變更後重建索引、微調模型退役,以及重新驗證提示詞和工具行為。文章建議保留可還原的來源資料與權威記錄,並透過匯出還原演練和評測套件,測試替代供應商能否延續工作流程。
Redpine 宣佈與多家出版商建立內容合作,透過授權讓 AI 智能體經 API 和 MCP 存取逾 20 million 篇經同行評審論文。Redpine Science 提供論文全文和表格,檢索段落附有 DOI 及頁碼,產品頁列明定價為 $1 per 1,000 tokens,無預付訂閲費。
Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。
推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。
Sakana AI 的日語大型語言模型 Sakana Namazu 已獲採用,整合至醫療 AI 公司 Iris 提供的醫師證據搜尋工具 Evidence Finder。
Cartesia 説明,Voice AI 評估應按各項檢測事件分別報告精確率(precision)和召回率(recall),不能只依賴 accuracy。文章以 VAD、turn_start 和 turn_end 為例,指出應先界定目標事件及誤報、漏報,再按錯誤成本選擇指標和閾值。
Perplexity 發佈 pplx-embed-v2-late,包含 0.6B 與 9B 兩款 ColBERT-style 多模態嵌入模型,可檢索文字、圖像及 PDF 頁面渲染圖,並共用嵌入空間。
HPE 公佈首批 ProLiant Gen 13 伺服器,面向企業 AI 推理及智能體工作負載,並加強運算、記憶體、網絡、安全及管理能力。四款系統均採用 AMD 6th Gen Epyc 9006 SP7「Venice」CPU;DL585a 預計於 March 2027 推出,DL525 則於下月推出。iLO 8 加入硬件儲存加密及多方授權等安全功能。
Docker Agent 是一款 Docker CLI 插件,可透過聲明式 YAML 配置建立及運行 AI 智能體,並支援多智能體協作。它可使用內置工具或連接本地、遠端及基於 Docker 的 MCP 伺服器,並提供 BM25、嵌入向量、混合搜尋及重排等 RAG 檢索選項。
Amazon Quick 與 Amazon Bedrock Knowledge Bases 加入查詢時即時 ACL 核驗,直接向權威資料來源確認用戶的文件存取權限。系統先以索引中已儲存的 ACL 篩選候選文件,再於查詢時核實權限,只把獲授權的文件段落交予 LLM。AWS 表示,用戶存取權被撤銷後,變更會在短時間內反映於 AI 回應,而非等候數小時或數天。
Qlik 利用 Amazon Bedrock 構建 Qlik Answers,讓企業員工以自然語言提問,並從知識庫、即時分析應用、詞彙表或文件取得附有來源的答案。
UNREAL 提出模型原生的證據選擇框架,以單一機制涵蓋語料庫檢索與長上下文推理,並新增少於 500K 個可訓練參數,保持骨幹模型不變。在包含 3B 個 token、21M 個文本區塊的 Wikipedia 索引上,四種密集及混合式骨幹模型均勝過最先進的檢索器—重排序器系統;最佳模型在 HotpotQA 的召回率由 49.1% 提升至 73.2%。
Google 推出 EmbeddingGemma 2,將 EmbeddingGemma 的嵌入能力由文字擴展至程式碼、圖像、影片和音訊,並把不同內容映射至同一嵌入空間。
Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。
推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。
智能體檢索透過 ReAct 智能體迴圈,結合大語言模型的推理能力與檢索器探索語料的效率,以應付複雜檢索任務。使用相同嵌入模型時,它較標準檢索的 nDCG@10 高 8.7 分,並在 ViDoRe v3 和 BRIGHT 排行榜取得具競爭力的結果。代價是每次查詢平均需時 107.4 秒,消耗 764.1K 個輸入 token 和 5.8K 個輸出 token;標準檢索平均需時 0.67 秒。
這份選購指南比較六款 OCR 文件管理方案:LlamaParse、ABBYY FineReader、Amazon Textract、Google Cloud Vision、Microsoft Azure OCR 和 Hyperscience。
EmbeddingGemma 2 開發者指南介紹這款基於 Gemma 4 的開放模型,可將文字、程式碼、圖像、影片和音訊映射至同一個 768 維向量空間。模型可按需載入由文字與程式碼的 270M 參數配置,擴展至完整多模態的 740M 參數配置,各配置共用同一向量空間。
AWS 教程示範如何在航空應用程式中,以 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 建立語音旅遊禮賓服務。
Cohere 推出 Parse,這款文件解析視覺語言模型現已透過 Cohere API、Model Vault、Microsoft Foundry 和 AWS SageMaker 提供。
企業可用生成式 AI 搜尋及整合知識、創作內容、提供對話支援、協助軟件開發與數據分析,並自動化多步工作流程。用得其所可提升生產力和工作質素、擴大個人化體驗,並加快創新。採用時須先確認生成式 AI 能否切合具體業務需要並值得投資,避免在缺乏明確商業理據下增加成本與複雜程度。
Zyphra 提出 MixPR,一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索,或 Personalized PageRank 作局部檢索,並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型,把有效 LLM 上下文長度延伸至十億級,並可在 CPU 上高效運行。
Liquid AI 發佈 Liquid Nanos,一系列 350M–2.6B 參數的基礎模型,可在手機、手提電腦及嵌入式裝置上本機運行。首批實驗性模型涵蓋資料抽取、英日雙向翻譯、RAG、工具調用及數學推理,另包括社羣製作的法語微調模型。模型現已在 Liquid Edge AI 平台(LEAP)及 Hugging Face 提供,並以開放授權向學術界、開發者及小型企業開放。
Cohere 的企業檢索平台 Compass 以雲端託管服務 Compass Cloud 形式進入私人測試。Cohere 將管理完整檢索流程及模型推理,開發者可透過 APIs、MCP server 或 Python SDK 使用。自行託管部署仍可供有私隱限制的項目使用,Cohere 正與有限數目的企業團隊合作測試。
Cohere 發佈 Embed 5 嵌入模型系列,分為面向最高檢索品質的 Pro 和麪向低延遲、高流量工作的 Fast,兩款均支援多模態輸入、100+ 種語言及 128K-token 上下文窗口。
Google Cloud 預覽 AlloyDB 與 Cloud SQL for PostgreSQL 17+ 的原生 BM25 索引,透過 Tiger Data 開源的 pg_textsearch 擴充功能,讓全文關鍵字搜尋直接在資料庫內執行。這可與向量搜尋組成混合搜尋,避免另設全文搜尋後端;AlloyDB 提供使用 RRF 的混合搜尋 UDF,Cloud SQL 則可用 CTE 合併搜尋結果。
AWS 文章示範如何以 LangChain 在 Amazon Bedrock Knowledge Bases 建立 RAG 應用,並比較標準檢索與 Agentic retrieval 處理多部分問題的方式。
研究以 HotpotQA 和 MuSiQue 比較智能體 RAG 的評測預算分配,涵蓋問題數、搜尋軌跡及重複作答。在 34.14--34.39M 模型 tokens 的預算下,增加問題覆蓋率,較重複讀取五次的標準誤低 33%,較三條搜尋軌跡低 12.6%。按記錄的模型費用,搜尋價格為每 1,000 次請求 $0--1 時,增加問題數優於增加搜尋軌跡;增加問題數或重複讀取的費用排名則未有定論。
LlamaIndex 提供一套無需 ground-truth labels 的 QA 系統評估流程,依次生成問題、答案與來源節點,再檢查查詢、回答及來源是否匹配。
LlamaIndex 推出 Document Summary Index,先為每份文件生成摘要,再按摘要檢索文件並返回所選文件的全部節點。檢索可由 LLM 判斷摘要相關性,或按摘要嵌入向量相似度選取文件,與直接檢索文本塊不同。文章以城市 Wikipedia 條目示範索引建置、檢索及問答查詢。
LlamaIndex 與 MongoDB 可將私有資料接入 LLM,透過索引檢索相關內容,讓模型據此回答問題。示範以 100 頁的《GPT-4 Technical Report》PDF 查詢,結果指出 GPT-4 在 Uniform Bar Exam 的成績位居考生前 10%。LlamaIndex 也可將文件與索引持久化至 MongoDB,方便後續查詢。
LlamaIndex 與 Weaviate 的教程示範如何為 Weaviate 部落格內容建立問答系統。流程包括載入並切分文件、將內容寫入 Weaviate 向量庫,再由 query engine 執行語義搜尋及答案合成。
Prem App 與 Llama Index 完成整合,結合 Prem 的自託管 AI 模型與 Llama Index 資料框架,讓開發者可將自訂資料來源連接至大語言模型。整合簡化資料攝取、索引及查詢流程,並提供免費及付費方案。
TruLens 最新版本加入對 LlamaIndex 大語言模型應用的追蹤功能,讓開發者評估和記錄實驗,並檢視輸入輸出、模型呼叫及檢索內容。文章示範以回饋函數檢查語言匹配、答案相關性和檢索片段相關性,並在 TruLens 儀錶板查看彙總結果及個別互動紀錄。文中的錯誤回答案例顯示,檢索到相關性不足且不含答案的上下文時,應用可能產生模型幻覺。
LlamaIndex 與 Ray 示範構建查詢引擎,根據 Ray 文件及網誌文章回答問題並生成洞察。流程以 Ray Datasets 平行處理索引建置,並用 Ray Serve 部署查詢引擎,涵蓋文件載入、解析、嵌入向量生成及儲存。
LlamaIndex 發佈 0.7.0,進一步模組化 LLM 應用開發,新增可獨立使用的 LLM 抽象與回應合成模組,並擴充 Document/Node 的 metadata 管理能力。
LlamaIndex 宣佈推出 Data Agents,讓 LLM 驅動的知識工作者可對外部資料進行搜尋與檢索、調用服務 API,並執行讀寫操作。
LlamaIndex 發佈 LlamaIndex.TS v0.0.1,這是一個以 TypeScript 為先、協助開發者將私有數據接入大型語言模型的程式庫。它會將文件載入標準化格式並建立索引,再檢索相關資訊供 LLM 生成更有依據的回答。相較 Python 版,LlamaIndex.TS 使用 camel case 函數名、較簡化的提示詞介面及非同步函數,並支援 NodeJS v18 及以上版本。
LlamaIndex 示範以 Text2SQL 結合 RAG 分析產品評論,從資料庫查詢並整理產品洞見。示範資料由 GPT-4 生成,涵蓋 iPhone13、SamsungTV 和 Ergonomic Chair,並存於記憶體 SQLite 資料庫。流程先把自然語言問題拆成主、輔助查詢,再以 Text2SQL 擷取資料,最後透過 List Index 根據輔助問題生成答案。
LlamaIndex 與 Metaphor 宣佈推出整合方案,結合 LlamaIndex 資料智能體與 Metaphor 的原生大語言模型搜尋工具,讓智能體可搜尋並檢索網上內容。
LlamaIndex 現可將 Airbyte sources 直接整合為應用程式的資料載入器。目前可用的 sources 包括 Gong、Hubspot、Salesforce。
LlamaIndex 新增 EmbeddingAdapterFinetuneEngine,讓使用者可在任意嵌入模型產生的查詢嵌入上微調線性轉接層,同時保持文件嵌入固定。