跳到正文
10月13日週二
  1. Unite.AI68

    企業的記憶應比 AI 模型更長久

    企業應自行掌握可跨供應商延續的工作脈絡,讓記錄、權限和未完成工作不會因更換 AI 模型而失去可用性。模型更換成本不只涉及生成模型,還包括嵌入模型變更後重建索引、微調模型退役,以及重新驗證提示詞和工具行為。文章建議保留可還原的來源資料與權威記錄,並透過匯出還原演練和評測套件,測試替代供應商能否延續工作流程。

10月10日週六
  1. AWS Machine Learning Blog60

    Postman 如何在 Amazon Bedrock 上為 40 million 名開發者運行 Agent Mode

    Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。

    推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。

10月9日週五
10月8日週四
  1. AWS Machine Learning Blog59

    Amazon Quick 與 Amazon Bedrock Knowledge Bases 以即時 ACL 核驗處理 RAG 存取控制

    Amazon Quick 與 Amazon Bedrock Knowledge Bases 加入查詢時即時 ACL 核驗,直接向權威資料來源確認用戶的文件存取權限。系統先以索引中已儲存的 ACL 篩選候選文件,再於查詢時核實權限,只把獲授權的文件段落交予 LLM。AWS 表示,用戶存取權被撤銷後,變更會在短時間內反映於 AI 回應,而非等候數小時或數天。

10月7日週三
  1. HuggingFace Daily Papers(社區熱門論文)48

    UNREAL: Unifying Retrieval and Long-Context with a Single Model

    UNREAL 提出模型原生的證據選擇框架,以單一機制涵蓋語料庫檢索與長上下文推理,並新增少於 500K 個可訓練參數,保持骨幹模型不變。在包含 3B 個 token、21M 個文本區塊的 Wikipedia 索引上,四種密集及混合式骨幹模型均勝過最先進的檢索器—重排序器系統;最佳模型在 HotpotQA 的召回率由 49.1% 提升至 73.2%。

  2. Google DeepMind70

    Google DeepMind 發佈開放、輕量級多模態嵌入模型 EmbeddingGemma 2

    Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。

    推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。

  3. HuggingFace Daily Papers(社區熱門論文)46

    Beyond Semantic Similarity: Performance and Costs of Agentic Retrieval for Complex Tasks

    智能體檢索透過 ReAct 智能體迴圈,結合大語言模型的推理能力與檢索器探索語料的效率,以應付複雜檢索任務。使用相同嵌入模型時,它較標準檢索的 nDCG@10 高 8.7 分,並在 ViDoRe v3 和 BRIGHT 排行榜取得具競爭力的結果。代價是每次查詢平均需時 107.4 秒,消耗 764.1K 個輸入 token 和 5.8K 個輸出 token;標準檢索平均需時 0.67 秒。

  4. Google Developers Blog62

    EmbeddingGemma 2 開發者指南

    EmbeddingGemma 2 開發者指南介紹這款基於 Gemma 4 的開放模型,可將文字、程式碼、圖像、影片和音訊映射至同一個 768 維向量空間。模型可按需載入由文字與程式碼的 270M 參數配置,擴展至完整多模態的 740M 參數配置,各配置共用同一向量空間。

10月6日週二
  1. Cohere 產品與研究博客32

    企業生成式 AI:應用案例、效益與採用方式

    企業可用生成式 AI 搜尋及整合知識、創作內容、提供對話支援、協助軟件開發與數據分析,並自動化多步工作流程。用得其所可提升生產力和工作質素、擴大個人化體驗,並加快創新。採用時須先確認生成式 AI 能否切合具體業務需要並值得投資,避免在缺乏明確商業理據下增加成本與複雜程度。

  2. Zyphra Research31

    MixPR:用於長上下文預處理的 Mixture-of-PageRanks 檢索器

    Zyphra 提出 MixPR,一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索,或 Personalized PageRank 作局部檢索,並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型,把有效 LLM 上下文長度延伸至十億級,並可在 CPU 上高效運行。

  3. Liquid AI 模型與工程博客65

    Liquid AI 發佈 Liquid Nanos,主打在日常裝置上提供前沿級表現

    Liquid AI 發佈 Liquid Nanos,一系列 350M–2.6B 參數的基礎模型,可在手機、手提電腦及嵌入式裝置上本機運行。首批實驗性模型涵蓋資料抽取、英日雙向翻譯、RAG、工具調用及數學推理,另包括社羣製作的法語微調模型。模型現已在 Liquid Edge AI 平台(LEAP)及 Hugging Face 提供,並以開放授權向學術界、開發者及小型企業開放。

  4. Google Cloud:Databases64

    Google Cloud 預覽 AlloyDB 與 Cloud SQL 原生 BM25 排序功能

    Google Cloud 預覽 AlloyDB 與 Cloud SQL for PostgreSQL 17+ 的原生 BM25 索引,透過 Tiger Data 開源的 pg_textsearch 擴充功能,讓全文關鍵字搜尋直接在資料庫內執行。這可與向量搜尋組成混合搜尋,避免另設全文搜尋後端;AlloyDB 提供使用 RRF 的混合搜尋 UDF,Cloud SQL 則可用 CTE 合併搜尋結果。

10月4日週日
  1. HuggingFace Daily Papers(社區熱門論文)37

    Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads

    研究以 HotpotQA 和 MuSiQue 比較智能體 RAG 的評測預算分配,涵蓋問題數、搜尋軌跡及重複作答。在 34.14--34.39M 模型 tokens 的預算下,增加問題覆蓋率,較重複讀取五次的標準誤低 33%,較三條搜尋軌跡低 12.6%。按記錄的模型費用,搜尋價格為每 1,000 次請求 $0--1 時,增加問題數優於增加搜尋軌跡;增加問題數或重複讀取的費用排名則未有定論。

10月3日週六
  1. LlamaIndex:產品、工程與評測54

    LlamaIndex 推出面向 LLM 問答系統的 Document Summary Index

    LlamaIndex 推出 Document Summary Index,先為每份文件生成摘要,再按摘要檢索文件並返回所選文件的全部節點。檢索可由 LLM 判斷摘要相關性,或按摘要嵌入向量相似度選取文件,與直接檢索文本塊不同。文章以城市 Wikipedia 條目示範索引建置、檢索及問答查詢。

  2. LlamaIndex:產品、工程與評測56

    使用 LlamaIndex 和 TruLens 構建並評估大語言模型應用

    TruLens 最新版本加入對 LlamaIndex 大語言模型應用的追蹤功能,讓開發者評估和記錄實驗,並檢視輸入輸出、模型呼叫及檢索內容。文章示範以回饋函數檢查語言匹配、答案相關性和檢索片段相關性,並在 TruLens 儀錶板查看彙總結果及個別互動紀錄。文中的錯誤回答案例顯示,檢索到相關性不足且不含答案的上下文時,應用可能產生模型幻覺。

  3. LlamaIndex:產品、工程與評測51

    LlamaIndex 發佈 LlamaIndex.TS v0.0.1 TypeScript 優先程式庫

    LlamaIndex 發佈 LlamaIndex.TS v0.0.1,這是一個以 TypeScript 為先、協助開發者將私有數據接入大型語言模型的程式庫。它會將文件載入標準化格式並建立索引,再檢索相關資訊供 LLM 生成更有依據的回答。相較 Python 版,LlamaIndex.TS 使用 camel case 函數名、較簡化的提示詞介面及非同步函數,並支援 NodeJS v18 及以上版本。

  4. LlamaIndex:產品、工程與評測31

    LlamaIndex:運用 Text2SQL 與 RAG 分析產品評論

    LlamaIndex 示範以 Text2SQL 結合 RAG 分析產品評論,從資料庫查詢並整理產品洞見。示範資料由 GPT-4 生成,涵蓋 iPhone13、SamsungTV 和 Ergonomic Chair,並存於記憶體 SQLite 資料庫。流程先把自然語言問題拆成主、輔助查詢,再以 Text2SQL 擷取資料,最後透過 List Index 根據輔助問題生成答案。