Cohere 推出 Parse，提供大規模企業文件智能處理
Cohere 推出 Parse，這款文件解析視覺語言模型現已透過 Cohere API、Model Vault、Microsoft Foundry 和 AWS SageMaker 提供。
#RAG
#RAG
今日 8 條Cohere 產品與研究博客AI 評分6767 Cohere 產品與研究博客AI 評分3232 企業生成式 AI：應用案例、效益與採用方式
企業可用生成式 AI 搜尋及整合知識、創作內容、提供對話支援、協助軟件開發與數據分析，並自動化多步工作流程。用得其所可提升生產力和工作質素、擴大個人化體驗，並加快創新。採用時須先確認生成式 AI 能否切合具體業務需要並值得投資，避免在缺乏明確商業理據下增加成本與複雜程度。
Zyphra ResearchAI 評分3131 MixPR：用於長上下文預處理的 Mixture-of-PageRanks 檢索器
Zyphra 提出 MixPR，一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索，或 Personalized PageRank 作局部檢索，並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型，把有效 LLM 上下文長度延伸至十億級，並可在 CPU 上高效運行。
Liquid AI 模型與工程博客AI 評分6565 Liquid AI 發佈 Liquid Nanos，主打在日常裝置上提供前沿級表現
Liquid AI 發佈 Liquid Nanos，一系列 350M–2.6B 參數的基礎模型，可在手機、手提電腦及嵌入式裝置上本機運行。首批實驗性模型涵蓋資料抽取、英日雙向翻譯、RAG、工具調用及數學推理，另包括社羣製作的法語微調模型。模型現已在 Liquid Edge AI 平台（LEAP）及 Hugging Face 提供，並以開放授權向學術界、開發者及小型企業開放。
Cohere 產品與研究博客AI 評分4646 Cohere 的 Compass 雲端託管服務 Compass Cloud 進入私人測試
Cohere 的企業檢索平台 Compass 以雲端託管服務 Compass Cloud 形式進入私人測試。Cohere 將管理完整檢索流程及模型推理，開發者可透過 APIs、MCP server 或 Python SDK 使用。自行託管部署仍可供有私隱限制的項目使用，Cohere 正與有限數目的企業團隊合作測試。
Cohere 產品與研究博客AI 評分6060 Cohere 發佈 Embed 5 嵌入模型系列，涵蓋 Pro 與 Fast
Cohere 發佈 Embed 5 嵌入模型系列，分為面向最高檢索品質的 Pro 和麪向低延遲、高流量工作的 Fast，兩款均支援多模態輸入、100+ 種語言及 128K-token 上下文窗口。
Google Cloud：DatabasesAI 評分6464 Google Cloud 預覽 AlloyDB 與 Cloud SQL 原生 BM25 排序功能
Google Cloud 預覽 AlloyDB 與 Cloud SQL for PostgreSQL 17+ 的原生 BM25 索引，透過 Tiger Data 開源的 pg_textsearch 擴充功能，讓全文關鍵字搜尋直接在資料庫內執行。這可與向量搜尋組成混合搜尋，避免另設全文搜尋後端；AlloyDB 提供使用 RRF 的混合搜尋 UDF，Cloud SQL 則可用 CTE 合併搜尋結果。
AWS Machine Learning BlogAI 評分5858 LangChain 與 Amazon Bedrock Knowledge Bases 的 Agentic retrieval 實作教學
AWS 文章示範如何以 LangChain 在 Amazon Bedrock Knowledge Bases 建立 RAG 應用，並比較標準檢索與 Agentic retrieval 處理多部分問題的方式。
LlamaIndex：產品、工程與評測AI 評分5555 使用 LlamaIndex 構建並評估 QA 系統
LlamaIndex 提供一套無需 ground-truth labels 的 QA 系統評估流程，依次生成問題、答案與來源節點，再檢查查詢、回答及來源是否匹配。
LlamaIndex：產品、工程與評測AI 評分5454 LlamaIndex 推出面向 LLM 問答系統的 Document Summary Index
LlamaIndex 推出 Document Summary Index，先為每份文件生成摘要，再按摘要檢索文件並返回所選文件的全部節點。檢索可由 LLM 判斷摘要相關性，或按摘要嵌入向量相似度選取文件，與直接檢索文本塊不同。文章以城市 Wikipedia 條目示範索引建置、檢索及問答查詢。
LlamaIndex：產品、工程與評測AI 評分4040 如何使用 LlamaIndex 和 MongoDB，打造可查詢私有資料的 ChatGPT
LlamaIndex 與 MongoDB 可將私有資料接入 LLM，透過索引檢索相關內容，讓模型據此回答問題。示範以 100 頁的《GPT-4 Technical Report》PDF 查詢，結果指出 GPT-4 在 Uniform Bar Exam 的成績位居考生前 10%。LlamaIndex 也可將文件與索引持久化至 MongoDB，方便後續查詢。
LlamaIndex：產品、工程與評測AI 評分5353 LlamaIndex 與 Weaviate 入門：建立基於 Weaviate 部落格的問答系統
LlamaIndex 與 Weaviate 的教程示範如何為 Weaviate 部落格內容建立問答系統。流程包括載入並切分文件、將內容寫入 Weaviate 向量庫，再由 query engine 執行語義搜尋及答案合成。
LlamaIndex：產品、工程與評測AI 評分4040 Llama Index 與 Prem AI 攜手整合 Prem App
Prem App 與 Llama Index 完成整合，結合 Prem 的自託管 AI 模型與 Llama Index 資料框架，讓開發者可將自訂資料來源連接至大語言模型。整合簡化資料攝取、索引及查詢流程，並提供免費及付費方案。
LlamaIndex：產品、工程與評測AI 評分5656 使用 LlamaIndex 和 TruLens 構建並評估大語言模型應用
TruLens 最新版本加入對 LlamaIndex 大語言模型應用的追蹤功能，讓開發者評估和記錄實驗，並檢視輸入輸出、模型呼叫及檢索內容。文章示範以回饋函數檢查語言匹配、答案相關性和檢索片段相關性，並在 TruLens 儀錶板查看彙總結果及個別互動紀錄。文中的錯誤回答案例顯示，檢索到相關性不足且不含答案的上下文時，應用可能產生模型幻覺。
LlamaIndex：產品、工程與評測AI 評分4444 如何使用 LlamaIndex 和 Ray 構建並擴展強大的查詢引擎
LlamaIndex 與 Ray 示範構建查詢引擎，根據 Ray 文件及網誌文章回答問題並生成洞察。流程以 Ray Datasets 平行處理索引建置，並用 Ray Serve 部署查詢引擎，涵蓋文件載入、解析、嵌入向量生成及儲存。
LlamaIndex：產品、工程與評測AI 評分6060 LlamaIndex 0.7.0：進一步支援自下而上的 LLM 應用開發
LlamaIndex 發佈 0.7.0，進一步模組化 LLM 應用開發，新增可獨立使用的 LLM 抽象與回應合成模組，並擴充 Document/Node 的 metadata 管理能力。
LlamaIndex：產品、工程與評測AI 評分6868 LlamaIndex 推出 Data Agents，並新增 LlamaHub Tool Repository
LlamaIndex 宣佈推出 Data Agents，讓 LLM 驅動的知識工作者可對外部資料進行搜尋與檢索、調用服務 API，並執行讀寫操作。
LlamaIndex：產品、工程與評測AI 評分5151 LlamaIndex 發佈 LlamaIndex.TS v0.0.1 TypeScript 優先程式庫
LlamaIndex 發佈 LlamaIndex.TS v0.0.1，這是一個以 TypeScript 為先、協助開發者將私有數據接入大型語言模型的程式庫。它會將文件載入標準化格式並建立索引，再檢索相關資訊供 LLM 生成更有依據的回答。相較 Python 版，LlamaIndex.TS 使用 camel case 函數名、較簡化的提示詞介面及非同步函數，並支援 NodeJS v18 及以上版本。
LlamaIndex：產品、工程與評測AI 評分3131 LlamaIndex：運用 Text2SQL 與 RAG 分析產品評論
LlamaIndex 示範以 Text2SQL 結合 RAG 分析產品評論，從資料庫查詢並整理產品洞見。示範資料由 GPT-4 生成，涵蓋 iPhone13、SamsungTV 和 Ergonomic Chair，並存於記憶體 SQLite 資料庫。流程先把自然語言問題拆成主、輔助查詢，再以 Text2SQL 擷取資料，最後透過 List Index 根據輔助問題生成答案。
LlamaIndex：產品、工程與評測AI 評分5151 LlamaIndex 與 Metaphor 探索以大語言模型自動化知識工作
LlamaIndex 與 Metaphor 宣佈推出整合方案，結合 LlamaIndex 資料智能體與 Metaphor 的原生大語言模型搜尋工具，讓智能體可搜尋並檢索網上內容。
LlamaIndex：產品、工程與評測AI 評分5757 LlamaIndex 將 7 個 Airbyte sources 整合為資料載入器
LlamaIndex 現可將 Airbyte sources 直接整合為應用程式的資料載入器。目前可用的 sources 包括 Gong、Hubspot、Salesforce。
LlamaIndex：產品、工程與評測AI 評分5858 LlamaIndex 新增支援任意嵌入模型的線性轉接層微調功能
LlamaIndex 新增 EmbeddingAdapterFinetuneEngine，讓使用者可在任意嵌入模型產生的查詢嵌入上微調線性轉接層，同時保持文件嵌入固定。
LlamaIndex：產品、工程與評測AI 評分5252 LlamaIndex 與 Vectara 宣佈 Managed Index 整合，文件處理由 Vectara 管理
LlamaIndex 與 Vectara 宣佈以 Managed Index 整合，讓 Vectara 後端處理文件分塊、嵌入向量與儲存，並接入 LlamaIndex 的檢索和查詢工具。開發者可透過 VectaraIndex 的索引 API 將文件送至 Vectara，並使用 Retriever、Query Engine 和 Chat Engine 等功能，無須自行配置與管理向量資料庫。
LlamaIndex：產品、工程與評測AI 評分4141 使用 LlamaIndex 評估 RAG 系統的理想分塊大小
LlamaIndex 示範使用 Response Evaluation 評估 RAG 系統的理想分塊大小，並比較不同設定下的平均回應時間、Faithfulness 與 Relevancy。實驗以 Uber 2021 年 10-K 文件生成問題，使用 GPT-3.5-turbo 產生回答，再以 GPT-4 評估回答的忠實度與相關性。
LlamaIndex：產品、工程與評測AI 評分4747 我如何使用 LlamaIndex 打造 Streamlit LLM Hackathon 勝出應用 FinSight
作者使用 LlamaIndex 打造 FinSight，這款在 Streamlit LLM Hackathon 勝出的應用，可從公司年報提取洞見並生成摘要。其 Annual Report Analyzer 以 RAG 和 FAISS 記憶體向量資料庫處理年報，並把查詢拆成子問題，檢索多處脈絡。
LlamaIndex：產品、工程與評測AI 評分5353 用 LayoutPDFReader 掌握 PDF 解析：抽取章節、標題、段落和表格
文章介紹 LayoutPDFReader 解析具文字層的 PDF，保留章節層級、段落、表格和清單結構，並據此生成供 RAG 使用的分塊。文中示範以 LLMSherpa API 讀取 PDF，並用 LlamaIndex 建立向量索引及執行查詢。工具目前不支援 OCR，只能處理帶有文字層的 PDF；原文亦指出，並非所有 PDF 都能完美解析。
LlamaIndex：產品、工程與評測AI 評分4949 LlamaIndex：提升 RAG，挑選最佳嵌入模型與重排序模型
LlamaIndex 使用 Retrieval Evaluation 比較 RAG 流程中的嵌入模型與重排序模型，並以 Hit Rate 和 MRR 評估檢索表現。
LlamaIndex：產品、工程與評測AI 評分4949 LongLLMLingua：以提示詞壓縮緩解「Lost in the Middle」並降低 RAG 成本
LongLLMLingua 以提示詞壓縮處理 RAG 與長上下文中的「Lost in the middle」問題，並降低 token 用量及成本。其準確率最高可提升 21.4%，token 用量僅為原來的 ¼；長上下文情境下，每 1000 個例子可節省 $28。
LlamaIndex：產品、工程與評測精選AI 評分7979 LlamaIndex 在 OpenAI Developer Day 當日加入新模型與功能支援
LlamaIndex 在 OpenAI Developer Day 當日為其程式庫加入對兩款新模型及多項 OpenAI 功能的支援。
推薦理由：文章列出 LlamaIndex 對新模型、Azure endpoints、嵌入向量抽象層及函數調用的支援，並附模型調用程式例子，呈現這次更新涵蓋的整合範圍。
LlamaIndex：產品、工程與評測AI 評分6868 LlamaIndex 介紹多模態 RAG 的文字與圖片索引、檢索能力
LlamaIndex 介紹多模態 RAG 新抽象，讓文字與圖片可納入索引、檢索及回答流程。新能力包括 OpenAIMultiModal 支援 GPT-4V、ReplicateMultiModal 支援開源多模態模型（目前處於 beta），以及透過 CLIP 建立圖片嵌入。
LlamaIndex：產品、工程與評測AI 評分5454 LlamaIndex 2023–11–14 週報整理多模態 RAG 等更新與指南
LlamaIndex 在 2023–11–14 週報中整理了 OpenAI Dev day 後續的功能更新、示例與指南。更新包括用於文件與圖像問答的多模態 RAG、chat.llamaindex.ai 的實驗性 GPT-4-vision 支援，以及連接 OpenAI Assistants API 與向量資料庫的抽象層。
LlamaIndex：產品、工程與評測AI 評分5959 LlamaIndex 發佈 0.9，新增 IngestionPipeline 並更新多項開發介面
LlamaIndex 發佈 0.9，新增用於資料匯入與轉換的 IngestionPipeline，並支援快取各轉換步驟。版本亦簡化節點解析與文字切分介面，將 LangChain 改為選裝套件，並將全域 tokenizer 改為可配置，預設採用 CL100K。此外，多模態 RAG 模組以 beta 形式推出，涵蓋多模態 LLM、嵌入及檢索。
LlamaIndex：產品、工程與評測AI 評分5959 使用 LlamaIndex 微調 Cohere Reranker，提升檢索表現
LlamaIndex 示範微調 Cohere reranker，並報告自訂 reranker 在該測試中的檢索指標有所改善。
LlamaIndex：產品、工程與評測AI 評分5656 LlamaIndex 解析多模態 RAG 評估方法
LlamaIndex 介紹多模態 RAG 的評估方法，建議沿用文字型 RAG 的檢索與生成兩階段框架，並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判，衡量相關性與忠實度；文中亦介紹其 beta Multi-Modal Evaluator abstractions。
LlamaIndex：產品、工程與評測AI 評分5252 使用 create-llama 將 RAG 應用部署至正式環境
LlamaIndex 提供使用 create-llama 生成的 RAG 全棧應用部署指南，涵蓋 Next.js serverless、Express 和 Python 三種後端。
LlamaIndex：產品、工程與評測AI 評分5353 LlamaIndex 推出 RAGs，讓用户以自然語言建立自有資料問答應用
LlamaIndex 推出 RAGs，一款 Streamlit 應用，讓用户以自然語言建立並自訂基於自有資料的 RAG pipeline。用户可檢視和調整 builder agent 生成的設定，包括 top-k、chunk size、Embed Model、LLM 及摘要選項，並使用生成的 RAG agent 查詢資料。
LlamaIndex：產品、工程與評測AI 評分5656 LlamaIndex 推出 Llama Packs 預包裝模組中心
LlamaIndex 推出 Llama Packs，這是一個由社羣推動的預包裝模組中心，旨在幫助使用者快速開始建立 LLM 應用。首批已與合作夥伴推出 16+ 個模板，可在 LlamaHub（https://llamahub.ai/）瀏覽，涵蓋 Streamlit 應用、Weaviate 檢索等用途。
LlamaIndex：產品、工程與評測AI 評分5959 OpenAI Cookbook：使用 LlamaIndex 評估 RAG 系統的指南
LlamaIndex 發佈《OpenAI Cookbook》，提供使用 LlamaIndex 建構及評估 RAG 系統的指南。內容分為 RAG 概述、使用 LlamaIndex 建構 RAG，以及評估檢索系統和回應生成三部分；建構示例使用 Paul Graham 的文章及 VectorStoreIndex。
LlamaIndex：產品、工程與評測AI 評分6262 LlamaIndex 推出 Llama Datasets，首批提供 10 個 RAG 評測資料集
LlamaIndex 推出 Llama Datasets，首批提供 10 個社羣貢獻的資料集，用於按不同用例評測 RAG 流程。每個資料集包含問答對及來源上下文，可從 LlamaHub 下載，並使用 RagEvaluatorPack 計算評測指標。開發者亦可手動或以合成方式建立資料集，並向 LlamaHub 和 llama-datasets 提交貢獻。
LlamaIndex：產品、工程與評測AI 評分5252 LlamaIndex 2023–12–12 電子報彙整多項產品更新、教程與整合
LlamaIndex 在 2023–12–12 電子報中介紹多項產品更新，涵蓋 RAG 評測、資料管線、多模態功能及開發模板。