跳到正文
10月3日週六
  1. LlamaIndex:產品、工程與評測52

    LlamaIndex 與 Vectara 宣佈 Managed Index 整合,文件處理由 Vectara 管理

    LlamaIndex 與 Vectara 宣佈以 Managed Index 整合,讓 Vectara 後端處理文件分塊、嵌入向量與儲存,並接入 LlamaIndex 的檢索和查詢工具。開發者可透過 VectaraIndex 的索引 API 將文件送至 Vectara,並使用 Retriever、Query Engine 和 Chat Engine 等功能,無須自行配置與管理向量資料庫。

  2. LlamaIndex:產品、工程與評測41

    使用 LlamaIndex 評估 RAG 系統的理想分塊大小

    LlamaIndex 示範使用 Response Evaluation 評估 RAG 系統的理想分塊大小,並比較不同設定下的平均回應時間、Faithfulness 與 Relevancy。實驗以 Uber 2021 年 10-K 文件生成問題,使用 GPT-3.5-turbo 產生回答,再以 GPT-4 評估回答的忠實度與相關性。

  3. LlamaIndex:產品、工程與評測53

    用 LayoutPDFReader 掌握 PDF 解析:抽取章節、標題、段落和表格

    文章介紹 LayoutPDFReader 解析具文字層的 PDF,保留章節層級、段落、表格和清單結構,並據此生成供 RAG 使用的分塊。文中示範以 LLMSherpa API 讀取 PDF,並用 LlamaIndex 建立向量索引及執行查詢。工具目前不支援 OCR,只能處理帶有文字層的 PDF;原文亦指出,並非所有 PDF 都能完美解析。

  4. LlamaIndex:產品、工程與評測59

    LlamaIndex 發佈 0.9,新增 IngestionPipeline 並更新多項開發介面

    LlamaIndex 發佈 0.9,新增用於資料匯入與轉換的 IngestionPipeline,並支援快取各轉換步驟。版本亦簡化節點解析與文字切分介面,將 LangChain 改為選裝套件,並將全域 tokenizer 改為可配置,預設採用 CL100K。此外,多模態 RAG 模組以 beta 形式推出,涵蓋多模態 LLM、嵌入及檢索。

  5. LlamaIndex:產品、工程與評測56

    LlamaIndex 解析多模態 RAG 評估方法

    LlamaIndex 介紹多模態 RAG 的評估方法,建議沿用文字型 RAG 的檢索與生成兩階段框架,並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判,衡量相關性與忠實度;文中亦介紹其 beta Multi-Modal Evaluator abstractions。

  6. LlamaIndex:產品、工程與評測56

    LlamaIndex 推出 Llama Packs 預包裝模組中心

    LlamaIndex 推出 Llama Packs,這是一個由社羣推動的預包裝模組中心,旨在幫助使用者快速開始建立 LLM 應用。首批已與合作夥伴推出 16+ 個模板,可在 LlamaHub(https://llamahub.ai/)瀏覽,涵蓋 Streamlit 應用、Weaviate 檢索等用途。

  7. LlamaIndex:產品、工程與評測62

    LlamaIndex 推出 Llama Datasets,首批提供 10 個 RAG 評測資料集

    LlamaIndex 推出 Llama Datasets,首批提供 10 個社羣貢獻的資料集,用於按不同用例評測 RAG 流程。每個資料集包含問答對及來源上下文,可從 LlamaHub 下載,並使用 RagEvaluatorPack 計算評測指標。開發者亦可手動或以合成方式建立資料集,並向 LlamaHub 和 llama-datasets 提交貢獻。

  8. LlamaIndex:產品、工程與評測49

    LlamaIndex:進階 RAG 建構速查表與實作配方

    LlamaIndex 提供進階 RAG 建構速查表與實作配方,指出系統成效取決於檢索能否找到相關文件,以及生成能否善用文件回答查詢。內容示範以 Chunk-Size Optimization 調整文件分塊,並以結構化外部知識支援遞迴檢索或路由檢索。

  9. LlamaIndex:產品、工程與評測57

    LlamaIndex 推出 Query Pipelines 宣告式查詢編排 API

    LlamaIndex 推出 Query Pipelines 宣告式 API,讓開發者將 LlamaIndex 模組編排成順序鏈或 DAG 查詢工作流。它面向 RAG、結構化資料擷取等用途,支援跨整個流程的 callback,並可減少手動銜接模組所需的樣板程式。目前可組合 LLM、提示詞、查詢引擎、檢索器等模組,也能加入自訂元件;序列化與快取則列為未來方向。

  10. LlamaIndex:產品、工程與評測52

    如何使用 LlamaIndex 建構多租户 RAG 系統

    LlamaIndex 示範以文件 metadata 標記使用者,並在查詢時透過 metadata filter 限定可檢索的資料,建構多租户 RAG 系統。示例將 Jerry 與 Ravi 的論文分別加入同一索引,使用 ExactMatchFilter 分隔查詢;Jerry 查詢 Ravi 的 LLMCompiler 論文時未檢索到相關內容。

  11. LlamaIndex:產品、工程與評測63

    如何用 LlamaIndex、Qdrant 和 Render 建立可從 Slack 對話學習的聊天機械人

    LlamaIndex 的教程示範如何用 LlamaIndex、Qdrant 和 Render 建立並部署 Slack 聊天機械人,讓它從工作區對話記錄資訊並回答相關問題。機械人把未提及它的訊息存入索引,將提及它的訊息作為查詢;Qdrant 用來持久保存記憶,FixedRecencyPostprocessor 配合最多 20 條檢索結果,令較新的訊息優先。

  12. LlamaIndex:產品、工程與評測55

    LlamaIndex 推出 RAG 命令列工具 llamaindex-cli

    LlamaIndex 推出命令列工具 `llamaindex-cli`,讓使用者無需編寫程式即可將本地文件匯入並透過 RAG 提問。工具隨 `pip install llama-index` 安裝,底層使用 Chroma,另需安裝 `chromadb`;預設使用 OpenAI API,使用前須設定 `OPENAI_API_KEY`。

  13. LlamaIndex:產品、工程與評測51

    LlamaIndex 以 Alpha 調校提升 RAG 混合搜尋的檢索表現

    LlamaIndex 使用 Retrieval Evaluation module,在 Weaviate 中按查詢類型調校 RAG 混合搜尋的 Alpha,並比較有無重排器的檢索結果。實驗涵蓋六類查詢,以及索引一篇或三篇論文的資料集,並以 Hit Rate 和 MRR 評估檢索表現。文中結果顯示,重排器提升所測資料的兩項指標,而 Alpha 的表現會隨查詢類型和索引文檔數量而異。

  14. LlamaIndex:產品、工程與評測44

    RAGArch:LlamaIndex 驅動的無程式碼 RAG 流水線配置與一鍵程式碼生成工具

    RAGArch 是 LlamaIndex 驅動的無程式碼工具,可配置及測試 RAG 流水線,並一鍵生成相應 Python 程式碼。它以 Streamlit 提供互動介面,支援設定 LLM、Embedding 模型、節點解析器、回應合成方法及向量儲存庫,並用自有資料即時測試。可選服務包括 OpenAI GPT-3.5、GPT-4、Gemini Pro 及 Cohere API,另提供免費和付費方案。

  15. LlamaIndex:產品、工程與評測62

    LlamaIndex 推出 LlamaParse 文件解析服務及託管資料導入與檢索 API

    LlamaIndex 宣佈推出 LlamaParse 文件解析服務,並介紹面向大語言模型及 RAG 應用的託管資料導入與檢索 API。解析器針對含表格、圖表等嵌入物件的複雜 PDF,可輸出保留語義結構的 Markdown,並接入 LlamaIndex 的資料導入與檢索流程。公開預覽目前支援 PDF,每日用量上限為 1k 頁;託管 API 則以私有預覽方式開放予有限的企業設計合作夥伴。

  16. LlamaIndex:產品、工程與評測48

    以 UpTrain 評測強化 LlamaIndex RAG 管線

    LlamaIndex 與開源 LLM 評測框架 UpTrain 整合,讓開發者可評估 RAG 管線並試驗不同配置。UpTrain 提供 20+ 預設檢查,評估與分析均在本地執行(LLM 呼叫除外);其 Callback Handler 可檢查生成回覆、RAG 擷取的上下文及中間步驟。

  17. LlamaIndex:產品、工程與評測53

    Protect AI 示範如何以 LLM Guard 和 LlamaIndex 加固 RAG

    Protect AI 示範將 LLM Guard 整合至 LlamaIndex 建構的 RAG 應用,掃描輸入文件與模型輸出中的惡意內容。示例以藏於候選人履歷白字中的提示詞注入作測試,並為簡化流程在檢索階段掃描文件。文中指出文件理想上應在匯入前掃描,並需檢查從 API 即時檢索的資料。

  18. LlamaIndex:產品、工程與評測63

    教學:使用 LlamaIndex 與 llamafile 建立本機私隱研究助理

    Mozilla 的客座文章示範使用 llamafile 在本機執行大語言模型,並配合 LlamaIndex 建立本機 RAG 研究助理。示例以同一個 llamafile 同時作為大語言模型和嵌入向量後端,將本機檔案與 Wikipedia 頁面建立向量索引,再透過 RAG 回答問題。整個助理在本機運行,毋須註冊雲端服務、支付 API 呼叫費用或把資料傳給第三方。