AI 智能體風險「大幅」增加,Apple 將收緊 Mac 的 Full Disk Access 權限
Apple 將收緊 Mac 的 Full Disk Access 權限,要求用户作出非常明確的操作,才可授予應用程式這項權限。Apple 指部分開發者使用該權限的方式,可能在用户未充分知情下暴露系統中的檔案、郵件、訊息及瀏覽紀錄;AI 智能體日益強大且自主,相關風險將大幅增加。更新推出時間尚未公佈。
Apple 將收緊 Mac 的 Full Disk Access 權限,要求用户作出非常明確的操作,才可授予應用程式這項權限。Apple 指部分開發者使用該權限的方式,可能在用户未充分知情下暴露系統中的檔案、郵件、訊息及瀏覽紀錄;AI 智能體日益強大且自主,相關風險將大幅增加。更新推出時間尚未公佈。
Claude Code 發佈 v2.1.288,新增多項功能,並修正工作階段恢復、權限檢查、插件及雲端工作流程等問題。新增功能包括按 Up 還原以 Ctrl+C 清除的提示詞草稿(包括貼上的文字和圖片)、以 --max-findings <n>|all 調整 /code-review 的回報數量,以及用 Ctrl+F 按名稱搜尋工作階段。
LlamaIndex 推出 Document Summary Index,先為每份文件生成摘要,再按摘要檢索文件並返回所選文件的全部節點。檢索可由 LLM 判斷摘要相關性,或按摘要嵌入向量相似度選取文件,與直接檢索文本塊不同。文章以城市 Wikipedia 條目示範索引建置、檢索及問答查詢。
Vellum 與 LlamaIndex 整合,讓使用者可透過 Vellum 管理提示詞,並在不修改程式碼下更新提示詞及進行版本管理。Vellum Test Suites 支援以 CSV 批量匯入測試案例,文章建議提示詞上線前執行 50–100 個測試。Vellum 的 Sandbox 可迭代提示詞、模型、提供者及參數,Deployment 則提供提示詞版本管理與請求監控。
LlamaIndex 發佈 0.7.0,進一步模組化 LLM 應用開發,新增可獨立使用的 LLM 抽象與回應合成模組,並擴充 Document/Node 的 metadata 管理能力。
LlamaIndex 宣佈推出 Data Agents,讓 LLM 驅動的知識工作者可對外部資料進行搜尋與檢索、調用服務 API,並執行讀寫操作。
LlamaIndex 發佈 LlamaIndex.TS v0.0.1,這是一個以 TypeScript 為先、協助開發者將私有數據接入大型語言模型的程式庫。它會將文件載入標準化格式並建立索引,再檢索相關資訊供 LLM 生成更有依據的回答。相較 Python 版,LlamaIndex.TS 使用 camel case 函數名、較簡化的提示詞介面及非同步函數,並支援 NodeJS v18 及以上版本。
LlamaIndex 數據智能體接入 Zapier NLA,可用 5 行程式碼透過 Zapier 存取 5,000+ 個第三方應用及 30,000+ 項操作。程式碼示例讓智能體摘要未讀電郵,並把摘要發送到 Slack。
LlamaIndex 與 Metaphor 宣佈推出整合方案,結合 LlamaIndex 資料智能體與 Metaphor 的原生大語言模型搜尋工具,讓智能體可搜尋並檢索網上內容。
LlamaIndex 現可將 Airbyte sources 直接整合為應用程式的資料載入器。目前可用的 sources 包括 Gong、Hubspot、Salesforce。
LlamaIndex 新增 EmbeddingAdapterFinetuneEngine,讓使用者可在任意嵌入模型產生的查詢嵌入上微調線性轉接層,同時保持文件嵌入固定。
LlamaIndex 與 Vectara 宣佈以 Managed Index 整合,讓 Vectara 後端處理文件分塊、嵌入向量與儲存,並接入 LlamaIndex 的檢索和查詢工具。開發者可透過 VectaraIndex 的索引 API 將文件送至 Vectara,並使用 Retriever、Query Engine 和 Chat Engine 等功能,無須自行配置與管理向量資料庫。
LlamaIndex 在 OpenAI Developer Day 當日為其程式庫加入對兩款新模型及多項 OpenAI 功能的支援。
推薦理由:文章列出 LlamaIndex 對新模型、Azure endpoints、嵌入向量抽象層及函數調用的支援,並附模型調用程式例子,呈現這次更新涵蓋的整合範圍。
LlamaIndex 介紹多模態 RAG 新抽象,讓文字與圖片可納入索引、檢索及回答流程。新能力包括 OpenAIMultiModal 支援 GPT-4V、ReplicateMultiModal 支援開源多模態模型(目前處於 beta),以及透過 CLIP 建立圖片嵌入。
LlamaIndex 在 2023–11–14 週報中整理了 OpenAI Dev day 後續的功能更新、示例與指南。更新包括用於文件與圖像問答的多模態 RAG、chat.llamaindex.ai 的實驗性 GPT-4-vision 支援,以及連接 OpenAI Assistants API 與向量資料庫的抽象層。
LlamaIndex 發佈 0.9,新增用於資料匯入與轉換的 IngestionPipeline,並支援快取各轉換步驟。版本亦簡化節點解析與文字切分介面,將 LangChain 改為選裝套件,並將全域 tokenizer 改為可配置,預設採用 CL100K。此外,多模態 RAG 模組以 beta 形式推出,涵蓋多模態 LLM、嵌入及檢索。
LlamaIndex 推出 RAGs,一款 Streamlit 應用,讓用户以自然語言建立並自訂基於自有資料的 RAG pipeline。用户可檢視和調整 builder agent 生成的設定,包括 top-k、chunk size、Embed Model、LLM 及摘要選項,並使用生成的 RAG agent 查詢資料。
LlamaIndex 推出 Llama Packs,這是一個由社羣推動的預包裝模組中心,旨在幫助使用者快速開始建立 LLM 應用。首批已與合作夥伴推出 16+ 個模板,可在 LlamaHub(https://llamahub.ai/)瀏覽,涵蓋 Streamlit 應用、Weaviate 檢索等用途。
LlamaIndex 推出 Llama Datasets,首批提供 10 個社羣貢獻的資料集,用於按不同用例評測 RAG 流程。每個資料集包含問答對及來源上下文,可從 LlamaHub 下載,並使用 RagEvaluatorPack 計算評測指標。開發者亦可手動或以合成方式建立資料集,並向 LlamaHub 和 llama-datasets 提交貢獻。
LlamaIndex 推出 AutoTranslateDoc 命令列工具,可從 GitHub 儲存庫擷取 .md 和 .mdx 文件,並使用 GPT-3.5、GPT-4 分段翻譯。
LlamaIndex 在 2023–12–12 電子報中介紹多項產品更新,涵蓋 RAG 評測、資料管線、多模態功能及開發模板。
LlamaIndex 推出 Query Pipelines 宣告式 API,讓開發者將 LlamaIndex 模組編排成順序鏈或 DAG 查詢工作流。它面向 RAG、結構化資料擷取等用途,支援跨整個流程的 callback,並可減少手動銜接模組所需的樣板程式。目前可組合 LLM、提示詞、查詢引擎、檢索器等模組,也能加入自訂元件;序列化與快取則列為未來方向。
LlamaIndex 推出命令列工具 `llamaindex-cli`,讓使用者無需編寫程式即可將本地文件匯入並透過 RAG 提問。工具隨 `pip install llama-index` 安裝,底層使用 Chroma,另需安裝 `chromadb`;預設使用 OpenAI API,使用前須設定 `OPENAI_API_KEY`。
RAGArch 是 LlamaIndex 驅動的無程式碼工具,可配置及測試 RAG 流水線,並一鍵生成相應 Python 程式碼。它以 Streamlit 提供互動介面,支援設定 LLM、Embedding 模型、節點解析器、回應合成方法及向量儲存庫,並用自有資料即時測試。可選服務包括 OpenAI GPT-3.5、GPT-4、Gemini Pro 及 Cohere API,另提供免費和付費方案。
LlamaIndex 發佈 v0.10.0,將核心功能與整合、模板拆分為獨立套件,並棄用 ServiceContext。新設的 `llama-index-core` 收納核心抽象,數百項整合和模板改為獨立套件,同時保留 `llama_index` 命名空間匯入;使用者可直接傳入參數,或透過全域 `Settings` 設定。
LlamaIndex 宣佈推出 LlamaParse 文件解析服務,並介紹面向大語言模型及 RAG 應用的託管資料導入與檢索 API。解析器針對含表格、圖表等嵌入物件的複雜 PDF,可輸出保留語義結構的 Markdown,並接入 LlamaIndex 的資料導入與檢索流程。公開預覽目前支援 PDF,每日用量上限為 1k 頁;託管 API 則以私有預覽方式開放予有限的企業設計合作夥伴。
LlamaIndex 推出 llama-index-networks 擴充套件,讓多個建基於外部資料來源的 RAG 組成可供查詢的網絡。資料供應方可用 ContributorService 暴露 QueryEngine,查詢方則用 NetworkQueryEngine 連接多個服務;每次查詢會送往所有 contributors,再綜合回應。
LlamaIndex 宣佈推出全球首個 GenAI 原生文件解析平台 LlamaParse,並新增由 GenAI 驅動的解析指令,讓使用者以自然語言指定文件解析方式。
Langfuse 宣佈與 LlamaIndex 推出一鍵整合,讓 RAG 應用可在 Langfuse 中查看追蹤資料。
LlamaIndex 與開源 LLM 評測框架 UpTrain 整合,讓開發者可評估 RAG 管線並試驗不同配置。UpTrain 提供 20+ 預設檢查,評估與分析均在本地執行(LLM 呼叫除外);其 Callback Handler 可檢查生成回覆、RAG 擷取的上下文及中間步驟。
LlamaIndex 提供 Azure Code Interpreter 工具,讓智能體透過 Azure Container Apps dynamic sessions 沙箱執行 LLM 生成的程式碼。文章示範如何設定工具並接入 ReActAgent,讓智能體查詢西雅圖當前時間,以及讀取、排序和下載 CSV 檔案。
LlamaIndex 推出 Property Graph Index,以標記屬性圖表示擴展知識圖譜的建模、儲存與查詢能力。它支援 schema 引導、隱式及自由形式抽取,並可組合關鍵詞/同義詞、向量相似度、Cypher 查詢與自訂圖遍歷。圖譜節點預設會生成嵌入向量,底層儲存支援記憶體、磁碟及 Neo4j。
LlamaIndex 發佈開源框架 llama-agents 的 alpha 版本,旨在簡化多智能體 AI 系統的構建、迭代與部署,並將智能體轉為生產環境微服務。
LlamaIndex 已向用户廣泛提供 LlamaParse,面向企業級 LLM 和 RAG 應用,支援複雜文件解析、資料接入與檢索。它支援 50+ 種語言和 100+ 種文件格式,檢索可配置 hybrid search、reranking 和 metadata filtering。LlamaParse Playground 可在部署前測試和調整資料接入及檢索策略。
Arize AI 與 LlamaIndex 推出 LlamaTrace,這是一個原生支援 LlamaIndex 與 Arize 生態系的大語言模型追蹤及可觀測性託管平台。
Scaleport.ai 採用 LlamaParse 加快 AI 應用開發,並改善客户互動與銷售成果。團隊可在需求界定階段製作技術原型,即時展示實際價值;LlamaParse 在多項 OCR 任務上勝過 GPT-4 vision。為一名客户開發等效應用時,開發工時較採用 LlamaParse 前減少約 50-60%。
LlamaIndex 宣佈推出 LlamaExtract Beta,這項託管服務可從非結構化文件推斷 schema,並按指定 schema 抽取結構化資料。用户可修改推斷出的 schema,或自行定義 schema;已有 schema 時,服務會逐份文件進行抽取。服務提供 UI 和 API,schema 推斷目前最多處理 5 個文件、每份最多 10 頁。
LlamaParse 推出文件級檢索 API,讓系統按問題需求取得整份文件內容,而不只檢索相關區塊。文件級檢索可按元資料或文件內容選擇文件,並支援調整 top-k 結果及按元資料篩選。配套 Jupyter notebook 示範讓智能體按問題在文件級與區塊級檢索間選擇。
LlamaIndex 推出 workflows beta,讓複雜 AI 應用可透過事件驅動架構編排。工作流由 Python 函數步驟組成,步驟可用事件觸發迴圈、自我修正,並透過 Context 分享執行期間的狀態。功能亦支援非同步與 streaming,並提供可觀測性、工作流視覺化和逐步執行除錯。
LlamaIndex 發佈 Python 版 0.11,新增以事件驅動架構構建生成式 AI 應用的 Workflows,以及 Instrumentation 功能。