超越 OCR:DeepSeek-OCR 的視覺壓縮如何服務文件 AI
LlamaIndex 解讀 DeepSeek-OCR 將文件圖像作為文字資訊的壓縮表示,並分析其與文件解析、LlamaParse 的關係。文中稱,論文示例把 1,000 個文字 tokens 壓至 100 個視覺 tokens,解碼準確率為 97%;20× 壓縮時準確率約為 60%。文章指出,RAG、文件問答和摘要等理解型用途可考慮視覺壓縮;若需要結構化資料、語義層級或精確文字操作,仍需文件解析。
LlamaIndex 解讀 DeepSeek-OCR 將文件圖像作為文字資訊的壓縮表示,並分析其與文件解析、LlamaParse 的關係。文中稱,論文示例把 1,000 個文字 tokens 壓至 100 個視覺 tokens,解碼準確率為 97%;20× 壓縮時準確率約為 60%。文章指出,RAG、文件問答和摘要等理解型用途可考慮視覺壓縮;若需要結構化資料、語義層級或精確文字操作,仍需文件解析。
LlamaIndex 推出 LlamaParse v2,以四級配置取代 v1 的解析模式,並加入版本固定選項。四級為 Fast(1 credit/page)、Cost Effective(3 credits/page)、Agentic(10 credits/page)及 Agentic Plus(45 credits/page)。
LlamaIndex 電子報宣佈 LlamaParse v2,簡化設定並降低最高 50% 成本,另推出可自動分隔文件的 LlamaSplit Beta API。內容亦涵蓋採用虛擬檔案系統隔離的 Claude 安全編碼智能體、由 Gemini 3 Flash 驅動的檔案系統探索智能體,以及擴展支援 OpenAI Codex 的 AgentFS 整合。
LlamaIndex 指出,智能體正以檔案及檔案系統管理長期對話、檢索外部上下文和載入技能,並將其視為重要的上下文介面。作者稱,實驗中配備檔案系統工具和語義搜尋的推理智能體可動態檢索上下文,而單靠檔案搜尋在中小型文件集合上亦勝過 naive semantic search(不計延遲)。
LlamaIndex 本期電子報彙整產品、競賽與合作更新,包括 LlamaExtract 新增引用邊界框、推出 LobsterX,以及 Skills 與 MCP 工具選用指南。
LlamaIndex 本期電子報介紹其由 RAG 框架發展為智能體文件處理平台,並聚焦 LlamaParse、耐久工作流程及文件解析工具更新。平台服務 300k+ 用户、支援 50+ 格式;DBOS 整合提供自動步驟持久化與崩潰復原,另有簡報搜尋及 PDF 圖表解析工具。
LlamaIndex 本期電子報宣佈推出 LiteSearch 本地文件檢索系統,並聚焦文件解析能力更新。LiteSearch 以 LiteParse 建構檢索流程,涵蓋解析、分塊、嵌入向量與向量儲存,無需外部依賴;電子報亦介紹 .docx 表格頁面定位改進,以及整合 Gemini 3.1 Live API 的語音助理示範。
LlamaIndex 復盤 LlamaParse 文件處理流程中的兩類生產故障:模型重複輸出造成延遲與資源耗盡,recitation 內容攔截則令生成中止並使下游流程出錯。
LlamaIndex 推出 LiteParse Server,將 LiteParse 封裝為可自託管的 HTTP API,供不同語言或服務作為文件解析後端。它支援 PDF、Office 文件和圖片,提供帶有文字位置與邊界框的解析結果,並設有 /parse 和 /screenshots 兩個端點。
Adobe Acrobat 的 Scan & OCR 可用四次點擊為掃描 PDF 建立文字層,讓單份文件可用 Ctrl+F 搜尋,但不保證大量檔案檢索準確。單份低敏感文件可用免費線上 OCR,機密批次掃描則可用本機 OCRmyPDF;Google Drive 會把文字轉成新 Doc,而非可搜尋 PDF。
LlamaIndex 在 LlamaParse Index 中加入 Retrieval Harness,並將該功能及其他更新以 Beta 形式開放予所有付費方案。
LlamaIndex 將先低成本解析並檢索、再對相關頁面執行 VLM-OCR 的流程稱為 Just-in-Time Agentic OCR,適用於約 10–100 份文件的臨時資料室。
研究以涵蓋五個資料集、三類任務的 1,891 個樣本,評估 11 個 LLM 在實際 RAG 設定中的檢索穩健性;整體穩健性普遍偏高,但因任務而異。停用推理時,Qwen 和 GPT 模型的穩健性明顯下降,即使在單跳 QA 任務上亦然;把檢索文件作為工具回覆提供,則提升 Claude 模型表現、損害 Qwen 和 GPT 模型表現。研究指出,是否採用 RAG 仍須按個案判斷。
Inception Labs 發佈 Mercury 2.5,稱其相較 Mercury 2 智能提升 40%,並維持低延遲、低成本的服務特性。
AWS 介紹並部署 Adjudicated Query 模式,讓 Amazon Quick 的自然語言合規查詢透過固定 MCP 操作交由確定性規則引擎判定,而非由模型作出決策。
推薦理由:文章把自然語言查詢與合規判定分開,並以完整性收據和逐筆證據鏈展示如何核對大量檢查結果。
Ai2 開源 AstaBrief 8B,這款模型可把研究問題和檢索到的文獻摘錄生成帶引用報告,並已在 Asta 的 Generate a report 功能中提供 Fast mode。
Ai2 開源 AstaBrief 8B 及其訓練資料,並將這款科學報告生成模型加入 Asta 的 Fast mode。它以 Qwen3-8B 為基礎,根據研究問題和檢索到的文獻摘錄一次生成附引文報告;Asta 全流程中,Fast mode 平均每份報告需時 51.1 秒,較 Thinking mode 的 178.5 秒快約 3.5 倍。
SEER 是一個用於時間序列預測的閉環框架,在六個波動性時間序列基準測試中,持續優於最先進的時間序列基礎模型及語言模型基線。它將預測誤差轉化為兩種回饋機制:反思式檢索記憶,用以改進搜尋查詢及過濾雜訊;持續性因果知識庫,用以提煉可遷移的領域動態。框架在事件檢索及反思過程中嚴守時間順序,避免前視偏差及數據洩漏。
研究在德語單語 RAG 問答測試集上發現,智能體的推理語言與查詢及檢索文件語言一致,有助提升表現。強制以德語推理優於法語,即使模型在法語基準評測表現較高;檢索上下文越豐富且具結構感知,優勢越大。德語推理僅追平模型不受限制的原生英語推理,未能超越;研究團隊公開釋出測試集及 QA 基準。
n8n 團隊的指南比較向量 RAG 與 LLM 知識圖譜,並按檢索資訊的結構説明兩者各自適用的情境。向量 RAG 適合答案集中於少量語義相關段落的情況;需跨文件連結實體關係及處理多跳問題時,可考慮知識圖譜,兩類檢索並用則是 HybridRAG。n8n 可用向量儲存節點、實體抽取及 AI Agent 節點組合 HybridRAG,並透過執行記錄和逐步除錯查看流程資料。
AGO AI Quality Gate 是一套用於工業 RAG 評估的品質閘門框架,協助決定系統版本應放行、修訂還是封鎖。框架在 RAGBench 的評估顯示,gpt-4.1-nano 的 AUROC 為 0.603,gpt-4o 為 0.783;兩者每名評審使用相同分層測試樣本(N=1200)。
SourceLearn 框架讓 AI 智能體隨時間建立可重用、針對特定來源的理解能力。在 13/15 個設定中取得最佳結果,較 Hybrid RAG 最多提升 +22.6 分;移除關鍵文件後,表現約下跌 8 分,Hybrid RAG 則下跌 25 分。學習成果亦可遷移至未練習的任務,改善指引任務未直接涵蓋的來源部分。
保誠與阿里雲推出「AI核保師」,結合通義千問大模型及 RAG,讓理財顧問在數分鐘內獲取初步核保指引。據指方案整體準確率超過 95%、幻覺率低於 2%,並透過阿里雲「前沿部署工程師」(FDE)服務模式,在不足三個月內完成部署。
NeoMME 推出 260M 和 800M 兩種規模的多語言多模態編碼器,並提供用於視覺文件檢索的 NeoMME-Retriever。模型從零開始以單一雙向 Transformer 處理文字 token 和原始圖像 patch;NeoMME-Retriever 單次前向傳播可輸出密集與 late-interaction 嵌入向量。
Meta 團隊構建了一個面向特定合規領域的 AI 智能體,透過結構化知識系統、專家推理流程及自動改進管線,把專家回饋轉為經驗更新,毋須重新訓練模型。知識系統由 200+ 個文件組成,並以可組合流程(recipes)分開管理知識與推理程序;重組後每輪 token 用量減少約 80%。經過六星期、三個開發 sprint,Meta 表示個別評估時間由數天縮短至數分鐘,改進週期未出現回歸。
LG AI Research 提出 ReSQL,一個透過檢索增強錯誤推理持續改進 Text-to-SQL 能力的框架。框架將執行失敗轉化為錯誤推理資料,用 LoRA 微調同一模型,並在推理時檢索三個最相似的錯誤推理案例輔助修正。研究指出,提供正確答案和結構化推理指引後,1B 參數模型也能分析自身錯誤。
Andrew Ng 在《AI 工程技能地圖》第二部分梳理構建及部署 AI 應用所需的六類能力,包括 LLM 基礎、以數據為模型提供依據、構建智能體系統、評測驅動開發、生產環境運行及機器學習基礎。他指出,AI 輸出較難預測,工程師需反覆檢視中間結果,透過評測與錯誤分析推動開發,並處理成本、延遲及安全風險。
Mistral 推出 Agentic Search,讓模型透過多步檢索搜尋、查看、導覽及核實複雜文件中的資料。在 FinanceBench 金融文件測試中,正確率由 26.7% 升至 86%;OfficeQA Pro 表格密集的多文件問題則由 6.3% 升至 51.9%。
推薦理由:FinanceBench 和 OfficeQA Pro 的基準數據呈現 Agentic Search 相較單次 RAG 的準確率提升,也量化延遲與 token 使用量變化。
Andrew Ng 與 DeepLearning.AI 提出 AI Engineering Skills Map 第一部分,列出 AI 工程的四項核心技能。四項技能包括構建及部署 AI 應用、軟件工程基礎、使用編碼智能體,以及塑造產品構建方向。地圖的整理依據包括逾 10,000 則招聘廣告、數十次結構化訪談、問卷和其他網上數據,旨在協助開發者規劃學習重點及僱主招聘。
LangGenius K.K. 將於 9 月 10 日在東京舉辦 IF Con Tokyo 2026,聚焦如何透過 Dify 將生成式 AI 從試點項目投入日常營運。活動設有真實應用案例分享和技術深入環節,涵蓋 AI 智能體、RAG 及工作流程設計,並將公佈一項 Dify 新產品。活動免費入場,須預先登記。
ClusterTech 在 LEAP East 2026 的 HKSTP 展館展示 PRISMA 及 CHESS,涵蓋企業 AI 智能體與高效能運算管理方案。PRISMA 運用大語言模型(LLM)及檢索增強生成(RAG),提供安全且可自訂的智能方案;CHESS 則是 ClusterTech 自行開發的高效能運算管理平台。
AI CRM 系統結合預測分析、生成式 AI 和自動化,協助企業識別高意向潛客、預警客戶流失,並生成情境化跟進內容。SleekFlow 作為 AI 智能通訊層,支援 WhatsApp 與 HubSpot 或 Salesforce 雙向同步,並提供對話摘要、情境化回覆及多代理架構。
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
Google 在 Gemini Enterprise Agent Platform 推出由 Agentic RAG 驅動的 Cross-Corpus Retrieval 公開預覽,透過多智能體規劃、路由及充分上下文檢查,迭代搜尋跨來源資料。
Mistral AI 發佈開源 Search Toolkit 公開預覽版,將資料匯入、檢索與評估整合為共享介面的 AI 搜索框架。它內置 BM25 稀疏檢索、基於嵌入向量的密集檢索及混合檢索,並提供 recall、precision、MRR 和 NDCG 指標,可在自有測試集評估。框架可在雲端、本地部署及邊緣環境運行,並提供 starter app template。
《獨學で鍛える數理思考》系列以兩冊12章説明,高中數學與最前沿 AI 技術可由共通數理框架連繫。五項共通核心包括向量相似度計算、矩陣大規模數據處理、微分學習與最佳化、機率建模與估計,以及基於物理學的考察。這些數理反覆應用於資訊搜尋、商品推薦、Transformer、ViT、CLIP及機械人技術;跨領域學習可看出不同技術背後的共同脈絡。
PaddleOCR 3.5 為支援的 OCR 與文件解析模型加入 Transformers 推理後端,開發者可透過 `engine` 參數選擇。`engine_config` 可設定 dtype、裝置配置及 attention implementation;若優先考慮 OCR 或文件解析吞吐量,文章通常建議使用預設的 paddle_static 後端。
IBM Granite 發佈兩款採 Apache 2.0 授權的多語嵌入模型:97M 參數的 granite-embedding-97m-multilingual-r2 和 311M 參數的 granite-embedding-311m-multilingual-r2。
推薦理由:文章提供 97M 與 311M 版本在多語檢索、長文及程式碼基準的比較,並交代 Matryoshka 維度選項對儲存與部署取捨的影響。
作者以 Python 示範從頭建立向量搜尋流程,涵蓋文字 Embedding、向量儲存、查詢向量化及近鄰搜尋。範例以 sentence-transformers 的 multilingual-e5-base 產生向量,再用 DuckDB VSS 和 HNSW 在本機執行儲存與相似度搜尋;文中亦比較多款模型及向量資料庫。
Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。
推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。