Mistral 推出 Agentic Search,以多步檢索提升準確率並降低延遲和 token 使用量
Agentic Search. More accurate and efficient results from your AI systems.
Mistral 推出 Agentic Search,讓模型透過多步檢索搜尋、查看、導覽及核實複雜文件中的資料。在 FinanceBench 金融文件測試中,正確率由 26.7% 升至 86%;OfficeQA Pro 表格密集的多文件問題則由 6.3% 升至 51.9%。
FinanceBench 和 OfficeQA Pro 的基準數據呈現 Agentic Search 相較單次 RAG 的準確率提升,也量化延遲與 token 使用量變化。
思考
摘要
Mistral Agentic Search 在 FinanceBench 和 OfficeQA Pro 基準測試中,能以更少輪次、更少 tokens 和更低延遲,帶來更準確的搜尋結果。Agentic Search 是檢索層,讓 AI 系統能在最複雜的文件中瀏覽、閲讀和核實資訊。可透過 Mistral Search Toolkit 和 Libraries 使用。

Mistral Agentic Search 讓模型搜尋和瀏覽組織內最複雜的數據與文件,協助企業提升 AI 系統的結果質素。Agentic Search 引入多步驟檢索循環,讓系統在不同數據來源中尋找、檢視和核實資訊,無論資料儲存於何處都能處理。Agentic Search 可透過 Mistral Search Toolkit 使用,亦已整合至 Libraries,適用於 Studio 和 Vibe,並提供以下功能:
支援敏感及特定領域數據。Mistral 的可攜式開放工具協助你在雲端或本地部署中保持隔離邊界,不必越界便可發揮數據價值。
改善搜尋結果。 模型能在長篇、密集文件中,或跨越多個來源,搜尋及瀏覽數據,而不只侷限於檢索出的文字區塊。
沿用現有索引。Agentic Search 透過五項工具在現有搜尋索引上運作:
search、open、navigate、read和grep。更高準確度。根據 FinanceBench,Agentic Search 在財務申報文件上達到3 倍 正確率,由 26.7% 升至 86%。在 OfficeQA Pro 基準中,針對表格密集、多文件的問題,分數提升45.6 個百分點(由 6.3% 升至 51.9%)。
降低延遲和 tokens 用量。透過目標式瀏覽,Agentic Search 可把 p90延遲最多降低 39.6%。減少重複搜尋,最多可節省三分之一 tokens。
數據創造競爭優勢
競爭優勢建基於多年實務運作所累積的數據、流程和領域專長。專有知識既是成功關鍵,也高度機密,因此存放在隔離邊界、分段部署及自建平台之後。這些知識累積於財務申報、法律合約、內部資源和政府紀錄等長篇密集文件中,而傳統搜尋方法無法有效瀏覽這些文件。
能持續學習和改善的 Agent 有助擴大競爭優勢,但基於安全理由,這類 Agent 往往無法接觸機密數據和專有知識。要真正發揮 AI 的影響力,就要把前沿推理能力與檢索工具結合,讓它們能安全地存取最敏感的資料。
傳統 RAG 有其不足
傳統單次 RAG 會檢索一組固定的文字區塊,然後要求模型一次過作答。如果答案就在其中一個最相關的結果中,這種方法便有效;但若模型需要瀏覽長篇報告、追蹤參照、比較多份文件,或核實證據來源,效果就會欠佳。
面對密集複雜的數據和文件,限制會更加明顯。回答問題所需的資訊可能分散在多份文件中,或藏於特定表格、註腳或條款內。單次 RAG 搜尋無法充分發揮前沿 AI 的能力,也難以提供可靠答案,原因有三:
有檢索,無推理: 即使初次檢索所選的文字區塊並不完整或不相關,模型仍須根據它們作答。模型無法決定作答前是否需要另一份文件、另一節內容或更多上下文,因此推理能力受到限制。
受限於文字區塊:重要數據往往藏在複雜的多模態文件中。例如,問「該公司的第 3 季實際税率是多少?」時,索引或許能找到正確文件,卻無法開啟文件、瀏覽到相應表格、閲讀前後文或核實答案。
沒有迭代:很多問題需要多於一輪檢索才能答對。模型可能需要改善搜尋、檢視有用文件、追蹤參照、比較多個來源、記錄已查看內容,並在首次結果不足時嘗試其他路徑。單次 RAG 無法進行這些後續步驟。
採用 Agentic Search
只使用 1953 年所有個別曆月的公佈數值,計算美國國防及相關活動支出的總和(以百萬名義美元計)是多少?
執行軌跡 3 次工具呼叫(搜尋 2 次 → 閲讀)
search("national defense expenditures monthly 1953") → 找到各月份公告(只涵蓋部分年份)
search("…1953 November December 1954 to date") → 找到 treasury_bulletin_1954_02.pdf 第 15 頁(表 3,列出 1953 全年 12 個月)
read(treasury_bulletin_1954_02.pdf, p.15) → 擷取完整表 3
1953 年每月數值
表 3,單位:百萬美元
| 1 月 | 2 月 | 3 月 | 4 月 | 5 月 | 6 月 | 7 月 | 8 月 | 9 月 | 10 月 | 11 月 | 12 月 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 3,632 | 3,501 | 3,789 | 3,891 | 3,746 | 4,056 | 3,890 | 3,519 | 3,787 | 3,647 | 3,540 | 3,465 |
總和 = 44,463。
Agentic Search 的運作方式
Mistral Search Toolkit 提供開放模組,供你在雲端或本地部署中擷取、嵌入及索引重要的複雜數據。Agentic Search 在此索引上運作,提供五項工具,功能類似常見的檔案系統操作:
search使用現有索引在整個語料庫中尋找相關文件。open開啟指定文件。navigate移至文件內的頁面、章節或區域。read擷取指定位置的內容。grep在已開啟的文件中尋找符合模式的內容。
模型不必只根據最初檢索出的 top-k 結果作答,而可以檢視搜尋結果、調整搜尋、開啟相關文件、瀏覽到指定章節,並在回答前閲讀原文。索引負責找出可能相關的來源;Agentic Search 則決定要在來源內或來源之間檢視甚麼。
單次 RAG

Agentic Search

這些工具不需要微調或針對特定模型訓練。隨着模型推理和使用工具的能力提升,即使不更改基礎設施,檢索結果亦會改善。這是個關鍵特性:檢索質素會隨模型能力提升,而非受限於分塊策略。
適合使用 Agentic Search 的情況
長篇文件。申報文件、合約、手冊、技術規格和報告;答案可能在特定頁面或表格、條款、圖表、註腳之中。
跨多個來源的問題。答案需要先從多份文件中尋找、比較或調和證據,再得出結論。
必須核實的答案。財務數字、法律條款、法規參照及營運數據;回答內容必須能追溯至文件中穩定而明確的位置。
表格及結構化文件。財務報表、政府紀錄和掃描 PDF;其含義取決於行列、頁面位置或上下文,而非只有敍述文字。
以下情況以索引檢索作為起點較合適
直接查找。內容簡短清晰,答案很可能出現在最先檢索到的文字區塊之一。
大量搜尋。需要以關鍵字或語意搜尋找出相關段落,但無須推理或瀏覽文件。
簡單而可預測的問題。已知答案可能來自哪個來源和位置,多做檢索步驟亦不太可能改善結果。
單次 RAG 通常足以應付這些搜尋。如果問題需要模型超越初始結果並調查來源內容,便可加入 Agentic Search。無論是哪種情況,設定良好的索引都是合適的基礎。
結果更相關,速度更快
我們使用即開即用的 Mistral Search Toolkit 技術堆疊,在兩項業界標準評估中測試 Agentic Search:採用預設分塊、預設排序,沒有調校。這些結果是下限,而非上限; 表示你可按具體用途調校,進一步改善結果質素。
我們使用 Mistral Search Toolkit 測試了兩個模型:Mistral Medium 3.5(MM 3.5)和 Z.ai GLM-5.2(GLM-5.2),分別展示較小模型(MM 3.5)和較大模型(GLM-5.2)的表現。
基準測試結果一致:Agent 循環能實質提升質素,而瀏覽工具可提高準確度,同時減少浪費的 tokens、輪次和延遲。我們在第一方和第三方模型上都觀察到相同表現模式,顯示 Agentic Search 不受模型限制,亦表示搜尋質素應會隨新模型推出而改善。
FinanceBench:368 份 SEC 申報文件、150 條問題
FinanceBench(Islam 等人,2023)測試以 368 份 SEC 申報文件(10-K/10-Q/8-K)回答財務問題;每份平均約 147 頁,合共約 53,900 頁,都是篇幅長、表格密集的財務文件。答案由 LLM 評審評分,並以人工標籤校準。
我們發現:
只有搜尋的 Agent 循環是提升質素的最大關鍵。由單次 RAG 改為只有搜尋的循環後,MM 3.5 的準確度提高47.3 個百分點,GLM-5.2 提高52.6 個百分點;兩個模型均約提升至 3 倍。模型可以反覆搜尋,從而挽救欠佳的初次結果、改善查詢,並把索引當作主動工具使用。
瀏覽可進一步提高準確度。 加入 open、navigate、read 和 grep 後,MM 3.5 準確度再提高8.7 個百分點,GLM-5.2 再提高6.7 個百分點。這表示在複雜文件中,有目標地深入檢視,比重複廣泛搜尋更有效。
檢索工具改善 token 和效能效率。與只有搜尋的循環相比,加入瀏覽的完整循環能用更少 tokens 正確回答更多問題(MM 3.5:用量減少 23.9%;GLM-5.2:減少 33.7%)。檢索工具並非額外開銷,而是以精準瀏覽取代浪費的重複搜尋。
在關鍵情況下延遲下降。在 FinanceBench 中,加入導航檢索工具後,延遲有所改善:p90 由 255 秒降至 154 秒,平均延遲由 108 秒降至 71 秒。整體而言,只有搜尋的循環會反覆進行廣泛搜尋;瀏覽則有助模型更快找到證據。
OfficeQA Pro:696 份財政部公告、133 條問題
OfficeQA Pro 是一項可核實數值答案的基準測試,內容取自美國歷史財政部公告:語料庫有 696 份掃描的政府財政 PDF、約 89,000 頁,表格密集。我們報告其中 133 條「pro」子集問題的首次測試結果。
我們發現:
Agentic Search 和加入瀏覽的 Agent 循環,能應付更困難且可核實的基準測試。OfficeQA Pro 涉及數值答案、掃描 PDF 和深入查找表格。即使如此,完整 Agent 循環仍大幅提升準確度;GLM-5.2 達到 51.9%(增加 45.6 個百分點),MM 3.5 則提高27.1 個百分點。
瀏覽提升質素,同時減少浪費。使用完整循環(Agent 循環 + 瀏覽)後,準確度最多提高35.6%(MM 3.5:增加 7.5 個百分點;GLM-5.2:增加 8.3 個百分點,達 19.0%),同時降低 tokens 用量。輪次最多減少 7.0%(MM 3.5;GLM-5.2 則減少2.3%)。
基準測試愈困難,檢索循環就愈重要。OfficeQA Pro 以掃描、表格密集文件中的數值答案為核心。單次 RAG 幾乎無法應付,而 Agent 循環讓模型反覆搜尋、檢視證據,並大幅提升準確度。
工具堆疊會大幅影響文件理解和搜尋效能。 根據 Kimi 的研究,GLM-5.2 搭配 Claude Code harness 在 OfficeQA Pro 得分 41.4%,搭配 Mistral harness 則得分 51.9%;同一底層模型相差 10.5 個百分點。
開始使用
請參閲文件,深入瞭解 Agentic Search。你可在雲端或本地部署中使用以下其中一種方式開始:
Mistral Search Toolkit。把 Agentic Search 整合至自己的 Agent、工作流程和客戶部署。
Libraries。在 Studio 和 Vibe 中直接使用 Agentic Search,無須自行建構檢索系統。
最快測試 Search Toolkit 的方法是使用 Search Starter App。它會以預設設定,為你自己的語料庫建立本機索引,讓你即使不熟悉搜尋技術也能試用 Agentic Search。準備好按用途設定後,你可以:
來源:Mistral AI · mistral.ai