跳到正文
Mistral AI·· 2026-06-23精選AI 評分60

Mistral OCR 4 發佈,新增文件區塊定位、分類與信心分數

Introducing Mistral OCR 4

AI 導讀

Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。

推薦理由

文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。

正文 · 繁體中文

思考

摘要

Mistral OCR 4 帶來突破性的文件解析功能,包括邊界框、區塊分類及內嵌信心分數;支援 170 種語言,亦可在單一容器中執行,適用於自我託管部署。它在人工評估和基準測試中勝過領先 OCR 系統,同時為企業搜尋、RAG 及 Agent 工作流程提供具成本效益的高吞吐量處理。你可透過 API 或 Document AI 使用,產生結構化輸出以供自訂流程或免程式碼應用程式使用,亦可選擇自我託管。

今天,我們發布 Mistral OCR 4。除了擷取文字之外,它亦提供邊界框、區塊分類和內嵌信心分數。模型支援 10 個語言組別中的 170 種語言,可在單一容器中執行,實現完全自我託管部署,並可作為資料擷取元件,用於企業搜尋、RAG 及特定領域檢索流程。OCR 4 是小巧而專注的模型;本文會介紹新功能、它在公開和內部基準測試中的表現、這些基準測試已知的限制,以及何時應使用模型 API 或 Document AI。

重點

  • 突破性表現。在受測的所有領先 OCR 和文件 AI 系統中,獨立標註人員均偏好 OCR 4,平均勝率為 72%;它亦在 OlmOCRBench 取得最高整體分數(85.20)。評估方法和已知評分限制見下文「基準測試」。

  • 不只擷取文字,也能分割文件。除了擷取文字,OCR 4 亦會傳回邊界框、分類區塊類型(標題、表格、方程式、簽名等),並提供內嵌信心分數。邊界框是用戶最常要求的功能,可定位文字,方便上下文標示和建立可靠數據流程。同時,區塊類型和信心分數亦有助製作可追溯來源的引用、遮蓋資料,以及人手覆核流程。

  • 整合 Mistral Search Toolkit(公開預覽)。OCR 4 是 Search Toolkit 的資料擷取元件。Search Toolkit 是 Mistral 的開放原始碼、可組合搜尋框架,並於 AI Now Summit 公佈。它的結構化輸出為 RAG 和企業搜尋的工具包擷取、檢索及評估流程提供可直接用作引用的輸入。

  • 多語言支援。支援 10 個語言組別中的 170 種語言,並在多種專門語言和低資源語言上取得可量度的提升;競爭系統在這些語言上的表現往往會下降。

  • 在自己的基礎設施上執行。OCR 4 體積小巧,可部署於單一容器,在支援成本效益高、高吞吐量批次處理的同時,讓文件數據留在你的環境中,符合資料駐留、主權及合規要求。企業客戶可使用自主管理式部署。

概覽

Mistral OCR 4 能從各類文件擷取並整理內容。上一代主要把頁面轉換成整潔文字和表格,OCR 4 則會傳迴文件的結構化表示。每個區塊都會以邊界框定位、按類型分類,並按頁面和字詞產生內嵌信心分數。因此,下游系統不只知道文件寫了甚麼,還知道各元素位於何處、扮演甚麼角色,以及模型對每個區域有多大信心。

這種結構可支援多種下游工作:

  • 用於 RAG 的語意分塊:整潔且已分類的區塊可成為更佳檢索單位。

  • 供 Agent 使用的結構化基礎元件:Agent 不再只閲讀文件,亦可採取行動(填寫表格、處理發票、進行合規檢查)。

  • 供連接器使用的結構化內容:為資料擷取和索引流程提供一致、具類型的輸出。

OCR 4 支援常見企業格式,包括 PDF、DOC、PPT 和 OpenDocument,並支援 10 個語言組別中的 170 種語言,包括其他系統往往難以處理的專門語言和低資源語言。它體積小巧,可在單一容器中部署,適用於注重成本及高用量部署。它亦可完全自我託管,讓有數據主權要求的機構把文件數據保留在自己的基礎設施內。

開發者可透過 API 整合模型;團隊亦可在 Mistral Studio 使用 Document AI,以應用層級的免程式碼方式使用相同引擎。透過 API 使用 Mistral OCR 4,每 1,000 頁收費 $4;使用 Batch API 可享 50% 折扣,費用減至每 1,000 頁 $2。Document AI 每 1,000 頁收費 $5。

基準測試

「我們以圖表和圖像密集的金融問答數據集,把 Mistral OCR 4 與領先的 Agent 文件解析器作基準比較,結果在準確度相若的情況下,成本約低 8 倍,延遲低 17 倍。對大規模正式用途而言,這種差距會迅速累積。」
- Aidan Donohue,Rogo AI 工程師

為評估 OCR 4,我們把它與領先的 AI 原生 OCR 模型、前沿通用模型、企業文件服務,以及自家的 Mistral OCR 3 比較。

人工偏好評估

自動化基準測試會受到上文所述的評分問題影響,因此我們另外以反映實際用途的文件進行人手直接比較。我們從第三方供應商收集 600 多份、涵蓋 12 種以上語言的文件,以代表真實業界用途,並要求獨立標註人員在不知情的情況下,逐份比較各競爭系統和 OCR 4 的輸出並排序。

在所有受測系統中,標註人員在大部分文件上都偏好 OCR 4。這些是以真實文件作出的人類判斷,而非與固定參考答案逐字比較,因此可避開許多影響自動評分的標註和格式噪音。

整體表現

「與我們現有的供應商相比,Mistral OCR 每頁速度約快 4 倍;對速度會直接影響客戶 IP 時限管理的高用量文件立案工作流程來説,這成果令人印象深刻。」 
- Ivan Mihailov,Anaqua AI 工程師

除了在人類偏好評估中排名第一,OCR 4 在公開 OlmOCRBench(85.20)上亦取得受測模型中最高整體分數,並在內部的多語言 Crawl 評估(.98)中領先,勝過 AI 原生及企業級方案。

在 OmniDocBench 上,OCR 4 得分 93.07。但須注意,OlmOCRBench 和 OmniDocBench 在某些輸出的評分方式上均有已知限制;單一總分可能會低估或高估實際使用表現。

我們審核評分不一致的個案後發現,大部分並非模型錯誤,而是基準測試比較輸出方式造成的結果。常見類別包括:

  • 標準答案錯誤。部分參考標註本身不正確:漏字或多字、轉錄已遮蓋區域的文字,或拼寫錯誤(例如參考答案把引用作者姓名拼錯,模型卻正確讀出頁面上的姓名)。即使輸出符合原始文件,仍會被判錯。

  • 數學符號表示法等價。不同 LaTeX 只要呈現效果相同,也會被計作不匹配。呈現出來的方程式其實正確,但字串比較卻判為錯誤。 

  • 方程式分段。一個算式是作為單一方程式輸出,還是拆成多個行內片段,會影響匹配結果;即使呈現內容完全相同,也可能因比對器無法對齊各部分而被判錯。

  • 多欄閲讀順序。跨欄分開的字詞(例如「certifi-cates」)和欄位排序假設,可能令正確擷取結果被評為閲讀順序錯誤。

  • 區塊類型歸類。基準測試不預期輸出頁眉/頁腳。為解決此問題,我們會在評分前從輸出中移除頁眉和頁腳。但測試接着會檢查一段同時也是頁面標題的字串;這個標題本應保留,卻會被錯誤標示。

這些評估偏差主要出現在數學、科學和多欄文件中,而且它們較常懲罰正確輸出,而非錯誤輸出。因此,我們只把總分視為方向性指標,而非定論。

這些基準測試只提供方向性參考。所有競爭產品分數均來自我們內部重現的測試。我們建議你使用自己的文件進行評估。

效能詳情

Crawl 多語言細分結果。在內部多語言評估中,OCR 4 在全部八個語言組別均領先:英文、西歐、東歐、中東、中文、東亞、東南亞,以及專門語言(印地語、日語、格魯吉亞語、孟加拉語、亞美尼亞語、希伯來語、希臘語、古吉拉特語、泰米爾語、馬拉雅拉姆語、卡納達語、泰盧固語)。在專門語言和低資源語言方面差距最大;許多競爭系統在這些語言上的表現急跌,OCR 4 則維持高準確度。

建議用途

OCR 4 支援高用量流程和互動式文件工作流程,包括:

  • 文件解析和擷取:複雜的多語言文件。

  • 檢索增強生成(RAG):用於語意分塊和以來源為依據回答的結構化、分類及可引用內容。配合 Search Toolkit,OCR 4 輸出可直接送入檢索流程。

  • Agent 工作流程:為 Agent 提供結構化基礎元件,完成表格填寫、發票處理和合規檢查等任務,尤其適用於法律、金融服務及醫療保健領域。

  • 利用信心分數建立結構化數據流程,讓人手核實更有效率:表格/發票擷取、遮蓋資料,以及受合規要求規管的流程。

  • 企業搜尋和知識庫:把 OCR 作為自訂資料擷取及實體抽取的數據來源元件。

早期用戶正運用 OCR 4 把發票轉成結構化欄位、將公司檔案數碼化、從技術及科學報告擷取整潔文字,以及支援企業搜尋。

不適用用途提示。OCR 4 是文件理解模型,不是決策者。它不適用於醫療診斷、法律意見或判斷、高風險財務決策、攸關安全的系統、即時/對延遲敏感的處理,或非文件輸入(原始音訊、影片等)。

OCR 4 API:瞭解你的選項

Mistral OCR 4 可透過單一 API 端點使用。每個請求都會執行相同的 OCR 模型,並一律傳回擷取內容、邊界框、區塊類型、信心分數,以及以 Markdown 結構化的文字。不同之處在於你會在上層加入甚麼功能。

如要直接擷取內容,可純粹使用 OCR 4:

  • 把快速、準確的文件擷取功能直接整合至你的應用程式、Agent 或數據流程。

  • 直接處理原始回應、邊界框、區塊類型和信心分數,以支援自訂下游邏輯。

  • 透過 Batch API 完全掌控吞吐量和成本,執行高用量或批次擷取。

  • 如有嚴格的資料私隱、主權或合規要求,可選擇自我託管。

如要啟用 Document AI 功能(相同端點,另加參數):

  • 按你定義的 schema 傳回結構化 JSON:連同文件傳入 JSON schema,OCR 輸出便會交由 mistral-small-2603 生成符合規格的內容。

  • 傳入圖像標註 schema,以結構化 JSON 標註偵測到的圖像;每張圖像都會觸發額外的視覺語言模型呼叫。

  • 同時使用自訂提示和 JSON schema,指引如何解讀或摘要整份文件中擷取的內容。

  • 讓業務用戶、解決方案團隊或試點專案在無須編寫下游剖析邏輯的情況下,取得結構化結果。

實際選擇原則:如需原始擷取內容,直接使用 OCR 4;如需把輸出改為結構化格式、加上特定領域欄位標註,或套用自訂指示處理,便在同一請求中加入 Document AI 參數。無論如何,你都會取得 OCR 結果;Document AI 只是在上層加入結構化功能。

現已推出

「Mistral Document AI 搭配 OCR 4 在 Microsoft Foundry 上推出,是我們合作關係中的重要里程碑。我們正攜手協助客戶把先進的結構化文件理解功能直接整合至 AI 工作流程,結合 Mistral 的創新與 Microsoft 的企業平台,為真實商業需求提供可擴展、值得信賴的方案。」
-Kimmi Grewal,Microsoft AI 生態系合作副總裁

Mistral OCRv4 和由 OCRv4 驅動的 Document AI 現已可透過 API,在 Mistral Studio、Amazon SageMaker 和 Microsoft Foundry 使用;Snowflake Parse Document 即將推出。如機構有嚴格的資料私隱要求,OCR 4 亦提供自我託管選項,讓敏感資訊留在自己的基礎設施中。如要了解自我部署,請聯絡我們。 

立即開始

我們提供多種快速開始和了解產品的方式。

來源:Mistral AI · mistral.ai