Mistral OCR 4 發佈,新增文件區塊定位、分類與信心分數
Introducing Mistral OCR 4
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
思考
摘要
Mistral OCR 4 帶來突破性的文件解析功能,包括邊界框、區塊分類及內嵌信心分數;支援 170 種語言,亦可在單一容器中執行,適用於自我託管部署。它在人工評估和基準測試中勝過領先 OCR 系統,同時為企業搜尋、RAG 及 Agent 工作流程提供具成本效益的高吞吐量處理。你可透過 API 或 Document AI 使用,產生結構化輸出以供自訂流程或免程式碼應用程式使用,亦可選擇自我託管。
今天,我們發布 Mistral OCR 4。除了擷取文字之外,它亦提供邊界框、區塊分類和內嵌信心分數。模型支援 10 個語言組別中的 170 種語言,可在單一容器中執行,實現完全自我託管部署,並可作為資料擷取元件,用於企業搜尋、RAG 及特定領域檢索流程。OCR 4 是小巧而專注的模型;本文會介紹新功能、它在公開和內部基準測試中的表現、這些基準測試已知的限制,以及何時應使用模型 API 或 Document AI。
重點
突破性表現。在受測的所有領先 OCR 和文件 AI 系統中,獨立標註人員均偏好 OCR 4,平均勝率為 72%;它亦在 OlmOCRBench 取得最高整體分數(85.20)。評估方法和已知評分限制見下文「基準測試」。
不只擷取文字,也能分割文件。除了擷取文字,OCR 4 亦會傳回邊界框、分類區塊類型(標題、表格、方程式、簽名等),並提供內嵌信心分數。邊界框是用戶最常要求的功能,可定位文字,方便上下文標示和建立可靠數據流程。同時,區塊類型和信心分數亦有助製作可追溯來源的引用、遮蓋資料,以及人手覆核流程。
整合 Mistral Search Toolkit(公開預覽)。OCR 4 是 Search Toolkit 的資料擷取元件。Search Toolkit 是 Mistral 的開放原始碼、可組合搜尋框架,並於 AI Now Summit 公佈。它的結構化輸出為 RAG 和企業搜尋的工具包擷取、檢索及評估流程提供可直接用作引用的輸入。
多語言支援。支援 10 個語言組別中的 170 種語言,並在多種專門語言和低資源語言上取得可量度的提升;競爭系統在這些語言上的表現往往會下降。
在自己的基礎設施上執行。OCR 4 體積小巧,可部署於單一容器,在支援成本效益高、高吞吐量批次處理的同時,讓文件數據留在你的環境中,符合資料駐留、主權及合規要求。企業客戶可使用自主管理式部署。
概覽
Mistral OCR 4 能從各類文件擷取並整理內容。上一代主要把頁面轉換成整潔文字和表格,OCR 4 則會傳迴文件的結構化表示。每個區塊都會以邊界框定位、按類型分類,並按頁面和字詞產生內嵌信心分數。因此,下游系統不只知道文件寫了甚麼,還知道各元素位於何處、扮演甚麼角色,以及模型對每個區域有多大信心。
這種結構可支援多種下游工作:
用於 RAG 的語意分塊:整潔且已分類的區塊可成為更佳檢索單位。
供 Agent 使用的結構化基礎元件:Agent 不再只閲讀文件,亦可採取行動(填寫表格、處理發票、進行合規檢查)。
供連接器使用的結構化內容:為資料擷取和索引流程提供一致、具類型的輸出。
OCR 4 支援常見企業格式,包括 PDF、DOC、PPT 和 OpenDocument,並支援 10 個語言組別中的 170 種語言,包括其他系統往往難以處理的專門語言和低資源語言。它體積小巧,可在單一容器中部署,適用於注重成本及高用量部署。它亦可完全自我託管,讓有數據主權要求的機構把文件數據保留在自己的基礎設施內。
開發者可透過 API 整合模型;團隊亦可在 Mistral Studio 使用 Document AI,以應用層級的免程式碼方式使用相同引擎。透過 API 使用 Mistral OCR 4,每 1,000 頁收費 $4;使用 Batch API 可享 50% 折扣,費用減至每 1,000 頁 $2。Document AI 每 1,000 頁收費 $5。
基準測試
「我們以圖表和圖像密集的金融問答數據集,把 Mistral OCR 4 與領先的 Agent 文件解析器作基準比較,結果在準確度相若的情況下,成本約低 8 倍,延遲低 17 倍。對大規模正式用途而言,這種差距會迅速累積。」
- Aidan Donohue,Rogo AI 工程師
為評估 OCR 4,我們把它與領先的 AI 原生 OCR 模型、前沿通用模型、企業文件服務,以及自家的 Mistral OCR 3 比較。
人工偏好評估
自動化基準測試會受到上文所述的評分問題影響,因此我們另外以反映實際用途的文件進行人手直接比較。我們從第三方供應商收集 600 多份、涵蓋 12 種以上語言的文件,以代表真實業界用途,並要求獨立標註人員在不知情的情況下,逐份比較各競爭系統和 OCR 4 的輸出並排序。
在所有受測系統中,標註人員在大部分文件上都偏好 OCR 4。這些是以真實文件作出的人類判斷,而非與固定參考答案逐字比較,因此可避開許多影響自動評分的標註和格式噪音。
_15hPxB.webp%3Fdpl%3D6abbd11780b53c00082eea6f&mode=full&exp=1795478400&sig=57057272b799f9cd)
整體表現
「與我們現有的供應商相比,Mistral OCR 每頁速度約快 4 倍;對速度會直接影響客戶 IP 時限管理的高用量文件立案工作流程來説,這成果令人印象深刻。」
- Ivan Mihailov,Anaqua AI 工程師
除了在人類偏好評估中排名第一,OCR 4 在公開 OlmOCRBench(85.20)上亦取得受測模型中最高整體分數,並在內部的多語言 Crawl 評估(.98)中領先,勝過 AI 原生及企業級方案。
_ZDpUIm.webp%3Fdpl%3D6abbd11780b53c00082eea6f&mode=full&exp=1795478400&sig=d85d8feb40f96d0c)
在 OmniDocBench 上,OCR 4 得分 93.07。但須注意,OlmOCRBench 和 OmniDocBench 在某些輸出的評分方式上均有已知限制;單一總分可能會低估或高估實際使用表現。
我們審核評分不一致的個案後發現,大部分並非模型錯誤,而是基準測試比較輸出方式造成的結果。常見類別包括:
標準答案錯誤。部分參考標註本身不正確:漏字或多字、轉錄已遮蓋區域的文字,或拼寫錯誤(例如參考答案把引用作者姓名拼錯,模型卻正確讀出頁面上的姓名)。即使輸出符合原始文件,仍會被判錯。
數學符號表示法等價。不同 LaTeX 只要呈現效果相同,也會被計作不匹配。呈現出來的方程式其實正確,但字串比較卻判為錯誤。
方程式分段。一個算式是作為單一方程式輸出,還是拆成多個行內片段,會影響匹配結果;即使呈現內容完全相同,也可能因比對器無法對齊各部分而被判錯。
多欄閲讀順序。跨欄分開的字詞(例如「certifi-cates」)和欄位排序假設,可能令正確擷取結果被評為閲讀順序錯誤。
區塊類型歸類。基準測試不預期輸出頁眉/頁腳。為解決此問題,我們會在評分前從輸出中移除頁眉和頁腳。但測試接着會檢查一段同時也是頁面標題的字串;這個標題本應保留,卻會被錯誤標示。
這些評估偏差主要出現在數學、科學和多欄文件中,而且它們較常懲罰正確輸出,而非錯誤輸出。因此,我們只把總分視為方向性指標,而非定論。
這些基準測試只提供方向性參考。所有競爭產品分數均來自我們內部重現的測試。我們建議你使用自己的文件進行評估。
效能詳情
Crawl 多語言細分結果。在內部多語言評估中,OCR 4 在全部八個語言組別均領先:英文、西歐、東歐、中東、中文、東亞、東南亞,以及專門語言(印地語、日語、格魯吉亞語、孟加拉語、亞美尼亞語、希伯來語、希臘語、古吉拉特語、泰米爾語、馬拉雅拉姆語、卡納達語、泰盧固語)。在專門語言和低資源語言方面差距最大;許多競爭系統在這些語言上的表現急跌,OCR 4 則維持高準確度。
建議用途
OCR 4 支援高用量流程和互動式文件工作流程,包括:
文件解析和擷取:複雜的多語言文件。
檢索增強生成(RAG):用於語意分塊和以來源為依據回答的結構化、分類及可引用內容。配合 Search Toolkit,OCR 4 輸出可直接送入檢索流程。
Agent 工作流程:為 Agent 提供結構化基礎元件,完成表格填寫、發票處理和合規檢查等任務,尤其適用於法律、金融服務及醫療保健領域。
利用信心分數建立結構化數據流程,讓人手核實更有效率:表格/發票擷取、遮蓋資料,以及受合規要求規管的流程。
企業搜尋和知識庫:把 OCR 作為自訂資料擷取及實體抽取的數據來源元件。
早期用戶正運用 OCR 4 把發票轉成結構化欄位、將公司檔案數碼化、從技術及科學報告擷取整潔文字,以及支援企業搜尋。
不適用用途提示。OCR 4 是文件理解模型,不是決策者。它不適用於醫療診斷、法律意見或判斷、高風險財務決策、攸關安全的系統、即時/對延遲敏感的處理,或非文件輸入(原始音訊、影片等)。
OCR 4 API:瞭解你的選項
Mistral OCR 4 可透過單一 API 端點使用。每個請求都會執行相同的 OCR 模型,並一律傳回擷取內容、邊界框、區塊類型、信心分數,以及以 Markdown 結構化的文字。不同之處在於你會在上層加入甚麼功能。
如要直接擷取內容,可純粹使用 OCR 4:
把快速、準確的文件擷取功能直接整合至你的應用程式、Agent 或數據流程。
直接處理原始回應、邊界框、區塊類型和信心分數,以支援自訂下游邏輯。
透過 Batch API 完全掌控吞吐量和成本,執行高用量或批次擷取。
如有嚴格的資料私隱、主權或合規要求,可選擇自我託管。
如要啟用 Document AI 功能(相同端點,另加參數):
按你定義的 schema 傳回結構化 JSON:連同文件傳入 JSON schema,OCR 輸出便會交由
mistral-small-2603生成符合規格的內容。傳入圖像標註 schema,以結構化 JSON 標註偵測到的圖像;每張圖像都會觸發額外的視覺語言模型呼叫。
同時使用自訂提示和 JSON schema,指引如何解讀或摘要整份文件中擷取的內容。
讓業務用戶、解決方案團隊或試點專案在無須編寫下游剖析邏輯的情況下,取得結構化結果。
實際選擇原則:如需原始擷取內容,直接使用 OCR 4;如需把輸出改為結構化格式、加上特定領域欄位標註,或套用自訂指示處理,便在同一請求中加入 Document AI 參數。無論如何,你都會取得 OCR 結果;Document AI 只是在上層加入結構化功能。
現已推出
「Mistral Document AI 搭配 OCR 4 在 Microsoft Foundry 上推出,是我們合作關係中的重要里程碑。我們正攜手協助客戶把先進的結構化文件理解功能直接整合至 AI 工作流程,結合 Mistral 的創新與 Microsoft 的企業平台,為真實商業需求提供可擴展、值得信賴的方案。」
-Kimmi Grewal,Microsoft AI 生態系合作副總裁
Mistral OCRv4 和由 OCRv4 驅動的 Document AI 現已可透過 API,在 Mistral Studio、Amazon SageMaker 和 Microsoft Foundry 使用;Snowflake Parse Document 即將推出。如機構有嚴格的資料私隱要求,OCR 4 亦提供自我託管選項,讓敏感資訊留在自己的基礎設施中。如要了解自我部署,請聯絡我們。
立即開始
我們提供多種快速開始和了解產品的方式。
試用 OCR 4。全新的OCR 4 入門 Cookbook會逐步示範首次擷取、使用邊界框及區塊分類。
OCR 4 網絡研討會。我們會透過示範和問答,介紹 OCR 4 的新功能;研討會於七月 7 日中歐時間下午 6:00 舉行。報名參加 OCR4 正式環境應用網絡研討會。
如需更多資訊,請聯絡銷售團隊。
來源:Mistral AI · mistral.ai