Mistral OCR 推出文件理解 API,支援圖片與 PDF 解析
Mistral OCR
Mistral AI 推出 Mistral OCR 文件理解 API,可解析圖片與 PDF,並抽取文字、圖像、表格及公式。API mistral-ocr-latest 已在 la Plateforme 開放,每美元可處理 1000 頁,批次推理下每美元可處理頁數約增至兩倍;Mistral OCR 亦可在 le Chat 免費試用。
Mistral OCR 可解析 PDF、圖片中的表格與公式,並支援 JSON 輸出,展示文件接入 RAG 與 Agent 工作流的實際做法。
在人類歷史上,資訊抽象和檢索技術的進步一直推動社會發展。從象形文字到紙莎草紙,從印刷術到數碼化,每次躍進都令知識更容易取得和應用,並帶動進一步創新。
今天,我們正站在下一次重大躍進的門檻,準備釋放所有數碼資訊的集體智慧。全球約有90%的機構數據以文件形式儲存。為了善用這些潛力,我們推出 Mistral OCR。
Mistral OCR 是一款光學字元辨識 API,為文件理解樹立新標準。有別於其他模型,Mistral OCR 能以前所未有的準確度和理解能力,掌握文件中的各種元素,包括媒體、文字、表格和方程式。它以圖片和 PDF 作為輸入,並按有序次序交錯擷取文字與圖片內容。
因此,Mistral OCR 非常適合與 RAG 系統配合使用,處理投影片或複雜 PDF 等多模態文件。
我們已把 Mistral OCR 設為 Le Chat 數以百萬計用戶的預設文件理解模型,並推出 API mistral-ocr-latest,每美元可處理 1000 頁(批次推論的每美元處理頁數約為兩倍)。API 今天起可在我們的開發者平台 la Plateforme使用,並將於稍後在我們的雲端和推論合作夥伴平台,以及本地部署環境提供。
重點
具備最先進的複雜文件理解能力
原生支援多語言和多模態
頂尖基準測試表現
同類產品中速度最快
以文件作提示,輸出結構化結果
選擇性提供自我託管,供處理高度敏感或機密資訊的機構使用
以下逐項介紹。
具備最先進的複雜文件理解能力
Mistral OCR 擅長理解複雜文件元素,包括交錯排列的圖像、數學表達式、表格,以及 LaTeX 格式等進階版面。這款模型能深入理解內容豐富的文件,例如包含圖表、圖形、方程式和插圖的科學論文。
以下示範模型如何從 PDF 擷取文字和圖像,並輸出為 Markdown 檔案。你可在此處查看 notebook。
以下並排展示 PDF 和相應 OCR 輸出。將滑桿懸停 即可切換輸入和輸出。
表格 + 插圖

OCR 結果

數學

OCR 結果

印地語

OCR 結果

文件

OCR 結果

阿拉伯語

OCR 結果

頂尖基準測試表現
在嚴謹的基準測試中,Mistral OCR 一直勝過其他領先 OCR 模型。以下展示它在文件分析多個方面的卓越準確度。我們會連同文字一併擷取文件內嵌圖片,而下方比較的其他 LLM 不具備這項能力。為公平比較,我們使用內部「純文字」測試集評估這些模型;測試集包含各類出版論文和網絡上的 PDF,結果如下:
模型 | 總體 | 數學 | 多語言 | 掃描文件 | 表格 |
|---|---|---|---|---|---|
Google Document AI | 83.42 | 80.29 | 86.42 | 92.77 | 78.16 |
Azure OCR | 89.52 | 85.72 | 87.52 | 94.65 | 89.52 |
Gemini-1.5-Flash-002 | 90.23 | 89.11 | 86.76 | 94.87 | 90.48 |
Gemini-1.5-Pro-002 | 89.92 | 88.48 | 86.33 | 96.15 | 89.71 |
Gemini-2.0-Flash-001 | 88.69 | 84.18 | 85.80 | 95.11 | 91.46 |
GPT-4o-2024-11-20 | 89.77 | 87.55 | 86.00 | 94.58 | 91.70 |
Mistral OCR 2503 | 94.89 | 94.29 | 89.55 | 98.96 | 96.12 |
原生支援多語言
自 Mistral 成立以來,我們一直致力以模型服務全球,因此持續提升產品的多語言能力。Mistral OCR 將這項能力推向新層次,能辨識、理解並轉錄各大洲數以千計的文字系統、字體和語言。這種靈活性對處理不同語言背景文件的跨國機構,以及服務細分市場的本地企業都至關重要。
模型 | 生成結果模糊匹配度 |
|---|---|
Google-Document-AI | 95.88 |
Gemini-2.0-Flash-001 | 96.53 |
Azure OCR | 97.31 |
Mistral OCR 2503 | 99.02 |
各語言的基準測試:
語言 | Azure OCR | Google Doc AI | Gemini-2.0-Flash-001 | Mistral OCR 2503 |
|---|---|---|---|---|
ru | 97.35 | 95.56 | 96.58 | 99.09 |
fr | 97.50 | 96.36 | 97.06 | 99.20 |
hi | 96.45 | 95.65 | 94.99 | 97.55 |
zh | 91.40 | 90.89 | 91.85 | 97.11 |
pt | 97.96 | 96.24 | 97.25 | 99.42 |
de | 98.39 | 97.09 | 97.19 | 99.51 |
es | 98.54 | 97.52 | 97.75 | 99.54 |
tr | 95.91 | 93.85 | 94.66 | 97.00 |
uk | 97.81 | 96.24 | 96.70 | 99.29 |
it | 98.31 | 97.69 | 97.68 | 99.42 |
ro | 96.45 | 95.14 | 95.88 | 98.79 |
同類產品中速度最快
Mistral OCR 比同類大多數模型更輕巧,處理速度亦顯著更快,單一節點每分鐘最多可處理 2000 頁。快速處理文件的能力,讓系統即使在高吞吐量環境下也能持續學習和改進。
以文件作提示,輸出結構化結果
Mistral OCR 亦引入以文件作為提示的用法,讓指令更強大、更精確。使用者可從文件擷取指定資訊,並以 JSON 等結構化格式輸出。你可將擷取結果串接至下游函式呼叫,並建立代理。請參閲這個notebook範例。
選擇性提供自我託管
對數據私隱要求嚴格的機構而言,Mistral OCR 提供自我託管選項,確保敏感或機密資訊留在自有基礎設施內,符合監管和保安標準。如欲與我們探討自行部署,請聯絡我們。
應用案例
我們正協助測試版客戶提升機構知識的價值,把大量文件資料庫轉化為可執行的行動和方案。我們的技術在以下一些應用案例中發揮顯著作用:
數碼化科學研究:領先研究機構一直試用 Mistral OCR,將科學論文和期刊轉換成適合 AI 處理的格式,讓下游智能引擎能夠存取。這有助大幅加快協作,並提升科研工作流程效率。
保存歷史和文化遺產:負責保管文化遺產的機構和非牟利組織,正使用 Mistral OCR 將歷史文件和文物數碼化,確保妥善保存,並讓更多人可以查閲。
簡化客戶服務:客戶服務部門正探索使用 Mistral OCR,把文件和手冊轉化為可搜尋的知識,縮短回覆時間並提升客戶滿意度。
讓設計、教育、法律等領域的文獻適用於 AI:Mistral OCR 亦協助企業把技術文獻、工程圖、課堂筆記、簡報、監管申報文件等轉化為可搜尋、可供解答問題的格式,從數以百萬計的文件中釋放智能和生產力。
立即體驗
你可在 le Chat免費試用 Mistral OCR 功能。如要試用 API,請前往 la Plateforme。我們期待收到你的意見;預計模型在未來數星期會持續進步。作為策略合作計劃的一部分,我們亦會按個別情況提供本地部署。
來源:Mistral AI · mistral.ai