跳到正文
Hugging Face Blog·· 2025-10-21精選AI 評分67

用開放模型提升 OCR 流程

Supercharge your OCR Pipelines with Open Models

AI 導讀

Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。

推薦理由

文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。

正文 · 繁體中文
我們已在本文加入 Chandra 和 OlmOCR-2,並附上模型的 OlmOCR Scores 🫡

重點摘要:強大的視覺語言模型興起,徹底改變文件 AI。不同模型各有優勢,難以選出合適的一款。開放權重模型更具成本效益,也更能保障私隱。為協助你開始使用,我們整理了這份指南。

本指南將介紹:

  • 現有模型的發展概況和能力
  • 何時應微調模型,何時直接使用現成模型
  • 選擇符合使用場景模型時須考慮的關鍵因素
  • 如何透過多模態檢索和文件問答,超越 OCR 的範疇

讀完後,你便會懂得選擇合適的 OCR 模型、開始建立應用,並深入瞭解文件 AI。開始吧!

目錄

現代 OCR 簡介

光學字元辨識(OCR)是電腦視覺領域最早出現、發展時間最長的挑戰之一。許多早期 AI 實際應用都聚焦於把印刷文字轉成數碼格式。

隨着視覺語言模型(VLM)迅速發展,OCR 能力大幅提升。近年不少 OCR 模型都是透過微調現有 VLM 開發。不過,現今模型的能力遠超 OCR:你可按查詢檢索文件,或直接就文件提問。視覺能力更強之後,模型也能處理低質素掃描件、理解表格、圖表和圖像等複雜元件,並融合文字和視覺資訊,回答跨文件的開放式問題。

模型能力

文字轉錄

新一代模型可把文字轉錄成機器可讀格式。
輸入內容可以包括:

  • 手寫文字
  • 不同文字系統,例如拉丁字母、阿拉伯字母和日文字符
  • 數學公式
  • 化學式
  • 圖像/版面/頁碼標籤

OCR 模型會把內容轉成機器可讀文字,格式多樣,例如 HTML、Markdown 等。

處理文件中的複雜元件

除了文字外,部分模型也能辨識:

  • 圖像
  • 圖表
  • 表格

部分模型能確定圖像在文件中的位置、擷取座標,並把圖像適當插入文字之間;其他模型則會為圖像生成説明,再插入相應位置。如果要把機器可讀輸出交給 LLM,這特別有用。例子包括 AllenAI 的 OlmOCR 和 PaddlePaddle 的 PaddleOCR-VL。

模型採用不同的機器可讀輸出格式,例如 DocTags、HTML 或 Markdown(詳見下一節輸出格式)。模型處理表格和圖表的方式,通常取決於採用的輸出格式。有些模型會把圖表視為圖像,原樣保留;另一些則會把圖表轉成 Markdown 表格或 JSON,例如以下的長條圖。

Chart Rendering

表格也類似:儲存格會轉成機器可讀格式,同時保留標題和欄位中的脈絡。

Table Rendering

輸出格式

不同 OCR 模型使用不同輸出格式。以下簡介現代模型常見的格式。
DocTag:DocTag 是類似 XML 的文件格式,可表示位置、文字格式、元件層級資訊等。下圖示範把論文解析為 DocTags。開放的 Docling 模型採用這種格式。

DocTags

  • HTML:HTML 是文件解析最常用的輸出格式之一,能妥善編碼結構和階層資訊。
  • Markdown:Markdown 是最容易閲讀的格式,比 HTML 簡單,但表達能力較弱。例如,它無法表示分欄表格。
  • JSON:模型不會用 JSON 表示整份輸出,但可用它呈現表格或圖表資訊。

合適的模型取決於輸出的用途:

  • 數碼重建:要以數碼方式重建文件,請選用保留版面的格式(例如 DocTags 或 HTML)。
  • 輸入 LLM 或問答:如果要把輸出傳給 LLM,宜選擇能輸出 Markdown 和圖像説明的模型,因為這些格式更接近自然語言。
  • 程式化處理:如果要把輸出交給程式(例如進行資料分析),請選擇能生成 JSON 等結構化輸出的模型。

位置感知能力

文件可能有複雜結構,例如多欄文字區塊和浮動圖表。舊式 OCR 模型會先偵測文字,再於後處理階段手動判斷版面,讓文字按閲讀順序呈現;這種方式很脆弱。相較之下,現代 OCR 模型會使用版面中繼資料,協助保留閲讀順序和準確度。這些中繼資料稱為「anchor」,可以是邊界框。這個流程也稱為「grounding/anchoring」,因為有助減少幻覺。

模型提示

OCR 模型可接收圖像和可選文字提示,視乎模型架構和預訓練設定而定。
部分 OCR 模型支援以提示切換任務,例如 granite-docling 可透過「Convert this page to Docling」提示解析整頁;如果頁面載有公式,也可透過「Convert this formula to LaTeX」等提示處理公式。
不過,其他模型只接受整頁解析訓練,並透過 system prompt 引導完成任務。
例如,AllenAI 的 OlmOCR 會接收較長的條件提示。與許多其他模型一樣,OlmOCR 技術上是以 VLM(此處為 Qwen2.5VL)微調而成的 OCR 模型,所以也可提示它執行其他任務,但表現不及其 OCR 能力。

尖端開放 OCR 模型

過去一年出現了大量新模型。由於許多研究都公開進行,相關團隊可以互相借鑑並受惠。AllenAI 發佈 OlmOCR 就是很好的例子:除了模型,也公開了用來訓練模型的資料集,讓其他人能以此為基礎探索新方向。這個領域非常活躍,但要選用哪款模型卻不一定顯而易見。

比較最新模型

為了讓選擇容易一點,我們整理了一份非完整清單,列出目前喜愛的模型。以下模型都具備版面感知能力,可解析表格、圖表和數學公式。各模型支援的完整語言清單詳見其 model card,有需要請查閲。以下模型都採用開放原始碼授權,只有 Chandra 使用 OpenRAIL 授權,而 Nanonets 的授權則不明。平均分數取自 Chandra 和 OlmOCR 的 model card,並以只支援英文的 OlmOCR Benchmark 評估。 這個清單中的許多模型都以 Qwen2.5-VL 或 Qwen3-VL 微調而成,因此我們也列出 Qwen3-VL 作比較。

模型名稱 輸出格式 功能 模型大小 支援多語言? OlmOCR Benchmark 平均分數
Nanonets-OCR2-3B 具語義標記的結構化 Markdown(另支援 HTML 表格等) 為文件圖像生成説明
擷取簽名和浮水印
處理核取方塊、流程圖和手寫內容
4B ✅支援英文、中文、法文、阿拉伯文等。 N/A
PaddleOCR-VL Markdown、JSON、HTML 表格和圖表 處理手寫內容和舊文件
支援提示
把表格和圖表轉成 HTML
直接擷取並插入圖像
0.9B ✅支援 109 種語言 N/A
dots.ocr Markdown、JSON Grounding
擷取並插入圖像
處理手寫內容
3B ✅支援多種語言,但未提供語言資訊 79.1 ± 1.0
OlmOCR-2 Markdown、HTML、LaTeX Grounding
針對大規模批次處理最佳化
8B ❎只支援英文 82.3 ± 1.1
Granite-Docling-258M DocTags 支援以提示切換任務
可用位置 token 提示元素位置
輸出豐富
258M ✅支援英文、日文、阿拉伯文和中文。 N/A
DeepSeek-OCR Markdown、HTML 支援一般視覺理解
可把各類圖表、表格等解析後重新輸出為 HTML
處理手寫內容
節省記憶體,透過圖像處理文字
3B ✅支援近 100 種語言 75.4 ± 1.0
Chandra Markdown、HTML、JSON Grounding
以原貌擷取並插入圖像
9B ✅支援 40 多種語言 83.1 ± 0.9
Qwen3-VL 視覺語言模型,可輸出所有格式 可辨識古文字
處理手寫內容
以原貌擷取並插入圖像
9B ✅支援 32 種語言 N/A

Qwen3-VL 本身是能力強、用途廣泛的視覺語言模型,經過文件理解及其他任務的後訓練,但並未針對單一通用 OCR 提示最佳化。相較之下,其他模型使用一個或幾個專為 OCR 任務設計的固定提示進行微調。因此,使用 Qwen3-VL 時,我們建議多嘗試不同提示。

這裏有一個小型示範,可試用並比較一些最新模型的輸出。

評估模型

基準測試

沒有一款模型在所有場景都最好,因為不同問題各有需求。表格應輸出為 Markdown 還是 HTML?要擷取哪些元素?如何量化文字準確度和錯誤率?👀
目前有不少評估資料集和工具,但很多都未能解答這些問題。因此我們建議採用以下基準測試:

  1. OmniDocBenchmark:這個廣泛使用的基準測試涵蓋多種文件類型,包括書籍、雜誌和教科書,因而十分突出。評估標準設計完善,接受 HTML 和 Markdown 格式的表格。它採用全新配對算法評估閲讀順序,並在評估前正規化公式。大部分指標依賴編輯距離或樹狀編輯距離(表格)。值得注意的是,評估標註不全由人類生成,也會透過最先進 VLM 或傳統 OCR 方法取得。
  2. OlmOCR-Bench:OlmOCR-Bench 採用不同方式,把評估視為一組單元測試。例如,評估表格時會檢查指定表格中選定儲存格之間的關係。它使用來自公開來源的 PDF,標註則由多種閉源 VLM 完成。這項基準測試相當適合評估英文模型。
  3. CC-OCR(多語言):相較之前的基準測試,CC-OCR 文件質素和多樣性較低,因此較少用來挑選模型。不過,它是唯一涵蓋英文和中文以外評估的基準測試!雖然評估並不完美(圖像是隻有少量文字的照片),但仍是目前最佳的多語言評估選項。

測試不同 OCR 模型時,我們發現模型在不同文件類型、語言等方面的表現差異很大。現有基準測試未必充分代表你的領域!要有效運用新一代 VLM OCR 模型,我們建議收集具代表性的領域範例資料集,再測試幾款模型並比較表現。

成本效益

大部分 OCR 模型規模不大,介乎 3B 至 7B 參數;也有少於 1B 參數的模型,例如 PaddleOCR-VL。不過,成本也取決於專用推論框架有沒有最佳化實作。例如 OlmOCR-2 提供 vLLM 和 SGLang 實作;假設 H100 每小時 $2.69,每百萬頁成本為 178 美元。DeepSeek-OCR 可在單張 40GB VRAM 的 A100 每日處理 200k 多頁。粗略計算後,每百萬頁的成本與 OlmOCR 大致相近(實際仍視乎 A100 供應商)。如果使用場景不受影響,也可選擇模型的量化版本。執行開放原始碼模型的成本,主要取決於實例每小時價格和模型內含的最佳化,但大規模使用時一定比許多閉源模型便宜。

開放 OCR 資料集

過去一年開放 OCR 模型數量激增,但開放訓練和評估資料集並未同步增加。AllenAI 的 olmOCR-mix-0225 是例外;Hub 上至少有 72 個模型用它訓練,實際可能更多,因為並非所有模型都會記錄訓練資料。

分享更多資料集,或能推動開放 OCR 模型取得更大進展。建立這些資料集有數種有希望的方法:

  • 生成合成資料(例如 isl_synthetic_ocr)
  • 由 VLM 生成轉錄文字,再以人工或啟發式方法篩選
  • 使用現有 OCR 模型,為特定領域的新模型生成訓練資料,新模型或會更有效率
  • 善用現有且已校正的資料集,例如英屬印度醫療史資料集,其中包含經人工大量校正的歷史文件 OCR。

值得注意的是,這類資料集不少仍未被使用。若能把它們整理成可直接用於訓練的資料集,將為開放原始碼社羣帶來巨大潛力。

執行模型的工具

我們收到許多關於如何開始使用 OCR 模型的提問,以下介紹幾種本機推論工具,以及透過 Hugging Face 遠端託管模型的方法。

本機執行

大部分尖端模型都支援 vLLM,並提供 transformers 實作。各模型的 model card 有更詳細的服務部署説明。為方便起見,以下示範如何使用 vLLM 在本機進行推論。不同模型的程式碼或有差異,但大多數都類似以下做法。

vllm serve nanonets/Nanonets-OCR2-3B

接着可以使用 OpenAI client 等工具查詢:

from openai import OpenAI
import base64

client = OpenAI(base_url="http://localhost:8000/v1")

model = "nanonets/Nanonets-OCR2-3B"

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

def infer(img_base64):
    response = client.chat.completions.create(
        model=model,
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {"url": f"data:image/png;base64,{img_base64}"},
                    },
                    {
                        "type": "text",
                        "text": "Extract the text from the above document as if you were reading it naturally.",
                    },
                ],
            }
        ],
        temperature=0.0,
        max_tokens=15000
    )
    return response.choices[0].message.content

img_base64 = encode_image(your_img_path)
print(infer(img_base64))

Transformers

Transformers 提供標準模型定義,方便進行推論和微調。Transformers 中的模型使用官方 transformers 實作(模型定義位於函式庫內)或「remote code」實作。後者由模型擁有人提供,讓模型可輕鬆載入 transformers 介面,不必自行實作模型。以下示範如何透過 transformers 實作載入 Nanonets 模型。

# make sure to install flash-attn and transformers
from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained(
    "nanonets/Nanonets-OCR2-3B", 
    torch_dtype="auto", 
    device_map="auto", 
    attn_implementation="flash_attention_2"
)
model.eval()
processor = AutoProcessor.from_pretrained("nanonets/Nanonets-OCR2-3B")

def infer(image_url, model, processor, max_new_tokens=4096):
    prompt = """Extract the text from the above document as if you were reading it naturally. Return the tables in html format. Return the equations in LaTeX representation. If there is an image in the document and image caption is not present, add a small description of the image inside the <img></img> tag; otherwise, add the image caption inside <img></img>. Watermarks should be wrapped in brackets. Ex: <watermark>OFFICIAL COPY</watermark>. Page numbers should be wrapped in brackets. Ex: <page_number>14</page_number> or <page_number>9/22</page_number>. Prefer using ☐ and ☑ for check boxes."""
    image = Image.open(image_path)
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": [
            {"type": "image", "image": image_url},
            {"type": "text", "text": prompt},
        ]},
    ]
    text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = processor(text=[text], images=[image], padding=True, return_tensors="pt").to(model.device)
    
    output_ids = model.generate(**inputs, max_new_tokens=max_new_tokens, do_sample=False)
    generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
    
    output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
    return output_text[0]

result = infer(image_path, model, processor, max_new_tokens=15000)
print(result)

MLX
MLX 是專為 Apple Silicon 設計的開放原始碼機器學習框架。MLX-VLM 建基於 MLX,可輕鬆服務視覺語言模型。你可在此處瀏覽所有支援 MLX 格式的 OCR 模型,也有量化版本。
以下示範如何安裝 MLX-VLM。

pip install -U mlx-vlm
wget https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/throughput_smolvlm.png

python -m mlx_vlm.generate --model ibm-granite/granite-docling-258M-mlx --max-tokens 4096 --temperature 0.0 --prompt "Convert this chart to JSON." --image throughput_smolvlm.png 

遠端執行

使用 Inference Endpoints 管理部署
你可以透過 Hugging Face Inference Endpoints 部署相容 vLLM 或 SGLang 的 OCR 模型:在模型 repo 按「Deploy」,或直接使用 Inference Endpoints 介面。Inference Endpoints 提供全代管環境,支援 GPU 加速、自動擴展和監察,毋須手動管理基礎設施,方便部署尖端模型。

以下示範如何使用 vLLM 作為推論 engine 部署 nanonets。

  1. 前往模型 repo nanonets/Nanonets-OCR2-3B
  2. 按「Deploy」按鈕,並選擇「HF Inference Endpoints」

Inference Endpoints

  1. 數秒內完成部署設定

Inference Endpoints

  1. 建立 endpoint 後,可使用上一節提供的 OpenAI client 程式碼片段呼叫。

詳情請看此處。

使用 Hugging Face Jobs 批次推論

許多 OCR 應用需要高效批次推論,即以盡量低的成本和高效率,對數千張圖像執行模型。一個好方法是使用 vLLM 的離線推論模式。如上文所述,不少近期 VLM OCR 模型都支援 vLLM,可高效批次處理圖像,並大規模生成 OCR 輸出。

為進一步簡化流程,我們建立了 uv-scripts/ocr,這是一組可直接執行的 OCR 指令碼,支援 Hugging Face Jobs。無需自行準備 GPU,只要指定輸入資料集,指令碼就會:

  • 使用多種開放 OCR 模型,處理資料集欄位中的所有圖像
  • 把 OCR 結果以新的 Markdown 欄位加入資料集
  • 把含 OCR 結果的更新資料集推送至 Hub

例如,要對 100 張圖像執行 OCR:

hf jobs uv run --flavor l4x1 \
  https://huggingface.co/datasets/uv-scripts/ocr/raw/main/nanonets-ocr.py \
  your-input-dataset your-output-dataset \
  --max-samples 100

指令碼會自動處理所有 vLLM 配置和批次工作,無需準備基礎設施,也能輕鬆進行批次 OCR。

超越 OCR

如果你關注的是文件 AI,而不只是 OCR,以下是一些建議。

視覺文件檢索器

視覺文件檢索,是根據文字查詢找出最相關的 top-k 文件。如果你曾使用檢索器模型,兩者分別在於此處會直接搜尋一疊 PDF。除了獨立使用,也可配合視覺語言模型建立多模態 RAG pipeline(此處有示例)。你可在 Hugging Face Hub 查看所有模型。

視覺文件檢索器有兩類:單向量和多向量模型。單向量模型較省記憶體,但效能較低;多向量模型耗用較多記憶體,但效能較高。大部分模型都提供 vLLM 和 transformers 整合,可用來建立文件索引,再透過向量資料庫輕鬆搜尋。

使用視覺語言模型進行文件問答

如果任務只需根據文件回答問題,可使用訓練時包含文件任務的視覺語言模型。我們見過使用者先把文件轉成文字,再把輸出傳給 LLM;但若文件版面複雜,轉換後的 HTML 包含圖表,或圖像説明不正確,LLM 便會漏掉重要資訊。為免遺漏脈絡,建議把文件和查詢直接交給 Qwen3-VL 等先進視覺語言模型。

總結

本文概述如何選擇 OCR 模型、現有尖端模型及其能力,以及開始使用 OCR 所需的工具。
想深入瞭解 OCR 和視覺語言模型,請閲讀以下資源。

來源:Hugging Face Blog · huggingface.co