跳到正文
Hugging Face Blog·· 2024-06-24精選AI 評分63

Florence-2 微調教程:Microsoft 視覺語言模型的 DocVQA 實作

Fine-tuning Florence-2 - Microsoft's Cutting-edge Vision Language Models

AI 導讀

Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2,使其適配視覺問答任務。訓練 7 個 epochs 後,驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案,並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。

推薦理由

文章以 DocVQA 示範 Florence-2 微調,並列出驗證集表現及不同 GPU 配置,可供評估下游任務適配與訓練資源。

正文 · 繁體中文

Florence-2 是 Microsoft 於 2024 年 6 月推出的基礎視覺語言模型。它體積小巧(0.2B 和 0.7B),在多種電腦視覺及視覺語言任務上表現出色,因此相當吸引。

Florence 開箱即支援多種任務,包括圖像描述、物件偵測、OCR 等。不過,你的任務或領域可能不在支援範圍內,或者你想更精確地控制模型輸出;這時便需要微調。

本文會示範如何微調 Florence 來處理 DocVQA。作者指出,Florence 2 可以執行視覺問答(VQA),但已發布的模型並未包含 VQA 功能。看看我們可以如何處理!

預訓練細節與架構

VLM Structure
Florence-2 架構

無論執行哪種電腦視覺任務,Florence-2 都會將問題建模為序列轉換序列任務。Florence-2 以圖像和文字為輸入,並生成文字作為輸出。 模型架構簡單:使用 DaViT 視覺編碼器將圖像轉換為視覺嵌入,並使用 BERT 將文字提示轉換為文字和位置嵌入。之後,標準編碼器-解碼器 Transformer 架構會處理這些嵌入,生成文字和位置 Token。 Florence-2 的優勢並非來自架構,而是來自其預訓練所用的龐大資料集。作者指出,領先的電腦視覺資料集通常包含的資訊有限:WIT 只有圖像/描述配對,SA-1B 則只有圖像和相關分割遮罩。因此,他們決定建立新的 FLD-5B 資料集,為每張圖像收集多種資訊,包括邊界框、遮罩、描述和定位資訊。 資料集的建立過程大致自動化。作者使用現成的任務專用模型,以及一組啟發式方法和品質檢查,清理取得的結果。最終建立的資料集包含超過 50 億個標註,涵蓋 1.26 億張圖像,並用於預訓練 Florence-2 模型。

原始 VQA 表現

我們試驗了多種方法,讓模型能回答 VQA(視覺問答)問題。我們發現最有效的方法是使用區域轉描述提示,但它並不能完全配合 VQA 任務。圖像描述能提供圖像的描述性資訊,卻不能讓用戶直接輸入問題。 我們亦測試了幾種「未支援」提示,例如「 <VQA>」、「<vqa>」和「<Visual question answering>」,但結果都無法使用。

微調後的 DocVQA 表現

我們使用 Levenshtein 相似度評估表現,這是 DocVQA 資料集的標準指標。微調前,模型在驗證資料集上的預測與標準答案相似度為 0,因為輸出與標準答案相差甚遠。使用訓練集進行 7 個 Epoch 微調後,驗證集上的相似度分數提升至 57.0。 我們建立了 🤗 Space,示範微調後的模型。模型處理 DocVQA 的表現良好,但一般文件理解仍有改善空間。它已成功完成各項任務,展現 Florence-2 微調以執行下游任務的潛力。若要開發出色的 VQA 模型,我們建議使用The Cauldron 進一步微調 Florence-2。我們已在GitHub 專頁提供所需程式碼。

為提供具體例子,以下展示微調前後的兩項推論結果。你亦可在這裏試用模型。

Before After Fine-tuning
微調前後比較

微調細節

預訓練時,作者為基礎模型使用 2048 的批次大小,為大型模型使用 3072。他們亦指出,相比凍結圖像編碼器,微調時不凍結編碼器可改善表現。

我們以資源少得多的設定進行實驗,探討模型在較受限制的微調環境下能做到甚麼。我們凍結視覺編碼器,並在單張 A100 GPU 上使用批次大小 6(透過 Colab),或在 T4 上使用批次大小 1。 與此同時,我們亦進行資源較充裕的實驗,以批次大小 64 微調整個模型。這項訓練在配備 8 張 H100 GPU 的叢集上花了 70 分鐘。 這裏可以找到訓練完成的模型。

在所有情況下,我們都發現以較小的 1e-6 學習率訓練效果較好。若學習率較高,模型會很快過度擬合訓練集。

程式碼逐步講解

如果你想跟着操作,可在這裏找到我們用於微調的 Colab 筆記本:連結;檢查點則使用 DocVQA 資料集。 先安裝所需套件。

!pip install -q datasets flash_attn timm einops

從 Hugging Face Hub 載入 DocVQA 資料集。

import torch
from datasets import load_dataset 

data = load_dataset("HuggingFaceM4/DocumentVQA")

我們可使用 transformers 程式庫中的 AutoModelForCausalLM 和 AutoProcessor 類別載入模型和處理器。由於模型使用自訂程式碼,尚未原生整合至 transformers,因此需要傳入 trust_remote_code=True。我們亦會凍結視覺編碼器,以降低微調成本。

from transformers import AutoModelForCausalLM, AutoProcessor
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu") 

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Florence-2-base-ft",
    trust_remote_code=True,
    revision='refs/pr/6'
).to(device) 
processor = AutoProcessor.from_pretrained("microsoft/Florence-2-base-ft", 
    trust_remote_code=True, revision='refs/pr/6')

for param in model.vision_tower.parameters():
  param.is_trainable = False

現在開始微調模型!我們會建立一個 PyTorch 訓練資料集,在資料集中的每條問題前加上 <DocVQA> 前綴。

import torch from torch.utils.data import Dataset 

class DocVQADataset(Dataset): 

    def __init__(self, data): 
        self.data = data
        
    def __len__(self): 
        return len(self.data)
        
    def __getitem__(self, idx):
        example = self.data[idx]
        question = "<DocVQA>" + example['question'] 
        first_answer = example['answers'][0]
        image = example['image'].convert("RGB")
        return question, first_answer, image

接着建立資料整理器,根據資料集樣本組成訓練批次,然後開始訓練。使用 40GB 記憶體的 A100 時,最多可放入 6 個樣本。若使用 T4,可採用批次大小 1。

import os 
from torch.utils.data import DataLoader
from tqdm import tqdm 
from transformers import AdamW, get_scheduler

def collate_fn(batch): 
    questions, answers, images = zip(*batch)
    inputs = processor(text=list(questions), images=list(images), return_tensors="pt", padding=True).to(device)
    return inputs, answers 

train_dataset = DocVQADataset(data['train'])
val_dataset = DocVQADataset(data['validation']) 
batch_size = 6
num_workers = 0

train_loader = DataLoader(train_dataset, batch_size=batch_size, 
                          collate_fn=collate_fn, num_workers=num_workers, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=batch_size, 
                          collate_fn=collate_fn, num_workers=num_workers)

現在可以訓練模型。

epochs = 7
optimizer = AdamW(model.parameters(), lr=1e-6)
num_training_steps = epochs * len(train_loader)

lr_scheduler = get_scheduler(name="linear", optimizer=optimizer, 
                              num_warmup_steps=0, num_training_steps=num_training_steps,)

for epoch in range(epochs): 
    model.train() 
    train_loss = 0
    i = -1
    for inputs, answers in tqdm(train_loader, desc=f"Training Epoch {epoch + 1}/{epochs}"):
        i += 1
        input_ids = inputs["input_ids"]
        pixel_values = inputs["pixel_values"] 
        labels = processor.tokenizer(text=answers, return_tensors="pt", padding=True, return_token_type_ids=False).input_ids.to(device)
        outputs = model(input_ids=input_ids, pixel_values=pixel_values, labels=labels)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        train_loss += loss.item()
    avg_train_loss = train_loss / len(train_loader)
    print(f"Average Training Loss: {avg_train_loss}")

    model.eval()
    val_loss = 0
    with torch.no_grad():
        for batch in tqdm(val_loader, desc=f"Validation Epoch {epoch + 1}/{epochs}"):
            inputs, answers = batch
            input_ids = inputs["input_ids"]
            pixel_values = inputs["pixel_values"]
            labels = processor.tokenizer(text=answers, return_tensors="pt", padding=True, return_token_type_ids=False).input_ids.to(device)
            outputs = model(input_ids=input_ids, pixel_values=pixel_values, labels=labels)
            loss = outputs.loss
            val_loss += loss.item()

      print(val_loss / len(val_loader))

你可以對模型和處理器兩個物件呼叫 save_pretrained() 來儲存它們。這裏是完整微調後的模型,這裏則是示範。

總結

本文展示瞭如何有效地使用自訂資料集微調 Florence-2,並在短時間內令模型於全新任務上取得出色表現。對於希望在裝置上部署這款小型模型,或在生產環境中以具成本效益方式使用模型的人來説,這項能力尤其有價值。我們鼓勵開源社羣參考這篇微調教學,探索 Florence-2 在各種新任務上的非凡潛力!期待在 🤗 Hub 上看到大家的模型!

實用資源

我們感謝 Pedro Cuenca 審閲本文。

來源:Hugging Face Blog · huggingface.co