跳到正文
Hugging Face Blog·· 2022-02-11精選AI 評分62

使用 🤗 Transformers 微調 ViT 進行圖像分類

Fine-Tune ViT for Image Classification with 🤗 Transformers

AI 導讀

這篇教程示範使用 🤗 Datasets 與 🤗 Transformers,將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。

推薦理由

文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估,並展示資料即時轉換及訓練參數設定。

正文 · 繁體中文

Open In Colab

正如 Transformer 模型徹底改變 NLP 一樣,我們現在看到愈來愈多論文把它們應用於各種其他領域。其中最具突破性的模型之一是 Vision Transformer(ViT),由 Google Brain 研究團隊於 2021 年六月推出。

這篇論文探討如何像把句子切分成 token 一樣,把圖像切分成 token,令圖像可傳入 Transformer 模型進行訓練。概念其實相當簡單……

  1. 把圖像分割成網格狀的子圖像區塊
  2. 以線性投影為每個區塊建立嵌入
  3. 每個已嵌入的圖像區塊都會成為一個 token,形成的嵌入序列便是傳入模型的序列。

事實證明,完成以上步驟後,你便可以像平常處理 NLP 任務一樣,預訓練和微調 Transformer。很不錯吧 😎。


本文會介紹如何運用 🤗 datasets 下載並處理圖像分類資料集,再使用 🤗 transformers 微調預訓練 ViT。

開始之前,先安裝這兩個套件。

pip install datasets transformers

載入資料集

先載入一個小型圖像分類資料集,看看它的結構。

我們會使用 beans 資料集,當中收錄健康和患病的豆葉照片。🍃

from datasets import load_dataset

ds = load_dataset('beans')
ds

看看 beans 資料集 'train' 分割中的第 400 個例子。你會留意到資料集中的每個例子都有 3 項特徵:

  1. image:PIL Image
  2. image_file_path:圖像檔案路徑,類型為 str,而檔案已載入為 image
  3. labels:datasets.ClassLabel 特徵,以整數表示標籤。(稍後會介紹如何取得類別名稱,別擔心!)
ex = ds['train'][400]
ex
{
  'image': <PIL.JpegImagePlugin ...>,
  'image_file_path': '/root/.cache/.../bean_rust_train.4.jpg',
  'labels': 1
}

看看這張圖像 👀

image = ex['image']
image

確實是一片葉子!但到底是哪一種?😅

由於此資料集的 'labels' 特徵是 datasets.features.ClassLabel,我們可以用它查找這個例子的標籤 ID 對應的名稱。

首先,取得 'labels' 的特徵定義。

labels = ds['train'].features['labels']
labels
ClassLabel(num_classes=3, names=['angular_leaf_spot', 'bean_rust', 'healthy'], names_file=None, id=None)

現在列印這個例子的類別標籤。你可以使用 int2str 函數搭配 ClassLabel;顧名思義,它會接收類別的整數表示,並查找對應的字串標籤。

labels.int2str(ex['labels'])
'bean_rust'

原來上圖的葉子感染了嚴重的豆類植物病害 Bean Rust(豆鏽病)。😢

我們來寫一個函數,顯示資料集中每個類別的部分例子,讓你更瞭解資料內容。

import random
from PIL import ImageDraw, ImageFont, Image

def show_examples(ds, seed: int = 1234, examples_per_class: int = 3, size=(350, 350)):

    w, h = size
    labels = ds['train'].features['labels'].names
    grid = Image.new('RGB', size=(examples_per_class * w, len(labels) * h))
    draw = ImageDraw.Draw(grid)
    font = ImageFont.truetype("/usr/share/fonts/truetype/liberation/LiberationMono-Bold.ttf", 24)

    for label_id, label in enumerate(labels):

        # Filter the dataset by a single label, shuffle it, and grab a few samples
        ds_slice = ds['train'].filter(lambda ex: ex['labels'] == label_id).shuffle(seed).select(range(examples_per_class))

        # Plot this label's examples along a row
        for i, example in enumerate(ds_slice):
            image = example['image']
            idx = examples_per_class * label_id + i
            box = (idx % examples_per_class * w, idx // examples_per_class * h)
            grid.paste(image.resize(size), box=box)
            draw.text(box, label, (255, 255, 255), font=font)

    return grid

show_examples(ds, seed=random.randint(0, 1337), examples_per_class=3)
資料集中各類別的部分例子網格

就我觀察,

  • 角斑病:有不規則的棕色斑塊
  • 豆鏽病:有被淡黃色環包圍的圓形棕色斑點
  • 健康:……看起來很健康。🤷‍♂️

載入 ViT 圖像處理器

現在我們知道圖像的樣子,也更瞭解要解決的問題。來看看如何為模型準備這些圖像!

訓練 ViT 模型時,會對輸入圖像套用特定轉換。圖像若套用錯誤轉換,模型就無法理解眼前所見!🖼 ➡️ 🔢

為確保套用正確轉換,我們會使用 ViTImageProcessor,並以我們打算使用的預訓練模型一併儲存的配置初始化。我們會使用 google/vit-base-patch16-224-in21k 模型,因此從 Hugging Face Hub 載入其圖像處理器。

from transformers import ViTImageProcessor

model_name_or_path = 'google/vit-base-patch16-224-in21k'
processor = ViTImageProcessor.from_pretrained(model_name_or_path)

列印圖像處理器,即可查看其配置。

ViTImageProcessor {
  "do_normalize": true,
  "do_resize": true,
  "image_mean": [
    0.5,
    0.5,
    0.5
  ],
  "image_std": [
    0.5,
    0.5,
    0.5
  ],
  "resample": 2,
  "size": 224
}

處理圖像時,只需把圖像傳入圖像處理器的呼叫函數。它會傳回包含 pixel values 的字典;這些值是傳給模型的數值表示。

預設會取得 NumPy 陣列;若加入 return_tensors='pt' 參數,則會傳回 torch 張量。

processor(image, return_tensors='pt')

結果應該會像這樣……

{
  'pixel_values': tensor([[[[ 0.2706,  0.3255,  0.3804,  ...]]]])
}

……張量形狀為 (1, 3, 224, 224)。

處理資料集

現在你已知道如何讀取圖像並轉換成輸入資料,接着來寫一個函數,把這兩個步驟合併,處理資料集中的單一例子。

def process_example(example):
    inputs = processor(example['image'], return_tensors='pt')
    inputs['labels'] = example['labels']
    return inputs
process_example(ds['train'][0])
{
  'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078,  ..., ]]]]),
  'labels': 0
}

你可以呼叫 ds.map 一次套用至所有例子,但資料集較大時,這種方式可能會很慢。另一個方法是對資料集套用轉換。只有在索引例子時,才會套用轉換。

不過,你要先更新上一個函數,令它接受一批資料,因為這是 ds.with_transform 所要求的格式。

ds = load_dataset('beans')

def transform(example_batch):
    # Take a list of PIL images and turn them to pixel values
    inputs = processor([x for x in example_batch['image']], return_tensors='pt')

    # Don't forget to include the labels!
    inputs['labels'] = example_batch['labels']
    return inputs

你可以直接使用 ds.with_transform(transform) 將轉換套用到資料集。

prepared_ds = ds.with_transform(transform)

之後每次從資料集取得例子時,轉換都會 即時套用(下方示範了對樣本和切片套用的情況)

prepared_ds['train'][0:2]

這次生成的 pixel_values 張量形狀會是 (2, 3, 224, 224)。

{
  'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078,  ..., ]]]]),
  'labels': [0, 0]
}

訓練和評估

數據已處理完成,可以開始設定訓練流程。本文會使用 🤗 的 Trainer,不過在此之前還要先做幾件事:

  • 定義合併函數。

  • 定義評估指標。訓練期間應按模型預測準確度評估模型,因此你要據此定義 compute_metrics 函數。

  • 載入預訓練檢查點。你需要載入預訓練檢查點,並為訓練正確配置。

  • 定義訓練配置。

微調模型後,請在評估數據上正確評估,並確認模型確實已學會正確分類圖像。

定義數據合併器

批次資料以字典清單形式傳入,因此只需拆解清單,再把資料堆疊成批次張量。

由於 collate_fn 會傳回批次字典,之後便可用 **unpack 將輸入解包並傳給模型。✨

import torch

def collate_fn(batch):
    return {
        'pixel_values': torch.stack([x['pixel_values'] for x in batch]),
        'labels': torch.tensor([x['labels'] for x in batch])
    }

定義評估指標

準確度指標可輕鬆比較預測和標籤。它來自 evaluate 套件,以下示範如何定義 compute_metrics 函數,供 Trainer 使用。

import numpy as np
from evaluate import load

metric = load("accuracy")
def compute_metrics(p):
    return metric.compute(predictions=np.argmax(p.predictions, axis=1), references=p.label_ids)

現在載入預訓練模型。我們會在初始化時加入 num_labels,令模型建立含有正確單位數的分類頭。我們亦會加入 id2label 和 label2id 映射,讓 Hub 小工具顯示人類可讀的標籤(若你選擇使用 push_to_hub)。

from transformers import ViTForImageClassification

labels = ds['train'].features['labels'].names

model = ViTForImageClassification.from_pretrained(
    model_name_or_path,
    num_labels=len(labels),
    id2label={str(i): c for i, c in enumerate(labels)},
    label2id={c: str(i) for i, c in enumerate(labels)}
)

快要可以開始訓練!最後一步是透過定義 TrainingArguments 設定訓練配置。

大部分參數都不難理解,但其中一項特別重要:remove_unused_columns=False。它會移除模型呼叫函數未使用的特徵。預設值是 True,因為通常移除未使用的特徵欄位是理想做法,可讓輸入更易解包並傳給模型呼叫函數。不過在這個例子中,我們需要未使用的特徵(特別是 'image'),才能建立 'pixel_values'。

簡單來説,如果忘記設定 remove_unused_columns=False,你就會很難處理。

from transformers import TrainingArguments

training_args = TrainingArguments(
  output_dir="./vit-base-beans",
  per_device_train_batch_size=16,
  evaluation_strategy="steps",
  num_train_epochs=4,
  fp16=True,
  save_steps=100,
  eval_steps=100,
  logging_steps=10,
  learning_rate=2e-4,
  save_total_limit=2,
  remove_unused_columns=False,
  push_to_hub=False,
  report_to='tensorboard',
  load_best_model_at_end=True,
)

現在可把所有實例傳給 Trainer,開始訓練了!

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=collate_fn,
    compute_metrics=compute_metrics,
    train_dataset=prepared_ds["train"],
    eval_dataset=prepared_ds["validation"],
    tokenizer=processor,
)

開始訓練 🚀

train_results = trainer.train()
trainer.save_model()
trainer.log_metrics("train", train_results.metrics)
trainer.save_metrics("train", train_results.metrics)
trainer.save_state()

開始評估 📊

metrics = trainer.evaluate(prepared_ds['validation'])
trainer.log_metrics("eval", metrics)
trainer.save_metrics("eval", metrics)

以下是我的評估結果:豆子很不錯!抱歉,忍不住要説這個雙關。

***** eval metrics *****
  epoch                   =        4.0
  eval_accuracy           =      0.985
  eval_loss               =     0.0637
  eval_runtime            = 0:00:02.13
  eval_samples_per_second =     62.356
  eval_steps_per_second   =       7.97

最後,你亦可選擇把模型推送至 Hub。若訓練配置中指定了 push_to_hub=True,我們便會推送模型。請注意,推送至 Hub 前必須安裝 git-lfs,並登入 Hugging Face 帳戶(可執行 huggingface-cli login)。

kwargs = {
    "finetuned_from": model.config._name_or_path,
    "tasks": "image-classification",
    "dataset": 'beans',
    "tags": ['image-classification'],
}

if training_args.push_to_hub:
    trainer.push_to_hub('🍻 cheers', **kwargs)
else:
    trainer.create_model_card(**kwargs)

生成的模型已分享至 nateraw/vit-base-beans。我猜你手邊沒有豆葉照片,所以已加入一些例子,方便你試用!🚀

來源:Hugging Face Blog · huggingface.co