使用 🤗 Transformers 微調 ViT 進行圖像分類
Fine-Tune ViT for Image Classification with 🤗 Transformers
這篇教程示範使用 🤗 Datasets 與 🤗 Transformers,將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。
文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估,並展示資料即時轉換及訓練參數設定。
正如 Transformer 模型徹底改變 NLP 一樣,我們現在看到愈來愈多論文把它們應用於各種其他領域。其中最具突破性的模型之一是 Vision Transformer(ViT),由 Google Brain 研究團隊於 2021 年六月推出。
這篇論文探討如何像把句子切分成 token 一樣,把圖像切分成 token,令圖像可傳入 Transformer 模型進行訓練。概念其實相當簡單……
- 把圖像分割成網格狀的子圖像區塊
- 以線性投影為每個區塊建立嵌入
- 每個已嵌入的圖像區塊都會成為一個 token,形成的嵌入序列便是傳入模型的序列。
事實證明,完成以上步驟後,你便可以像平常處理 NLP 任務一樣,預訓練和微調 Transformer。很不錯吧 😎。
本文會介紹如何運用 🤗 datasets 下載並處理圖像分類資料集,再使用 🤗 transformers 微調預訓練 ViT。
開始之前,先安裝這兩個套件。
pip install datasets transformers
載入資料集
先載入一個小型圖像分類資料集,看看它的結構。
我們會使用 beans 資料集,當中收錄健康和患病的豆葉照片。🍃
from datasets import load_dataset
ds = load_dataset('beans')
ds
看看 beans 資料集 'train' 分割中的第 400 個例子。你會留意到資料集中的每個例子都有 3 項特徵:
image:PIL Imageimage_file_path:圖像檔案路徑,類型為str,而檔案已載入為imagelabels:datasets.ClassLabel特徵,以整數表示標籤。(稍後會介紹如何取得類別名稱,別擔心!)
ex = ds['train'][400]
ex
{
'image': <PIL.JpegImagePlugin ...>,
'image_file_path': '/root/.cache/.../bean_rust_train.4.jpg',
'labels': 1
}
看看這張圖像 👀
image = ex['image']
image
確實是一片葉子!但到底是哪一種?😅
由於此資料集的 'labels' 特徵是 datasets.features.ClassLabel,我們可以用它查找這個例子的標籤 ID 對應的名稱。
首先,取得 'labels' 的特徵定義。
labels = ds['train'].features['labels']
labels
ClassLabel(num_classes=3, names=['angular_leaf_spot', 'bean_rust', 'healthy'], names_file=None, id=None)
現在列印這個例子的類別標籤。你可以使用 int2str 函數搭配 ClassLabel;顧名思義,它會接收類別的整數表示,並查找對應的字串標籤。
labels.int2str(ex['labels'])
'bean_rust'
原來上圖的葉子感染了嚴重的豆類植物病害 Bean Rust(豆鏽病)。😢
我們來寫一個函數,顯示資料集中每個類別的部分例子,讓你更瞭解資料內容。
import random
from PIL import ImageDraw, ImageFont, Image
def show_examples(ds, seed: int = 1234, examples_per_class: int = 3, size=(350, 350)):
w, h = size
labels = ds['train'].features['labels'].names
grid = Image.new('RGB', size=(examples_per_class * w, len(labels) * h))
draw = ImageDraw.Draw(grid)
font = ImageFont.truetype("/usr/share/fonts/truetype/liberation/LiberationMono-Bold.ttf", 24)
for label_id, label in enumerate(labels):
# Filter the dataset by a single label, shuffle it, and grab a few samples
ds_slice = ds['train'].filter(lambda ex: ex['labels'] == label_id).shuffle(seed).select(range(examples_per_class))
# Plot this label's examples along a row
for i, example in enumerate(ds_slice):
image = example['image']
idx = examples_per_class * label_id + i
box = (idx % examples_per_class * w, idx // examples_per_class * h)
grid.paste(image.resize(size), box=box)
draw.text(box, label, (255, 255, 255), font=font)
return grid
show_examples(ds, seed=random.randint(0, 1337), examples_per_class=3)
就我觀察,
- 角斑病:有不規則的棕色斑塊
- 豆鏽病:有被淡黃色環包圍的圓形棕色斑點
- 健康:……看起來很健康。🤷♂️
載入 ViT 圖像處理器
現在我們知道圖像的樣子,也更瞭解要解決的問題。來看看如何為模型準備這些圖像!
訓練 ViT 模型時,會對輸入圖像套用特定轉換。圖像若套用錯誤轉換,模型就無法理解眼前所見!🖼 ➡️ 🔢
為確保套用正確轉換,我們會使用 ViTImageProcessor,並以我們打算使用的預訓練模型一併儲存的配置初始化。我們會使用 google/vit-base-patch16-224-in21k 模型,因此從 Hugging Face Hub 載入其圖像處理器。
from transformers import ViTImageProcessor
model_name_or_path = 'google/vit-base-patch16-224-in21k'
processor = ViTImageProcessor.from_pretrained(model_name_or_path)
列印圖像處理器,即可查看其配置。
ViTImageProcessor {
"do_normalize": true,
"do_resize": true,
"image_mean": [
0.5,
0.5,
0.5
],
"image_std": [
0.5,
0.5,
0.5
],
"resample": 2,
"size": 224
}
處理圖像時,只需把圖像傳入圖像處理器的呼叫函數。它會傳回包含 pixel values 的字典;這些值是傳給模型的數值表示。
預設會取得 NumPy 陣列;若加入 return_tensors='pt' 參數,則會傳回 torch 張量。
processor(image, return_tensors='pt')
結果應該會像這樣……
{
'pixel_values': tensor([[[[ 0.2706, 0.3255, 0.3804, ...]]]])
}
……張量形狀為 (1, 3, 224, 224)。
處理資料集
現在你已知道如何讀取圖像並轉換成輸入資料,接着來寫一個函數,把這兩個步驟合併,處理資料集中的單一例子。
def process_example(example):
inputs = processor(example['image'], return_tensors='pt')
inputs['labels'] = example['labels']
return inputs
process_example(ds['train'][0])
{
'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078, ..., ]]]]),
'labels': 0
}
你可以呼叫 ds.map 一次套用至所有例子,但資料集較大時,這種方式可能會很慢。另一個方法是對資料集套用轉換。只有在索引例子時,才會套用轉換。
不過,你要先更新上一個函數,令它接受一批資料,因為這是 ds.with_transform 所要求的格式。
ds = load_dataset('beans')
def transform(example_batch):
# Take a list of PIL images and turn them to pixel values
inputs = processor([x for x in example_batch['image']], return_tensors='pt')
# Don't forget to include the labels!
inputs['labels'] = example_batch['labels']
return inputs
你可以直接使用 ds.with_transform(transform) 將轉換套用到資料集。
prepared_ds = ds.with_transform(transform)
之後每次從資料集取得例子時,轉換都會 即時套用(下方示範了對樣本和切片套用的情況)
prepared_ds['train'][0:2]
這次生成的 pixel_values 張量形狀會是 (2, 3, 224, 224)。
{
'pixel_values': tensor([[[[-0.6157, -0.6000, -0.6078, ..., ]]]]),
'labels': [0, 0]
}
訓練和評估
數據已處理完成,可以開始設定訓練流程。本文會使用 🤗 的 Trainer,不過在此之前還要先做幾件事:
定義合併函數。
定義評估指標。訓練期間應按模型預測準確度評估模型,因此你要據此定義
compute_metrics函數。載入預訓練檢查點。你需要載入預訓練檢查點,並為訓練正確配置。
定義訓練配置。
微調模型後,請在評估數據上正確評估,並確認模型確實已學會正確分類圖像。
定義數據合併器
批次資料以字典清單形式傳入,因此只需拆解清單,再把資料堆疊成批次張量。
由於 collate_fn 會傳回批次字典,之後便可用 **unpack 將輸入解包並傳給模型。✨
import torch
def collate_fn(batch):
return {
'pixel_values': torch.stack([x['pixel_values'] for x in batch]),
'labels': torch.tensor([x['labels'] for x in batch])
}
定義評估指標
準確度指標可輕鬆比較預測和標籤。它來自 evaluate 套件,以下示範如何定義 compute_metrics 函數,供 Trainer 使用。
import numpy as np
from evaluate import load
metric = load("accuracy")
def compute_metrics(p):
return metric.compute(predictions=np.argmax(p.predictions, axis=1), references=p.label_ids)
現在載入預訓練模型。我們會在初始化時加入 num_labels,令模型建立含有正確單位數的分類頭。我們亦會加入 id2label 和 label2id 映射,讓 Hub 小工具顯示人類可讀的標籤(若你選擇使用 push_to_hub)。
from transformers import ViTForImageClassification
labels = ds['train'].features['labels'].names
model = ViTForImageClassification.from_pretrained(
model_name_or_path,
num_labels=len(labels),
id2label={str(i): c for i, c in enumerate(labels)},
label2id={c: str(i) for i, c in enumerate(labels)}
)
快要可以開始訓練!最後一步是透過定義 TrainingArguments 設定訓練配置。
大部分參數都不難理解,但其中一項特別重要:remove_unused_columns=False。它會移除模型呼叫函數未使用的特徵。預設值是 True,因為通常移除未使用的特徵欄位是理想做法,可讓輸入更易解包並傳給模型呼叫函數。不過在這個例子中,我們需要未使用的特徵(特別是 'image'),才能建立 'pixel_values'。
簡單來説,如果忘記設定 remove_unused_columns=False,你就會很難處理。
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir="./vit-base-beans",
per_device_train_batch_size=16,
evaluation_strategy="steps",
num_train_epochs=4,
fp16=True,
save_steps=100,
eval_steps=100,
logging_steps=10,
learning_rate=2e-4,
save_total_limit=2,
remove_unused_columns=False,
push_to_hub=False,
report_to='tensorboard',
load_best_model_at_end=True,
)
現在可把所有實例傳給 Trainer,開始訓練了!
from transformers import Trainer
trainer = Trainer(
model=model,
args=training_args,
data_collator=collate_fn,
compute_metrics=compute_metrics,
train_dataset=prepared_ds["train"],
eval_dataset=prepared_ds["validation"],
tokenizer=processor,
)
開始訓練 🚀
train_results = trainer.train()
trainer.save_model()
trainer.log_metrics("train", train_results.metrics)
trainer.save_metrics("train", train_results.metrics)
trainer.save_state()
開始評估 📊
metrics = trainer.evaluate(prepared_ds['validation'])
trainer.log_metrics("eval", metrics)
trainer.save_metrics("eval", metrics)
以下是我的評估結果:豆子很不錯!抱歉,忍不住要説這個雙關。
***** eval metrics *****
epoch = 4.0
eval_accuracy = 0.985
eval_loss = 0.0637
eval_runtime = 0:00:02.13
eval_samples_per_second = 62.356
eval_steps_per_second = 7.97
最後,你亦可選擇把模型推送至 Hub。若訓練配置中指定了 push_to_hub=True,我們便會推送模型。請注意,推送至 Hub 前必須安裝 git-lfs,並登入 Hugging Face 帳戶(可執行 huggingface-cli login)。
kwargs = {
"finetuned_from": model.config._name_or_path,
"tasks": "image-classification",
"dataset": 'beans',
"tags": ['image-classification'],
}
if training_args.push_to_hub:
trainer.push_to_hub('🍻 cheers', **kwargs)
else:
trainer.create_model_card(**kwargs)
生成的模型已分享至 nateraw/vit-base-beans。我猜你手邊沒有豆葉照片,所以已加入一些例子,方便你試用!🚀
來源:Hugging Face Blog · huggingface.co