使用 🤗 Transformers 微調 Whisper 以支援多語言 ASR
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers
Hugging Face Blog 提供使用 🤗 Transformers 為多語言 ASR 資料集微調 Whisper 的逐步指南,涵蓋資料準備、訓練與評估。
文章將 Whisper 多語言微調拆解為資料準備、特徵處理、訓練評估與示範流程,並以印地語資料展示從預處理到模型分享的可複用實作路徑。
本文會逐步介紹如何使用 Hugging Face 🤗 Transformers,為任何多語言 ASR 資料集微調 Whisper。文章深入講解 Whisper 模型、Common Voice 資料集及微調理論,並附上可執行資料準備和微調步驟的程式碼儲存格。如想看説明較少但保留所有程式碼的精簡版 notebook,請參閲隨附的 Google Colab。
目錄
簡介
Whisper 是一款預訓練自動語音識別(ASR)模型,由 OpenAI 作者 Alec Radford 等人於 2022 年 9 月發布。與不少前代模型(例如 Wav2Vec 2.0)不同,後者以未標記音訊資料預訓練,而 Whisper 使用大量已標記的音訊與轉錄資料,準確而言達 680,000 小時。這比訓練 Wav2Vec 2.0 所用的未標記音訊資料(60,000 小時)多一個數量級;此外,這些預訓練資料中有 117,000 小時屬多語言 ASR 資料。模型檢查點因此可應用於超過 96 種語言,其中不少屬於低資源語言。
大量已標記資料讓 Whisper 可以直接以語音識別這項監督式任務作預訓練,從已標記的音訊轉錄資料學習語音至文字的映射1{}^1。因此,Whisper 只需少量額外微調,便能成為高效能 ASR 模型。 Wav2Vec 2.0 則不同,它以遮罩預測這項非監督式任務預訓練,學習由未標記音訊將語音映射至隱藏狀態的中間表示。非監督式預訓練可取得高質素語音表示,但不會學習語音至文字的映射;此映射只會在微調時習得,因此需要更多微調才能達到具競爭力的表現。
使用 680,000 小時已標記預訓練資料後,Whisper 模型展現出在多種資料集和領域泛化的能力。預訓練檢查點的表現可媲美最先進 ASR 系統,在 LibriSpeech ASR 的 test-clean 子集達到接近 3% 字詞錯誤率(WER),並以 4.7% WER 在 TED-LIUM 創下新 SOTA(參見Whisper 論文表 8)。Whisper 預訓練時習得的大量多語言 ASR 知識可用於其他低資源語言;透過微調,預訓練檢查點可適配特定資料集和語言,進一步提升這些結果。
Whisper 是基於 Transformer 的 encoder-decoder 模型,亦稱為序列至序列模型。它會把一段音訊頻譜圖特徵映射至一段文字 tokens。首先由特徵抽取器將原始音訊輸入轉換為 log-Mel 頻譜圖;然後 Transformer encoder 將頻譜圖編碼為一連串 encoder 隱藏狀態;最後,decoder 會以自回歸方式預測文字 tokens,並根據先前 tokens 和 encoder 隱藏狀態作條件判斷。圖 1 概述 Whisper 模型。
在序列至序列模型中,encoder 會把音訊輸入轉換成一組隱藏狀態表示,抽取語音中的重要特徵。decoder 則扮演語言模型,處理隱藏狀態表示並生成相應文字轉錄。在系統架構內部整合語言模型稱為深度融合,與淺層融合不同;後者會把語言模型與 encoder 外部結合,例如 CTC + nn-gram(參見Internal Language Model Estimation)。採用深度融合時,整個系統可使用相同訓練資料和損失函數端對端訓練,彈性更大,通常表現亦更佳(參見ESB Benchmark)。
Whisper 使用交叉熵目標函數預訓練和微調。這是分類任務中訓練序列至序列系統的標準目標函數,模型會從預先定義的文字 token 詞彙表中,學習正確分類目標文字 token。
Whisper 檢查點分為 5 種不同模型規模。最小的 4 款以純英文或多語言資料訓練,最大規模的檢查點則只支援多語言。全部 11 款預訓練檢查點均可在 Hugging Face Hub 取得。下表概述這些檢查點,並附上 Hub 模型連結:
| 規模 | 層數 | 寬度 | 注意力頭數 | 參數量 | 純英文 | 多語言 |
|---|---|---|---|---|---|---|
| tiny | 4 | 384 | 6 | 39 M | ✓ | ✓ |
| base | 6 | 512 | 8 | 74 M | ✓ | ✓ |
| small | 12 | 768 | 12 | 244 M | ✓ | ✓ |
| medium | 24 | 1024 | 16 | 769 M | ✓ | ✓ |
| large | 32 | 1280 | 20 | 1550 M | x | ✓ |
| large-v2 | 32 | 1280 | 20 | 1550 M | x | ✓ |
| large-v3 | 32 | 1280 | 20 | 1550 M | x | ✓ |
作為示範,我們會微調多語言版 small 檢查點,參數量為 244M(約 1GB)。資料方面,我們會使用 Common Voice 的低資源語言資料來訓練和評估系統。我們會展示只需 8 小時微調資料,也能在該語言取得出色表現。
1{}^1 Whisper 這個名稱源自縮寫「WSPSR」,意為「Web-scale Supervised Pre-training for Speech Recognition」(網絡規模監督式語音識別預訓練)。
在 Google Colab 微調 Whisper
準備環境
我們會使用幾款常見 Python 套件微調 Whisper。使用 datasets[audio] 下載及準備訓練資料,並以 transformers 和 accelerate 載入及訓練 Whisper 模型。此外需要 soundfile 預處理音訊檔案,使用 evaluate 和 jiwer 評估模型效能,並以 tensorboard 記錄指標。最後使用 gradio 為微調後的模型建立亮眼示範。
!pip install --upgrade pip
!pip install --upgrade "datasets[audio]" transformers accelerate evaluate jiwer tensorboard gradio
我們強烈建議訓練期間直接將模型檢查點上傳至 Hugging Face Hub。Hub 提供:
- 整合式版本控制:確保訓練期間不會遺失任何模型檢查點。
- TensorBoard 記錄:追蹤訓練期間的重要指標。
- 模型卡:記錄模型功能和預期用途。
- 社羣:輕鬆與社羣分享和協作!
將 notebook 連結至 Hub 很簡單,只須在提示時輸入 Hub 驗證 token。你可在此處找到 Hub 驗證 token:
from huggingface_hub import notebook_login
notebook_login()
輸出範例:
Login successful
Your token has been saved to /root/.huggingface/token
載入資料集
Common Voice 是一系列由羣眾協作建立的資料集,參與者會為不同語言錄製維基百科文字。本文撰寫時,我們會使用 Common Voice 最新版本(第 11 版)。選用的語言是印地語,一種在印度北部、中部、東部和西部使用的印度-雅利安語。Common Voice 11.0 約有 12 小時已標記印地語資料,其中 4 小時保留作測試。
提示:你可在 Hugging Face Hub 的 Mozilla Foundation 組織頁面查看 Common Voice 資料集的最新版本。較新版本涵蓋更多語言,每種語言的資料量亦更多。
前往 Hub 查看 Common Voice 資料集頁面:mozilla-foundation/common_voice_11_0。
首次瀏覽此頁時,系統會要求接受使用條款。完成後即可完整存取資料集。
完成資料集驗證後,便會看到資料集預覽,其中顯示首 100 個樣本,並載入可即時播放的音訊樣本。你可在下拉選單中把 subset 設為 hi,選取 Common Voice 的印地語子集(hi 是印地語的語言識別碼):
按下第一個樣本的播放按鈕,即可聆聽音訊並查看相應文字。瀏覽訓練和測試集的樣本,瞭解音訊及文字資料的特性。從語調和風格可看出,錄音內容是朗讀語音;你亦會留意到説話者和錄音質素差異很大,這是羣眾協作資料的常見特點。
使用 🤗 Datasets 下載及準備資料非常簡單,只需一行程式碼便可下載並準備 Common Voice 各個 split。由於印地語是低資源語言,我們會合併 train 和 validation split,取得約 8 小時訓練資料;另以 4 小時 test 資料作保留測試集:
from datasets import load_dataset, DatasetDict
common_voice = DatasetDict()
common_voice["train"] = load_dataset("mozilla-foundation/common_voice_11_0", "hi", split="train+validation", use_auth_token=True)
common_voice["test"] = load_dataset("mozilla-foundation/common_voice_11_0", "hi", split="test", use_auth_token=True)
print(common_voice)
輸出範例:
DatasetDict({
train: Dataset({
features: ['client_id', 'path', 'audio', 'sentence', 'up_votes', 'down_votes', 'age', 'gender', 'accent', 'locale', 'segment'],
num_rows: 6540
})
test: Dataset({
features: ['client_id', 'path', 'audio', 'sentence', 'up_votes', 'down_votes', 'age', 'gender', 'accent', 'locale', 'segment'],
num_rows: 2894
})
})
大部分 ASR 資料集只提供音訊輸入樣本(audio)及相應文字轉錄(sentence)。Common Voice 還包含口音和地區設定等其他中繼資料(accent 和 locale),對 ASR 可忽略。為令 notebook 盡可能通用,微調時只採用音訊輸入和轉錄文字,捨棄其他中繼資料:
common_voice = common_voice.remove_columns(["accent", "age", "client_id", "down_votes", "gender", "locale", "path", "segment", "up_votes"])
Common Voice 只是 Hub 上眾多可下載多語言 ASR 資料集之一,還有很多選擇!如欲瀏覽語音識別資料集,請前往:Hub 上的 ASR 資料集。
準備特徵抽取器、tokenizer 和資料
ASR pipeline 可分為三個部分:
- 特徵抽取器:預處理原始音訊輸入
- 模型:執行序列至序列映射
- tokenizer:把模型輸出後處理為文字格式
在 🤗 Transformers 中,Whisper 模型有相應的特徵抽取器和 tokenizer,分別稱為 WhisperFeatureExtractor 和 WhisperTokenizer。
接下來會逐一講解特徵抽取器和 tokenizer 的細節!
載入 WhisperFeatureExtractor
語音以隨時間變化的一維陣列表示。每個時間步的陣列值,就是該時刻訊號的振幅。單憑振幅資料即可重建音訊的頻譜,並還原所有聲學特徵。
由於語音是連續訊號,包含無限多個振幅值,這對只接受有限陣列的電腦裝置造成問題。因此我們會在固定時間間隔從訊號中取樣,把語音訊號離散化。音訊取樣間隔稱為取樣率,通常以 samples/sec 或赫茲(Hz)量度。取樣率愈高,越能準確近似連續語音訊號,但每秒亦須儲存更多數值。
音訊輸入的取樣率必須與模型預期的取樣率一致,因為不同取樣率的音訊訊號分佈差異很大。只應以正確取樣率處理音訊;否則可能出現意料之外的結果!例如,取樣率為 16kHz 的音訊若以 8kHz 播放,聽起來會變成半速;同樣地,輸入取樣率錯誤的音訊,會令預期一種取樣率的 ASR 模型無法正常工作。Whisper 特徵抽取器預期音訊輸入為 16kHz,因此我們必須將輸入調整至此數值,避免不慎以慢動作語音訓練 ASR 系統!
Whisper 特徵抽取器會執行兩項操作。首先,把一批音訊樣本補齊/截短至每個樣本輸入長度為 30 秒;短於 30 秒的樣本會在序列末尾補零(音訊訊號中的零代表沒有訊號或靜音),長於 30 秒的樣本則截短至 30 秒。由於批次內所有項目在輸入空間都已補齊/截短至相同最大長度,將音訊輸入傳入 Whisper 模型時便無需 attention mask。Whisper 在這方面與眾不同:大部分音訊模型都會要求提供 attention mask,標示序列哪些位置經過補齊,以便在 self-attention 機制中忽略。Whisper 訓練時不使用 attention mask,而是直接從語音訊號推斷要忽略哪些輸入。
Whisper 特徵抽取器的第二項操作,是把補齊後的音訊陣列轉換為 log-Mel 頻譜圖。這些頻譜圖是訊號頻率的視覺表示,有點像 Fourier transform。圖 2 顯示頻譜圖範例。yy 軸是 Mel 通道,對應特定頻率區間;xx 軸代表時間。每個像素的顏色代表該時刻該頻率區間的對數強度。Whisper 模型預期的輸入格式就是 log-Mel 頻譜圖。
Mel 通道(頻率區間)是語音處理中的標準做法,設計時會近似人類聽覺範圍。微調 Whisper 時只需知道,頻譜圖是語音訊號頻率的視覺表示。如欲進一步瞭解 Mel 通道,請參閲Mel-frequency cepstrum。
幸好 🤗 Transformers 的 Whisper 特徵抽取器只需一行程式碼便可完成補齊和頻譜圖轉換!現在從預訓練檢查點載入特徵抽取器,準備處理音訊資料:
from transformers import WhisperFeatureExtractor
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-small")
載入 WhisperTokenizer
現在看看如何載入 Whisper tokenizer。Whisper 模型會輸出文字 tokens,表示預測文字在詞彙表中的索引。tokenizer 會把文字 token 序列映射為實際文字字串(例如 [1169, 3797, 3332] -> "the cat sat")。
傳統上使用 encoder-only 模型作 ASR 時,會透過連接時序分類(CTC)解碼。這種方式要求為每個使用的資料集訓練一個 CTC tokenizer。採用 encoder-decoder 架構的一個優點,是可直接沿用預訓練模型的 tokenizer。
Whisper tokenizer 使用 96 種預訓練語言的轉錄資料進行預訓練,因此具備廣泛的byte-pair編碼,幾乎適用於所有多語言 ASR 應用。印地語可直接載入 tokenizer 並用於微調,無需其他修改,只要指定目標語言和任務。這些參數會告知 tokenizer 在編碼標籤序列開首加上語言及任務 tokens:
from transformers import WhisperTokenizer
tokenizer = WhisperTokenizer.from_pretrained("openai/whisper-small", language="Hindi", task="transcribe")
提示:只需將本文教學改用於語音翻譯,並在上方程式碼中將任務設為
"translate"、語言設為目標文字語言。資料集預處理時,系統會在語音翻譯資料前加上相應任務及語言 tokens。
我們可編碼再解碼 Common Voice 資料集的第一個樣本,確認 tokenizer 能否正確編碼印地語字元。編碼轉錄內容時,tokenizer 會在序列開首及結尾附加「特殊 tokens」,包括轉錄起始/結束 token、語言 token 和任務 tokens(由上一步的參數指定)。解碼標籤 ID 時,可選擇「略過」這些特殊 tokens,還原原始輸入格式的字串:
input_str = common_voice["train"][0]["sentence"]
labels = tokenizer(input_str).input_ids
decoded_with_special = tokenizer.decode(labels, skip_special_tokens=False)
decoded_str = tokenizer.decode(labels, skip_special_tokens=True)
print(f"Input: {input_str}")
print(f"Decoded w/ special: {decoded_with_special}")
print(f"Decoded w/out special: {decoded_str}")
print(f"Are equal: {input_str == decoded_str}")
輸出範例:
Input: खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई
Decoded w/ special: <|startoftranscript|><|hi|><|transcribe|><|notimestamps|>खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई<|endoftext|>
Decoded w/out special: खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई
Are equal: True
合併建立 WhisperProcessor
為簡化特徵抽取器和 tokenizer 的使用方式,可將兩者包裝在同一個 WhisperProcessor 類別中。此 processor 物件繼承自 WhisperFeatureExtractor 和 WhisperProcessor,可按需要處理音訊輸入和模型預測。如此一來,訓練期間只需追蹤兩個物件:processor 和 model:
from transformers import WhisperProcessor
processor = WhisperProcessor.from_pretrained("openai/whisper-small", language="Hindi", task="transcribe")
準備資料
先列印 Common Voice 資料集的第一個範例,看看資料格式:
print(common_voice["train"][0])
輸出範例:
{'audio': {'path': '/home/sanchit_huggingface_co/.cache/huggingface/datasets/downloads/extracted/607848c7e74a89a3b5225c0fa5ffb9470e39b7f11112db614962076a847f3abf/cv-corpus-11.0-2022-09-21/hi/clips/common_voice_hi_25998259.mp3',
'array': array([0.0000000e+00, 0.0000000e+00, 0.0000000e+00, ..., 9.6724887e-07,
1.5334779e-06, 1.0415988e-06], dtype=float32),
'sampling_rate': 48000},
'sentence': 'खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई'}
可以看到這裡有一維音訊輸入陣列及相應目標轉錄文字。我們已多次提及取樣率的重要性,以及音訊取樣率必須符合 Whisper 模型的取樣率(16kHz)。由於輸入音訊以 48kHz 取樣,傳給 Whisper 特徵抽取器前必須先降採樣至 16kHz。
使用資料集的 cast_column 方法,將音訊輸入設定為正確取樣率。此操作不會直接修改音訊,而是告知 datasets 即時重新取樣樣本,並在首次載入時執行:
from datasets import Audio
common_voice = common_voice.cast_column("audio", Audio(sampling_rate=16000))
重新載入 Common Voice 資料集的第一個音訊樣本後,便會按所需取樣率重新取樣:
print(common_voice["train"][0])
輸出範例:
{'audio': {'path': '/home/sanchit_huggingface_co/.cache/huggingface/datasets/downloads/extracted/607848c7e74a89a3b5225c0fa5ffb9470e39b7f11112db614962076a847f3abf/cv-corpus-11.0-2022-09-21/hi/clips/common_voice_hi_25998259.mp3',
'array': array([ 0.0000000e+00, 0.0000000e+00, 0.0000000e+00, ...,
-3.4206650e-07, 3.2979898e-07, 1.0042874e-06], dtype=float32),
'sampling_rate': 16000},
'sentence': 'खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई'}
太好了!取樣率已降至 16kHz。陣列數值亦有所不同,因為現在大約每 3 個舊振幅值才保留 1 個。
現在可編寫函數,為模型準備資料:
- 呼叫
batch["audio"]即可載入並重新取樣音訊資料。如上所述,🤗 Datasets 會即時執行所需的重新取樣操作。 - 使用特徵抽取器,從一維音訊陣列計算 log-Mel 頻譜圖輸入特徵。
- 使用 tokenizer 將轉錄內容編碼為標籤 ID。
def prepare_dataset(batch):
# load and resample audio data from 48 to 16kHz
audio = batch["audio"]
# compute log-Mel input features from input audio array
batch["input_features"] = feature_extractor(audio["array"], sampling_rate=audio["sampling_rate"]).input_features[0]
# encode target text to label ids
batch["labels"] = tokenizer(batch["sentence"]).input_ids
return batch
可使用資料集的 .map 方法,將資料準備函數套用至所有訓練樣本:
common_voice = common_voice.map(prepare_dataset, remove_columns=common_voice.column_names["train"], num_proc=4)
好了!現在資料已全部準備妥當,可以開始訓練! 接下來看看如何使用這些資料微調 Whisper。
注意:目前 datasets 會使用 torchaudio 和 librosa 載入及重新取樣音訊。若想自行實作資料載入/取樣,可使用 "path" 欄位取得音訊檔案路徑,並忽略 "audio" 欄位。
訓練和評估
資料準備完成後,便可開始訓練 pipeline。大部分工作會由🤗 Trainer代勞,我們只需:
載入預訓練檢查點:載入並正確設定預訓練檢查點以供訓練。
定義 data collator:將預處理後的資料整理成可供模型使用的 PyTorch tensors。
評估指標:評估期間使用字詞錯誤率(WER)評估模型,並定義
compute_metrics函數執行計算。定義訓練參數:🤗 Trainer 會用這些參數建立訓練排程。
模型微調完成後,會在測試資料上評估,確認已正確訓練模型轉錄印地語語音。
載入預訓練檢查點
我們會以 Whisper 預訓練 small 檢查點開始微調,從 Hugging Face Hub 載入預訓練權重即可。使用 🤗 Transformers 載入同樣非常簡單!
from transformers import WhisperForConditionalGeneration
model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-small")
推論時,Whisper 模型會自動偵測來源音訊的語言,並以該語言預測 token ID。若事先已知音訊語言(例如多語言微調),明確指定語言會更理想,以免模型誤判語言,導致生成文字偏離實際語言。方法是在生成設定中設定語言和任務參數。我們亦會把 forced_decoder_ids 設為 None,因為這是設定語言及任務參數的舊方式:
model.generation_config.language = "hindi"
model.generation_config.task = "transcribe"
model.generation_config.forced_decoder_ids = None
定義 data collator
序列至序列語音模型的 data collator 有一點特別:它會分開處理 input_features 和 labels:input_features 必須交由特徵抽取器處理,而 labels 則交由 tokenizer 處理。
input_features 已補齊至 30s,並轉換為固定維度的 log-Mel 頻譜圖,因此只需使用特徵抽取器的 .pad 方法及 return_tensors=pt,將它們轉為批次 PyTorch tensors。輸入維度固定,此處不會再補齊,只會把 input_features 轉換為 PyTorch tensors。
另一方面,labels 尚未補齊。我們先使用 tokenizer 的 .pad 方法,將序列補齊至批次中的最大長度,再把 padding tokens 取代為 -100,令計算損失時不會計入這些 tokens。接著移除標籤序列開首的轉錄起始 token,因為訓練時會再加上。
使用先前定義的 WhisperProcessor,即可同時執行特徵抽取器和 tokenizer 的操作:
import torch
from dataclasses import dataclass
from typing import Any, Dict, List, Union
@dataclass
class DataCollatorSpeechSeq2SeqWithPadding:
processor: Any
decoder_start_token_id: int
def __call__(self, features: List[Dict[str, Union[List[int], torch.Tensor]]]) -> Dict[str, torch.Tensor]:
# split inputs and labels since they have to be of different lengths and need different padding methods
# first treat the audio inputs by simply returning torch tensors
input_features = [{"input_features": feature["input_features"]} for feature in features]
batch = self.processor.feature_extractor.pad(input_features, return_tensors="pt")
# get the tokenized label sequences
label_features = [{"input_ids": feature["labels"]} for feature in features]
# pad the labels to max length
labels_batch = self.processor.tokenizer.pad(label_features, return_tensors="pt")
# replace padding with -100 to ignore loss correctly
labels = labels_batch["input_ids"].masked_fill(labels_batch.attention_mask.ne(1), -100)
# if bos token is appended in previous tokenization step,
# cut bos token here as it's append later anyways
if (labels[:, 0] == self.decoder_start_token_id).all().cpu().item():
labels = labels[:, 1:]
batch["labels"] = labels
return batch
現在初始化剛剛定義的 data collator:
data_collator = DataCollatorSpeechSeq2SeqWithPadding(
processor=processor,
decoder_start_token_id=model.config.decoder_start_token_id,
)
評估指標
接著定義評估集所用的評估指標。ASR 系統普遍使用字詞錯誤率(WER)作為「事實標準」指標。詳情請參閲 WER文件。使用 🤗 Evaluate 載入 WER 指標:
import evaluate
metric = evaluate.load("wer")
然後定義一個函數,接收模型預測並回傳 WER 指標。此函數稱為 compute_metrics,首先會把 -100 換成 pad_token_id,以便在 label_ids 中還原 data collator 為正確計算損失而忽略 padding tokens 的處理。之後將預測 ID 和標籤 ID 解碼成字串,最後計算預測與參考標籤之間的 WER:
def compute_metrics(pred):
pred_ids = pred.predictions
label_ids = pred.label_ids
# replace -100 with the pad_token_id
label_ids[label_ids == -100] = tokenizer.pad_token_id
# we do not want to group tokens when computing the metrics
pred_str = tokenizer.batch_decode(pred_ids, skip_special_tokens=True)
label_str = tokenizer.batch_decode(label_ids, skip_special_tokens=True)
wer = 100 * metric.compute(predictions=pred_str, references=label_str)
return {"wer": wer}
定義訓練參數
最後一步是定義所有訓練參數。以下説明其中一部分:
output_dir:儲存模型權重的本機資料夾,同時亦會作為 Hugging Face Hub 上的儲存庫名稱。generation_max_length:評估期間自回歸生成的最大 token 數量。save_steps:訓練期間每經過save_steps個訓練步驟,就會儲存中途檢查點並非同步上傳至 Hub。eval_steps:訓練期間每經過eval_steps個訓練步驟,就會評估中途檢查點。report_to:儲存訓練記錄的位置。支援平台包括"azure_ml"、"comet_ml"、"mlflow"、"neptune"、"tensorboard"和"wandb"。可選用偏好的平台,或保留"tensorboard"將記錄傳至 Hub。
其他訓練參數的詳情,請參閲 Seq2SeqTrainingArguments文件。
from transformers import Seq2SeqTrainingArguments
training_args = Seq2SeqTrainingArguments(
output_dir="./whisper-small-hi", # change to a repo name of your choice
per_device_train_batch_size=16,
gradient_accumulation_steps=1, # increase by 2x for every 2x decrease in batch size
learning_rate=1e-5,
warmup_steps=500,
max_steps=5000,
gradient_checkpointing=True,
fp16=True,
evaluation_strategy="steps",
per_device_eval_batch_size=8,
predict_with_generate=True,
generation_max_length=225,
save_steps=1000,
eval_steps=1000,
logging_steps=25,
report_to=["tensorboard"],
load_best_model_at_end=True,
metric_for_best_model="wer",
greater_is_better=False,
push_to_hub=True,
)
注意:如不想將模型檢查點上傳至 Hub,請設定 push_to_hub=False。
現在將訓練參數連同模型、資料集、data collator 和 compute_metrics 函數傳給 🤗 Trainer:
from transformers import Seq2SeqTrainer
trainer = Seq2SeqTrainer(
args=training_args,
model=model,
train_dataset=common_voice["train"],
eval_dataset=common_voice["test"],
data_collator=data_collator,
compute_metrics=compute_metrics,
tokenizer=processor.feature_extractor,
)
準備就緒,可以開始訓練!
訓練
只需執行以下指令即可開始訓練:
trainer.train()
視乎你的 GPU 或 Google Colab 分配的 GPU,訓練需時約 5–10 小時。開始訓練時可能會遇到 CUDA "out-of-memory" 錯誤;此時可每次把 per_device_train_batch_size 減半,並使用 gradient_accumulation_steps 作補償。
輸出範例:
| 步驟 | 訓練損失 | Epoch | 驗證損失 | WER |
|---|---|---|---|---|
| 1000 | 0.1011 | 2.44 | 0.3075 | 34.63 |
| 2000 | 0.0264 | 4.89 | 0.3558 | 33.13 |
| 3000 | 0.0025 | 7.33 | 0.4214 | 32.59 |
| 4000 | 0.0006 | 9.78 | 0.4519 | 32.01 |
| 5000 | 0.0002 | 12.22 | 0.4679 | 32.10 |
訓練 4000 步後,我們的最佳 WER 為 32.0%。作為參考,預訓練 Whisper small 模型的 WER 為 63.5%,即透過微調絕對提升了 31.5%。只用 8 小時訓練資料,成績已不錯!
現在可將微調後的模型分享到 Hugging Face Hub。上傳時可設定適當的關鍵字參數(kwargs),加入標籤和 README 資訊,令模型更容易被找到。你可按資料集、語言和模型名稱自行修改這些值:
kwargs = {
"dataset_tags": "mozilla-foundation/common_voice_11_0",
"dataset": "Common Voice 11.0", # a 'pretty' name for the training dataset
"dataset_args": "config: hi, split: test",
"language": "hi",
"model_name": "Whisper Small Hi - Sanchit Gandhi", # a 'pretty' name for your model
"finetuned_from": "openai/whisper-small",
"tasks": "automatic-speech-recognition",
}
現在可將訓練結果上傳至 Hub,只需執行 push_to_hub 指令:
trainer.push_to_hub(**kwargs)
現在可透過 Hub 上的連結與任何人分享模型,他們亦可使用識別碼 "your-username/the-name-you-picked" 載入模型,例如:
from transformers import WhisperForConditionalGeneration, WhisperProcessor
model = WhisperForConditionalGeneration.from_pretrained("sanchit-gandhi/whisper-small-hi")
processor = WhisperProcessor.from_pretrained("sanchit-gandhi/whisper-small-hi")
微調後的模型在 Common Voice 印地語測試資料上取得令人滿意的結果,但仍未達最佳。此 notebook 旨在示範如何使用任何多語言 ASR 資料集微調 Whisper 預訓練檢查點。最佳化學習率和dropout等訓練超參數,並採用更大型預訓練檢查點(medium 或 large-v3),應可進一步提升結果。
建立示範
模型微調完成後,可建立示範展示 ASR 能力!我們會使用 🤗 Transformers 的 pipeline,自動處理整條 ASR pipeline,從音訊輸入預處理到解碼模型預測一手包辦,再使用 Gradio 建立互動示範。Gradio 可説是最簡單的機器學習示範建置工具之一,只需幾分鐘便能完成!
執行下方範例即可建立 Gradio 示範,透過電腦麥克風錄製語音,輸入微調後的 Whisper 模型並轉錄為文字:
from transformers import pipeline
import gradio as gr
pipe = pipeline(model="sanchit-gandhi/whisper-small-hi") # change to "your-username/the-name-you-picked"
def transcribe(audio):
text = pipe(audio)["text"]
return text
iface = gr.Interface(
fn=transcribe,
inputs=gr.Audio(source="microphone", type="filepath"),
outputs="text",
title="Whisper Small Hindi",
description="Realtime demo for Hindi speech recognition using a fine-tuned Whisper small model.",
)
iface.launch()
結語
本文逐步介紹如何使用 🤗 Datasets、Transformers 和 Hugging Face Hub,微調用於多語言 ASR 的 Whisper。想親自試試微調,可參閲 Google Colab。若有興趣微調其他 Transformer 模型,無論英文或多語言 ASR,都可查看 examples/pytorch/speech-recognition 的範例指令碼。
來源:Hugging Face Blog · huggingface.co