跳到正文
Hugging Face Blog·· 2022-11-03精選AI 評分73

使用 🤗 Transformers 微調 Whisper 以支援多語言 ASR

Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers

AI 導讀

Hugging Face Blog 提供使用 🤗 Transformers 為多語言 ASR 資料集微調 Whisper 的逐步指南,涵蓋資料準備、訓練與評估。

推薦理由

文章將 Whisper 多語言微調拆解為資料準備、特徵處理、訓練評估與示範流程,並以印地語資料展示從預處理到模型分享的可複用實作路徑。

正文 · 繁體中文

Open In Colab

本文會逐步介紹如何使用 Hugging Face 🤗 Transformers,為任何多語言 ASR 資料集微調 Whisper。文章深入講解 Whisper 模型、Common Voice 資料集及微調理論,並附上可執行資料準備和微調步驟的程式碼儲存格。如想看説明較少但保留所有程式碼的精簡版 notebook,請參閲隨附的 Google Colab。

目錄

  1. 簡介
  2. 在 Google Colab 微調 Whisper
    1. 準備環境
    2. 載入資料集
    3. 準備特徵抽取器、tokenizer 和資料
    4. 訓練和評估
    5. 建立示範
  3. 結語

簡介

Whisper 是一款預訓練自動語音識別(ASR)模型,由 OpenAI 作者 Alec Radford 等人於 2022 年 9 月發布。與不少前代模型(例如 Wav2Vec 2.0)不同,後者以未標記音訊資料預訓練,而 Whisper 使用大量已標記的音訊與轉錄資料,準確而言達 680,000 小時。這比訓練 Wav2Vec 2.0 所用的未標記音訊資料(60,000 小時)多一個數量級;此外,這些預訓練資料中有 117,000 小時屬多語言 ASR 資料。模型檢查點因此可應用於超過 96 種語言,其中不少屬於低資源語言。

大量已標記資料讓 Whisper 可以直接以語音識別這項監督式任務作預訓練,從已標記的音訊轉錄資料學習語音至文字的映射1{}^1。因此,Whisper 只需少量額外微調,便能成為高效能 ASR 模型。 Wav2Vec 2.0 則不同,它以遮罩預測這項非監督式任務預訓練,學習由未標記音訊將語音映射至隱藏狀態的中間表示。非監督式預訓練可取得高質素語音表示,但不會學習語音至文字的映射;此映射只會在微調時習得,因此需要更多微調才能達到具競爭力的表現。

使用 680,000 小時已標記預訓練資料後,Whisper 模型展現出在多種資料集和領域泛化的能力。預訓練檢查點的表現可媲美最先進 ASR 系統,在 LibriSpeech ASR 的 test-clean 子集達到接近 3% 字詞錯誤率(WER),並以 4.7% WER 在 TED-LIUM 創下新 SOTA(參見Whisper 論文表 8)。Whisper 預訓練時習得的大量多語言 ASR 知識可用於其他低資源語言;透過微調,預訓練檢查點可適配特定資料集和語言,進一步提升這些結果。

Whisper 是基於 Transformer 的 encoder-decoder 模型,亦稱為序列至序列模型。它會把一段音訊頻譜圖特徵映射至一段文字 tokens。首先由特徵抽取器將原始音訊輸入轉換為 log-Mel 頻譜圖;然後 Transformer encoder 將頻譜圖編碼為一連串 encoder 隱藏狀態;最後,decoder 會以自回歸方式預測文字 tokens,並根據先前 tokens 和 encoder 隱藏狀態作條件判斷。圖 1 概述 Whisper 模型。

Trulli
圖 1:Whisper 模型。架構沿用標準的 Transformer encoder-decoder 模型。encoder 接收 log-Mel 頻譜圖輸入,最後的 encoder 隱藏狀態透過 cross-attention 機制傳至 decoder。decoder 會根據 encoder 隱藏狀態和先前預測的 tokens,以自回歸方式預測文字 tokens。圖片來源:OpenAI Whisper 網誌。

在序列至序列模型中,encoder 會把音訊輸入轉換成一組隱藏狀態表示,抽取語音中的重要特徵。decoder 則扮演語言模型,處理隱藏狀態表示並生成相應文字轉錄。在系統架構內部整合語言模型稱為深度融合,與淺層融合不同;後者會把語言模型與 encoder 外部結合,例如 CTC + nn-gram(參見Internal Language Model Estimation)。採用深度融合時,整個系統可使用相同訓練資料和損失函數端對端訓練,彈性更大,通常表現亦更佳(參見ESB Benchmark)。

Whisper 使用交叉熵目標函數預訓練和微調。這是分類任務中訓練序列至序列系統的標準目標函數,模型會從預先定義的文字 token 詞彙表中,學習正確分類目標文字 token。

Whisper 檢查點分為 5 種不同模型規模。最小的 4 款以純英文或多語言資料訓練,最大規模的檢查點則只支援多語言。全部 11 款預訓練檢查點均可在 Hugging Face Hub 取得。下表概述這些檢查點,並附上 Hub 模型連結:

規模 層數 寬度 注意力頭數 參數量 純英文 多語言
tiny 4 384 6 39 M ✓ ✓
base 6 512 8 74 M ✓ ✓
small 12 768 12 244 M ✓ ✓
medium 24 1024 16 769 M ✓ ✓
large 32 1280 20 1550 M x ✓
large-v2 32 1280 20 1550 M x ✓
large-v3 32 1280 20 1550 M x ✓

作為示範,我們會微調多語言版 small 檢查點,參數量為 244M(約 1GB)。資料方面,我們會使用 Common Voice 的低資源語言資料來訓練和評估系統。我們會展示只需 8 小時微調資料,也能在該語言取得出色表現。


1{}^1 Whisper 這個名稱源自縮寫「WSPSR」,意為「Web-scale Supervised Pre-training for Speech Recognition」(網絡規模監督式語音識別預訓練)。

在 Google Colab 微調 Whisper

準備環境

我們會使用幾款常見 Python 套件微調 Whisper。使用 datasets[audio] 下載及準備訓練資料,並以 transformers 和 accelerate 載入及訓練 Whisper 模型。此外需要 soundfile 預處理音訊檔案,使用 evaluate 和 jiwer 評估模型效能,並以 tensorboard 記錄指標。最後使用 gradio 為微調後的模型建立亮眼示範。

!pip install --upgrade pip
!pip install --upgrade "datasets[audio]" transformers accelerate evaluate jiwer tensorboard gradio

我們強烈建議訓練期間直接將模型檢查點上傳至 Hugging Face Hub。Hub 提供:

  • 整合式版本控制:確保訓練期間不會遺失任何模型檢查點。
  • TensorBoard 記錄:追蹤訓練期間的重要指標。
  • 模型卡:記錄模型功能和預期用途。
  • 社羣:輕鬆與社羣分享和協作!

將 notebook 連結至 Hub 很簡單,只須在提示時輸入 Hub 驗證 token。你可在此處找到 Hub 驗證 token:

from huggingface_hub import notebook_login

notebook_login()

輸出範例:

Login successful
Your token has been saved to /root/.huggingface/token

載入資料集

Common Voice 是一系列由羣眾協作建立的資料集,參與者會為不同語言錄製維基百科文字。本文撰寫時,我們會使用 Common Voice 最新版本(第 11 版)。選用的語言是印地語,一種在印度北部、中部、東部和西部使用的印度-雅利安語。Common Voice 11.0 約有 12 小時已標記印地語資料,其中 4 小時保留作測試。

提示:你可在 Hugging Face Hub 的 Mozilla Foundation 組織頁面查看 Common Voice 資料集的最新版本。較新版本涵蓋更多語言,每種語言的資料量亦更多。

前往 Hub 查看 Common Voice 資料集頁面:mozilla-foundation/common_voice_11_0。

首次瀏覽此頁時,系統會要求接受使用條款。完成後即可完整存取資料集。

完成資料集驗證後,便會看到資料集預覽,其中顯示首 100 個樣本,並載入可即時播放的音訊樣本。你可在下拉選單中把 subset 設為 hi,選取 Common Voice 的印地語子集(hi 是印地語的語言識別碼):

Trulli

按下第一個樣本的播放按鈕,即可聆聽音訊並查看相應文字。瀏覽訓練和測試集的樣本,瞭解音訊及文字資料的特性。從語調和風格可看出,錄音內容是朗讀語音;你亦會留意到説話者和錄音質素差異很大,這是羣眾協作資料的常見特點。

使用 🤗 Datasets 下載及準備資料非常簡單,只需一行程式碼便可下載並準備 Common Voice 各個 split。由於印地語是低資源語言,我們會合併 train 和 validation split,取得約 8 小時訓練資料;另以 4 小時 test 資料作保留測試集:

from datasets import load_dataset, DatasetDict

common_voice = DatasetDict()

common_voice["train"] = load_dataset("mozilla-foundation/common_voice_11_0", "hi", split="train+validation", use_auth_token=True)
common_voice["test"] = load_dataset("mozilla-foundation/common_voice_11_0", "hi", split="test", use_auth_token=True)

print(common_voice)

輸出範例:

DatasetDict({
    train: Dataset({
        features: ['client_id', 'path', 'audio', 'sentence', 'up_votes', 'down_votes', 'age', 'gender', 'accent', 'locale', 'segment'],
        num_rows: 6540
    })
    test: Dataset({
        features: ['client_id', 'path', 'audio', 'sentence', 'up_votes', 'down_votes', 'age', 'gender', 'accent', 'locale', 'segment'],
        num_rows: 2894
    })
})

大部分 ASR 資料集只提供音訊輸入樣本(audio)及相應文字轉錄(sentence)。Common Voice 還包含口音和地區設定等其他中繼資料(accent 和 locale),對 ASR 可忽略。為令 notebook 盡可能通用,微調時只採用音訊輸入和轉錄文字,捨棄其他中繼資料:

common_voice = common_voice.remove_columns(["accent", "age", "client_id", "down_votes", "gender", "locale", "path", "segment", "up_votes"])

Common Voice 只是 Hub 上眾多可下載多語言 ASR 資料集之一,還有很多選擇!如欲瀏覽語音識別資料集,請前往:Hub 上的 ASR 資料集。

準備特徵抽取器、tokenizer 和資料

ASR pipeline 可分為三個部分:

  1. 特徵抽取器:預處理原始音訊輸入
  2. 模型:執行序列至序列映射
  3. tokenizer:把模型輸出後處理為文字格式

在 🤗 Transformers 中,Whisper 模型有相應的特徵抽取器和 tokenizer,分別稱為 WhisperFeatureExtractor 和 WhisperTokenizer。

接下來會逐一講解特徵抽取器和 tokenizer 的細節!

載入 WhisperFeatureExtractor

語音以隨時間變化的一維陣列表示。每個時間步的陣列值,就是該時刻訊號的振幅。單憑振幅資料即可重建音訊的頻譜,並還原所有聲學特徵。

由於語音是連續訊號,包含無限多個振幅值,這對只接受有限陣列的電腦裝置造成問題。因此我們會在固定時間間隔從訊號中取樣,把語音訊號離散化。音訊取樣間隔稱為取樣率,通常以 samples/sec 或赫茲(Hz)量度。取樣率愈高,越能準確近似連續語音訊號,但每秒亦須儲存更多數值。

音訊輸入的取樣率必須與模型預期的取樣率一致,因為不同取樣率的音訊訊號分佈差異很大。只應以正確取樣率處理音訊;否則可能出現意料之外的結果!例如,取樣率為 16kHz 的音訊若以 8kHz 播放,聽起來會變成半速;同樣地,輸入取樣率錯誤的音訊,會令預期一種取樣率的 ASR 模型無法正常工作。Whisper 特徵抽取器預期音訊輸入為 16kHz,因此我們必須將輸入調整至此數值,避免不慎以慢動作語音訓練 ASR 系統!

Whisper 特徵抽取器會執行兩項操作。首先,把一批音訊樣本補齊/截短至每個樣本輸入長度為 30 秒;短於 30 秒的樣本會在序列末尾補零(音訊訊號中的零代表沒有訊號或靜音),長於 30 秒的樣本則截短至 30 秒。由於批次內所有項目在輸入空間都已補齊/截短至相同最大長度,將音訊輸入傳入 Whisper 模型時便無需 attention mask。Whisper 在這方面與眾不同:大部分音訊模型都會要求提供 attention mask,標示序列哪些位置經過補齊,以便在 self-attention 機制中忽略。Whisper 訓練時不使用 attention mask,而是直接從語音訊號推斷要忽略哪些輸入。

Whisper 特徵抽取器的第二項操作,是把補齊後的音訊陣列轉換為 log-Mel 頻譜圖。這些頻譜圖是訊號頻率的視覺表示,有點像 Fourier transform。圖 2 顯示頻譜圖範例。yy 軸是 Mel 通道,對應特定頻率區間;xx 軸代表時間。每個像素的顏色代表該時刻該頻率區間的對數強度。Whisper 模型預期的輸入格式就是 log-Mel 頻譜圖。

Mel 通道(頻率區間)是語音處理中的標準做法,設計時會近似人類聽覺範圍。微調 Whisper 時只需知道,頻譜圖是語音訊號頻率的視覺表示。如欲進一步瞭解 Mel 通道,請參閲Mel-frequency cepstrum。

Trulli
圖 2:將取樣音訊陣列轉換為 log-Mel 頻譜圖。 左:一維取樣音訊訊號;右:相應 log-Mel 頻譜圖。圖片來源:Google SpecAugment 網誌。

幸好 🤗 Transformers 的 Whisper 特徵抽取器只需一行程式碼便可完成補齊和頻譜圖轉換!現在從預訓練檢查點載入特徵抽取器,準備處理音訊資料:

from transformers import WhisperFeatureExtractor

feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-small")

載入 WhisperTokenizer

現在看看如何載入 Whisper tokenizer。Whisper 模型會輸出文字 tokens,表示預測文字在詞彙表中的索引。tokenizer 會把文字 token 序列映射為實際文字字串(例如 [1169, 3797, 3332] -> "the cat sat")。

傳統上使用 encoder-only 模型作 ASR 時,會透過連接時序分類(CTC)解碼。這種方式要求為每個使用的資料集訓練一個 CTC tokenizer。採用 encoder-decoder 架構的一個優點,是可直接沿用預訓練模型的 tokenizer。

Whisper tokenizer 使用 96 種預訓練語言的轉錄資料進行預訓練,因此具備廣泛的byte-pair編碼,幾乎適用於所有多語言 ASR 應用。印地語可直接載入 tokenizer 並用於微調,無需其他修改,只要指定目標語言和任務。這些參數會告知 tokenizer 在編碼標籤序列開首加上語言及任務 tokens:

from transformers import WhisperTokenizer

tokenizer = WhisperTokenizer.from_pretrained("openai/whisper-small", language="Hindi", task="transcribe")

提示:只需將本文教學改用於語音翻譯,並在上方程式碼中將任務設為 "translate"、語言設為目標文字語言。資料集預處理時,系統會在語音翻譯資料前加上相應任務及語言 tokens。

我們可編碼再解碼 Common Voice 資料集的第一個樣本,確認 tokenizer 能否正確編碼印地語字元。編碼轉錄內容時,tokenizer 會在序列開首及結尾附加「特殊 tokens」,包括轉錄起始/結束 token、語言 token 和任務 tokens(由上一步的參數指定)。解碼標籤 ID 時,可選擇「略過」這些特殊 tokens,還原原始輸入格式的字串:

input_str = common_voice["train"][0]["sentence"]
labels = tokenizer(input_str).input_ids
decoded_with_special = tokenizer.decode(labels, skip_special_tokens=False)
decoded_str = tokenizer.decode(labels, skip_special_tokens=True)

print(f"Input:                 {input_str}")
print(f"Decoded w/ special:    {decoded_with_special}")
print(f"Decoded w/out special: {decoded_str}")
print(f"Are equal:             {input_str == decoded_str}")

輸出範例:

Input:                 खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई
Decoded w/ special:    <|startoftranscript|><|hi|><|transcribe|><|notimestamps|>खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई<|endoftext|>
Decoded w/out special: खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई
Are equal:             True

合併建立 WhisperProcessor

為簡化特徵抽取器和 tokenizer 的使用方式,可將兩者包裝在同一個 WhisperProcessor 類別中。此 processor 物件繼承自 WhisperFeatureExtractor 和 WhisperProcessor,可按需要處理音訊輸入和模型預測。如此一來,訓練期間只需追蹤兩個物件:processor 和 model:

from transformers import WhisperProcessor

processor = WhisperProcessor.from_pretrained("openai/whisper-small", language="Hindi", task="transcribe")

準備資料

先列印 Common Voice 資料集的第一個範例,看看資料格式:

print(common_voice["train"][0])

輸出範例:

{'audio': {'path': '/home/sanchit_huggingface_co/.cache/huggingface/datasets/downloads/extracted/607848c7e74a89a3b5225c0fa5ffb9470e39b7f11112db614962076a847f3abf/cv-corpus-11.0-2022-09-21/hi/clips/common_voice_hi_25998259.mp3', 
           'array': array([0.0000000e+00, 0.0000000e+00, 0.0000000e+00, ..., 9.6724887e-07,
       1.5334779e-06, 1.0415988e-06], dtype=float32), 
           'sampling_rate': 48000},
 'sentence': 'खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई'}

可以看到這裡有一維音訊輸入陣列及相應目標轉錄文字。我們已多次提及取樣率的重要性,以及音訊取樣率必須符合 Whisper 模型的取樣率(16kHz)。由於輸入音訊以 48kHz 取樣,傳給 Whisper 特徵抽取器前必須先降採樣至 16kHz。

使用資料集的 cast_column 方法,將音訊輸入設定為正確取樣率。此操作不會直接修改音訊,而是告知 datasets 即時重新取樣樣本,並在首次載入時執行:

from datasets import Audio

common_voice = common_voice.cast_column("audio", Audio(sampling_rate=16000))

重新載入 Common Voice 資料集的第一個音訊樣本後,便會按所需取樣率重新取樣:

print(common_voice["train"][0])

輸出範例:

{'audio': {'path': '/home/sanchit_huggingface_co/.cache/huggingface/datasets/downloads/extracted/607848c7e74a89a3b5225c0fa5ffb9470e39b7f11112db614962076a847f3abf/cv-corpus-11.0-2022-09-21/hi/clips/common_voice_hi_25998259.mp3', 
           'array': array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
       -3.4206650e-07,  3.2979898e-07,  1.0042874e-06], dtype=float32),
           'sampling_rate': 16000},
 'sentence': 'खीर की मिठास पर गरमाई बिहार की सियासत, कुशवाहा ने दी सफाई'}

太好了!取樣率已降至 16kHz。陣列數值亦有所不同,因為現在大約每 3 個舊振幅值才保留 1 個。

現在可編寫函數,為模型準備資料:

  1. 呼叫 batch["audio"] 即可載入並重新取樣音訊資料。如上所述,🤗 Datasets 會即時執行所需的重新取樣操作。
  2. 使用特徵抽取器,從一維音訊陣列計算 log-Mel 頻譜圖輸入特徵。
  3. 使用 tokenizer 將轉錄內容編碼為標籤 ID。
def prepare_dataset(batch):
    # load and resample audio data from 48 to 16kHz
    audio = batch["audio"]

    # compute log-Mel input features from input audio array 
    batch["input_features"] = feature_extractor(audio["array"], sampling_rate=audio["sampling_rate"]).input_features[0]

    # encode target text to label ids 
    batch["labels"] = tokenizer(batch["sentence"]).input_ids
    return batch

可使用資料集的 .map 方法,將資料準備函數套用至所有訓練樣本:

common_voice = common_voice.map(prepare_dataset, remove_columns=common_voice.column_names["train"], num_proc=4)

好了!現在資料已全部準備妥當,可以開始訓練! 接下來看看如何使用這些資料微調 Whisper。

注意:目前 datasets 會使用 torchaudio 和 librosa 載入及重新取樣音訊。若想自行實作資料載入/取樣,可使用 "path" 欄位取得音訊檔案路徑,並忽略 "audio" 欄位。

訓練和評估

資料準備完成後,便可開始訓練 pipeline。大部分工作會由🤗 Trainer代勞,我們只需:

  • 載入預訓練檢查點:載入並正確設定預訓練檢查點以供訓練。

  • 定義 data collator:將預處理後的資料整理成可供模型使用的 PyTorch tensors。

  • 評估指標:評估期間使用字詞錯誤率(WER)評估模型,並定義 compute_metrics 函數執行計算。

  • 定義訓練參數:🤗 Trainer 會用這些參數建立訓練排程。

模型微調完成後,會在測試資料上評估,確認已正確訓練模型轉錄印地語語音。

載入預訓練檢查點

我們會以 Whisper 預訓練 small 檢查點開始微調,從 Hugging Face Hub 載入預訓練權重即可。使用 🤗 Transformers 載入同樣非常簡單!

from transformers import WhisperForConditionalGeneration

model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-small")

推論時,Whisper 模型會自動偵測來源音訊的語言,並以該語言預測 token ID。若事先已知音訊語言(例如多語言微調),明確指定語言會更理想,以免模型誤判語言,導致生成文字偏離實際語言。方法是在生成設定中設定語言和任務參數。我們亦會把 forced_decoder_ids 設為 None,因為這是設定語言及任務參數的舊方式:

model.generation_config.language = "hindi"
model.generation_config.task = "transcribe"

model.generation_config.forced_decoder_ids = None

定義 data collator

序列至序列語音模型的 data collator 有一點特別:它會分開處理 input_features 和 labels:input_features 必須交由特徵抽取器處理,而 labels 則交由 tokenizer 處理。

input_features 已補齊至 30s,並轉換為固定維度的 log-Mel 頻譜圖,因此只需使用特徵抽取器的 .pad 方法及 return_tensors=pt,將它們轉為批次 PyTorch tensors。輸入維度固定,此處不會再補齊,只會把 input_features 轉換為 PyTorch tensors。

另一方面,labels 尚未補齊。我們先使用 tokenizer 的 .pad 方法,將序列補齊至批次中的最大長度,再把 padding tokens 取代為 -100,令計算損失時不會計入這些 tokens。接著移除標籤序列開首的轉錄起始 token,因為訓練時會再加上。

使用先前定義的 WhisperProcessor,即可同時執行特徵抽取器和 tokenizer 的操作:

import torch

from dataclasses import dataclass
from typing import Any, Dict, List, Union

@dataclass
class DataCollatorSpeechSeq2SeqWithPadding:
    processor: Any
    decoder_start_token_id: int

    def __call__(self, features: List[Dict[str, Union[List[int], torch.Tensor]]]) -> Dict[str, torch.Tensor]:
        # split inputs and labels since they have to be of different lengths and need different padding methods
        # first treat the audio inputs by simply returning torch tensors
        input_features = [{"input_features": feature["input_features"]} for feature in features]
        batch = self.processor.feature_extractor.pad(input_features, return_tensors="pt")

        # get the tokenized label sequences
        label_features = [{"input_ids": feature["labels"]} for feature in features]
        # pad the labels to max length
        labels_batch = self.processor.tokenizer.pad(label_features, return_tensors="pt")

        # replace padding with -100 to ignore loss correctly
        labels = labels_batch["input_ids"].masked_fill(labels_batch.attention_mask.ne(1), -100)

        # if bos token is appended in previous tokenization step,
        # cut bos token here as it's append later anyways
        if (labels[:, 0] == self.decoder_start_token_id).all().cpu().item():
            labels = labels[:, 1:]

        batch["labels"] = labels

        return batch

現在初始化剛剛定義的 data collator:

data_collator = DataCollatorSpeechSeq2SeqWithPadding(
    processor=processor,
    decoder_start_token_id=model.config.decoder_start_token_id,
)

評估指標

接著定義評估集所用的評估指標。ASR 系統普遍使用字詞錯誤率(WER)作為「事實標準」指標。詳情請參閲 WER文件。使用 🤗 Evaluate 載入 WER 指標:

import evaluate

metric = evaluate.load("wer")

然後定義一個函數,接收模型預測並回傳 WER 指標。此函數稱為 compute_metrics,首先會把 -100 換成 pad_token_id,以便在 label_ids 中還原 data collator 為正確計算損失而忽略 padding tokens 的處理。之後將預測 ID 和標籤 ID 解碼成字串,最後計算預測與參考標籤之間的 WER:

def compute_metrics(pred):
    pred_ids = pred.predictions
    label_ids = pred.label_ids

    # replace -100 with the pad_token_id
    label_ids[label_ids == -100] = tokenizer.pad_token_id

    # we do not want to group tokens when computing the metrics
    pred_str = tokenizer.batch_decode(pred_ids, skip_special_tokens=True)
    label_str = tokenizer.batch_decode(label_ids, skip_special_tokens=True)

    wer = 100 * metric.compute(predictions=pred_str, references=label_str)

    return {"wer": wer}

定義訓練參數

最後一步是定義所有訓練參數。以下説明其中一部分:

  • output_dir:儲存模型權重的本機資料夾,同時亦會作為 Hugging Face Hub 上的儲存庫名稱。
  • generation_max_length:評估期間自回歸生成的最大 token 數量。
  • save_steps:訓練期間每經過 save_steps 個訓練步驟,就會儲存中途檢查點並非同步上傳至 Hub。
  • eval_steps:訓練期間每經過 eval_steps 個訓練步驟,就會評估中途檢查點。
  • report_to:儲存訓練記錄的位置。支援平台包括 "azure_ml"、"comet_ml"、"mlflow"、"neptune"、"tensorboard" 和 "wandb"。可選用偏好的平台,或保留 "tensorboard" 將記錄傳至 Hub。

其他訓練參數的詳情,請參閲 Seq2SeqTrainingArguments文件。

from transformers import Seq2SeqTrainingArguments

training_args = Seq2SeqTrainingArguments(
    output_dir="./whisper-small-hi",  # change to a repo name of your choice
    per_device_train_batch_size=16,
    gradient_accumulation_steps=1,  # increase by 2x for every 2x decrease in batch size
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=5000,
    gradient_checkpointing=True,
    fp16=True,
    evaluation_strategy="steps",
    per_device_eval_batch_size=8,
    predict_with_generate=True,
    generation_max_length=225,
    save_steps=1000,
    eval_steps=1000,
    logging_steps=25,
    report_to=["tensorboard"],
    load_best_model_at_end=True,
    metric_for_best_model="wer",
    greater_is_better=False,
    push_to_hub=True,
)

注意:如不想將模型檢查點上傳至 Hub,請設定 push_to_hub=False。

現在將訓練參數連同模型、資料集、data collator 和 compute_metrics 函數傳給 🤗 Trainer:

from transformers import Seq2SeqTrainer

trainer = Seq2SeqTrainer(
    args=training_args,
    model=model,
    train_dataset=common_voice["train"],
    eval_dataset=common_voice["test"],
    data_collator=data_collator,
    compute_metrics=compute_metrics,
    tokenizer=processor.feature_extractor,
)

準備就緒,可以開始訓練!

訓練

只需執行以下指令即可開始訓練:

trainer.train()

視乎你的 GPU 或 Google Colab 分配的 GPU,訓練需時約 5–10 小時。開始訓練時可能會遇到 CUDA "out-of-memory" 錯誤;此時可每次把 per_device_train_batch_size 減半,並使用 gradient_accumulation_steps 作補償。

輸出範例:

步驟 訓練損失 Epoch 驗證損失 WER
1000 0.1011 2.44 0.3075 34.63
2000 0.0264 4.89 0.3558 33.13
3000 0.0025 7.33 0.4214 32.59
4000 0.0006 9.78 0.4519 32.01
5000 0.0002 12.22 0.4679 32.10

訓練 4000 步後,我們的最佳 WER 為 32.0%。作為參考,預訓練 Whisper small 模型的 WER 為 63.5%,即透過微調絕對提升了 31.5%。只用 8 小時訓練資料,成績已不錯!

現在可將微調後的模型分享到 Hugging Face Hub。上傳時可設定適當的關鍵字參數(kwargs),加入標籤和 README 資訊,令模型更容易被找到。你可按資料集、語言和模型名稱自行修改這些值:

kwargs = {
    "dataset_tags": "mozilla-foundation/common_voice_11_0",
    "dataset": "Common Voice 11.0",  # a 'pretty' name for the training dataset
    "dataset_args": "config: hi, split: test",
    "language": "hi",
    "model_name": "Whisper Small Hi - Sanchit Gandhi",  # a 'pretty' name for your model
    "finetuned_from": "openai/whisper-small",
    "tasks": "automatic-speech-recognition",
}

現在可將訓練結果上傳至 Hub,只需執行 push_to_hub 指令:

trainer.push_to_hub(**kwargs)

現在可透過 Hub 上的連結與任何人分享模型,他們亦可使用識別碼 "your-username/the-name-you-picked" 載入模型,例如:

from transformers import WhisperForConditionalGeneration, WhisperProcessor

model = WhisperForConditionalGeneration.from_pretrained("sanchit-gandhi/whisper-small-hi")
processor = WhisperProcessor.from_pretrained("sanchit-gandhi/whisper-small-hi")

微調後的模型在 Common Voice 印地語測試資料上取得令人滿意的結果,但仍未達最佳。此 notebook 旨在示範如何使用任何多語言 ASR 資料集微調 Whisper 預訓練檢查點。最佳化學習率和dropout等訓練超參數,並採用更大型預訓練檢查點(medium 或 large-v3),應可進一步提升結果。

建立示範

模型微調完成後,可建立示範展示 ASR 能力!我們會使用 🤗 Transformers 的 pipeline,自動處理整條 ASR pipeline,從音訊輸入預處理到解碼模型預測一手包辦,再使用 Gradio 建立互動示範。Gradio 可説是最簡單的機器學習示範建置工具之一,只需幾分鐘便能完成!

執行下方範例即可建立 Gradio 示範,透過電腦麥克風錄製語音,輸入微調後的 Whisper 模型並轉錄為文字:

from transformers import pipeline
import gradio as gr

pipe = pipeline(model="sanchit-gandhi/whisper-small-hi")  # change to "your-username/the-name-you-picked"

def transcribe(audio):
    text = pipe(audio)["text"]
    return text

iface = gr.Interface(
    fn=transcribe, 
    inputs=gr.Audio(source="microphone", type="filepath"), 
    outputs="text",
    title="Whisper Small Hindi",
    description="Realtime demo for Hindi speech recognition using a fine-tuned Whisper small model.",
)

iface.launch()

結語

本文逐步介紹如何使用 🤗 Datasets、Transformers 和 Hugging Face Hub,微調用於多語言 ASR 的 Whisper。想親自試試微調,可參閲 Google Colab。若有興趣微調其他 Transformer 模型,無論英文或多語言 ASR,都可查看 examples/pytorch/speech-recognition 的範例指令碼。

來源:Hugging Face Blog · huggingface.co