Hugging Face 的 TensorFlow 設計理念
Hugging Face's TensorFlow Philosophy
Hugging Face 説明 Transformers 的 TensorFlow 設計取向,將模型和層設為 Keras Model 與 Keras Layer,讓使用者可直接調用 fit()、compile() 和 predict()。
文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向,並以 Keras 訓練、資料管線、XLA 與部署示例,呈現這些取捨如何落實到模型訓練和部署流程。
引言
儘管 PyTorch 和 JAX 的競爭愈來愈激烈,TensorFlow 仍然是最多人使用的深度學習框架。它與另外兩個函式庫在幾個重要方面也有不同,尤其是與高階 API Keras 和資料載入函式庫 tf.data 緊密整合。
PyTorch 工程師往往(想像我在開放式辦公室裡陰沉地盯著大家)會把這視為一個要克服的問題;他們想找出方法,讓 TensorFlow 不要妨礙自己使用熟悉的低階訓練和資料載入程式碼。這完全是錯誤的 TensorFlow 使用方式!Keras 是很出色的高階 API。若你在任何規模超過幾個模組的專案中把它擱在一旁,最後當你發現自己需要它時,便會自行重做它大部分功能。
身為追求精進、備受尊敬而且極具吸引力的 TensorFlow 工程師,我們想運用尖端模型驚人的能力與彈性,同時以熟悉的工具和 API 操作它們。這篇網誌會介紹 Hugging Face 如何作出相關選擇,以及身為 TensorFlow 程式設計師,你可以如何看待這個框架。
插曲:30 秒認識 🤗
有經驗的使用者可以略讀或跳過本節;如果你初次接觸 Hugging Face 和 transformers,我先簡介這個函式庫的核心概念:只要按名稱要求一個預訓練模型,就能用一行程式碼取得它。最簡單的方式是使用 TFAutoModel 類別:
from transformers import TFAutoModel
model = TFAutoModel.from_pretrained("bert-base-cased")
這一行會建立模型架構並載入權重,讓你取得與原版著名 BERT 模型完全相同的副本。不過,模型本身的用途不多,因為它沒有輸出 head 或 loss function。實際上,它是神經網絡的「主幹」,在最後一層隱藏層後便停止。要如何加上輸出 head?很簡單,只要改用另一個 AutoModel 類別。以下載入 Vision Transformer(ViT)模型,並加入圖像分類 head:
from transformers import TFAutoModelForImageClassification
model_name = "google/vit-base-patch16-224"
model = TFAutoModelForImageClassification.from_pretrained(model_name)
現在,我們的 model 有了輸出 head,並可選擇配合適用於新任務的 loss function。如果新的輸出 head 與原模型不同,它的權重會隨機初始化;其餘權重則會從原模型載入。但為甚麼要這樣做?為甚麼使用現有模型的主幹,而不是從頭建立所需模型?
事實上,以大量資料預訓練的大型模型,對幾乎所有 ML 問題而言,都比隨機初始化權重的標準做法好得多。這稱為遷移學習;仔細想想便會明白:要做好文字任務,需要一些語言知識;要做好視覺任務,則需要一些圖像和空間知識。若沒有遷移學習,ML 之所以如此耗用資料,單純是因為每個問題都要從頭重學這些基本領域知識,因此需要大量訓練範例。使用遷移學習後,原本可能需要一百萬個訓練範例的問題,或許只需一千個便能解決,而且最終準確率往往更高。想了解更多,請觀看相關的 Hugging Face 課程!
不過,使用遷移學習時,必須以模型訓練時相同的方式處理輸入,確保遷移知識至新問題時,模型只需盡量少地重新學習。在 transformers 中,這項前處理通常由tokenizer負責。載入 tokenizer 的方式與模型相同,可使用 AutoTokenizer 類別。記得載入與你要使用的模型相符的 tokenizer!
from transformers import TFAutoModel, AutoTokenizer
# Make sure to always load a matching tokenizer and model!
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = TFAutoModel.from_pretrained("bert-base-cased")
# Let's load some data and tokenize it
test_strings = ["This is a sentence!", "This is another one!"]
tokenized_inputs = tokenizer(test_strings, return_tensors="np", padding=True)
# Now our data is tokenized, we can pass it to our model, or use it in fit()!
outputs = model(tokenized_inputs)
以上只是函式庫的初步介紹;想了解更多,可查看我們的筆記本或程式碼範例。keras.io 也有多個函式庫實際應用示例!
到這裏,你已瞭解 transformers 的一些基本概念和類別。以上內容都與框架無關(除了 TFAutoModel 中的「TF」),但真正要訓練和提供模型服務時,不同框架的做法便會開始分歧。這正是本文的重點:身為 TensorFlow 工程師,你可以如何看待 transformers?
理念 #1:所有 TensorFlow 模型都應是 Keras Model 物件,所有 TensorFlow layer 都應是 Keras Layer 物件。
對 TensorFlow 函式庫而言,這幾乎不言而喻,但仍值得強調。從使用者角度看,這個選擇最重要的影響是:你可以直接對我們的模型呼叫 Keras 方法,例如 fit()、compile() 和 predict()。
例如,假設資料已準備妥當並完成 tokenization,那麼使用 TensorFlow 從序列分類模型取得預測結果非常簡單:
model = TFAutoModelForSequenceClassification.from_pretrained(my_model)
model.predict(my_data)
如果你想改為訓練該模型,也只需:
model.fit(my_data, my_labels)
不過,這種方便並不代表你只能執行我們預先支援的任務。Keras 模型可以組合成其他模型的 layers;因此,如果你有個宏大的構想,想把五個不同模型拼在一起,除了 GPU 記憶體可能有限之外,沒有甚麼能阻止你。或許你想把預訓練語言模型與預訓練視覺 transformer 合併,製作混合模型,例如 DeepMind 最近推出的 Flamingo;又或者想創造下一個風靡網絡的文字生成圖像工具,例如 Dall-E Mini Craiyon?以下示範如何透過 Keras subclassing 建立混合模型:
class HybridVisionLanguageModel(tf.keras.Model):
def __init__(self):
super().__init__()
self.language = TFAutoModel.from_pretrained("gpt2")
self.vision = TFAutoModel.from_pretrained("google/vit-base-patch16-224")
def call(self, inputs):
# I have a truly wonderful idea for this
# which this code box is too short to contain
理念 #2:預設提供 loss function,但也能輕鬆更換。
在 Keras 中,標準訓練方式是先建立模型,再用 optimizer 和 loss function 執行 compile(),最後呼叫 fit()。使用 transformers 載入模型很容易,但設定 loss function 可能較棘手:即使是標準語言模型訓練,合適的 loss function 也可能出乎意料地難以判斷;有些混合模型的 loss 更極為複雜。
我們的解決方法很簡單:如果你呼叫 compile() 時沒有傳入 loss 參數,我們便會提供你很可能需要的 loss。具體而言,loss 會配合基礎模型和輸出類型:如果你對 BERT 架構的 masked language model 呼叫 compile() 而沒有設定 loss,我們會提供能正確處理 padding 和 masking 的 masked language modelling loss,只對被遮罩的 token 計算 loss,完全符合原始 BERT 訓練流程。如果你真的不想讓模型編譯時使用任何 loss,只要呼叫 compile 時指定 loss=None 即可。
model = TFAutoModelForQuestionAnswering.from_pretrained("bert-base-cased")
model.compile(optimizer="adam") # No loss argument!
model.fit(my_data, my_labels)
此外,非常重要的是,只要你想進行更複雜的操作,我們便會讓路。如果你在 compile() 中指定 loss 參數,模型就會使用該 loss,而非預設值。當然,如果你像上方一樣建立自己的 subclassed model,例如 HybridVisionLanguageModel,便可透過自己撰寫的 call() 和 train_step() 方法,完全控制模型的各項功能。
理念實作細節 #3:標籤方式具彈性
過去有個容易令人困惑的地方:到底應該在哪裏把 labels 傳給模型?向 Keras 模型傳入 labels 的標準方式,是以獨立參數傳入,或放在 (inputs, labels) tuple 中:
model.fit(inputs, labels)
過去,使用預設 loss 時,我們要求使用者把 labels 放在輸入字典中。這是因為計算該模型 loss 的程式碼放在 call() forward pass 方法內。這種方式雖然可行,但明顯不符合 Keras 模型的標準做法,也引發多個問題,包括與標準 Keras metrics 不相容,更令部分使用者感到困惑。幸好現在已不再需要如此處理。我們建議以 Keras 的正常方式傳入 labels,舊方法仍因向後相容而繼續適用。總括來説,過去許多繁瑣的操作在 TensorFlow 模型上現在應該都能「直接正常運作」;歡迎試用!
理念 #4:你不應該需要自行編寫資料流程,尤其是常見任務。
除了 transformers 這個大型預訓練模型開放倉庫,還有 🤗 datasets 這個大型資料集開放倉庫,涵蓋文字、視覺、音訊等內容。這些資料集可輕易轉換成 TensorFlow Tensors 和 Numpy arrays,方便用作訓練資料。以下快速示範如何對資料集進行 tokenization 並轉換為 Numpy。老規矩:確保 tokenizer 與要訓練的模型相符,否則結果可能會非常奇怪!
from datasets import load_dataset
from transformers import AutoTokenizer, TFAutoModelForSequenceClassification
from tensorflow.keras.optimizers import Adam
dataset = load_dataset("glue", "cola") # Simple text classification dataset
dataset = dataset["train"] # Just take the training split for now
# Load our tokenizer and tokenize our data
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
tokenized_data = tokenizer(dataset["text"], return_tensors="np", padding=True)
labels = np.array(dataset["label"]) # Label is already an array of 0 and 1
# Load and compile our model
model = TFAutoModelForSequenceClassification.from_pretrained("bert-base-cased")
# Lower learning rates are often better for fine-tuning transformers
model.compile(optimizer=Adam(3e-5))
model.fit(tokenized_data, labels)
這種做法在資料量不大時很好用,但資料集一旦變大,可能就會出現問題。為甚麼?因為 tokenized array 和 labels 必須完整載入記憶體;而 Numpy 不支援「參差不齊」的陣列,因此每個 tokenized 樣本都必須補齊至整個資料集最長樣本的長度。這樣陣列會更大,而且大量 padding token 也會拖慢訓練!
身為 TensorFlow 工程師,通常此時你會使用 tf.data 建立資料流程,從儲存裝置串流資料,而不是把所有資料載入記憶體。不過這樣做很麻煩,所以我們已替你準備好。首先,使用 map() 方法把 tokenizer 欄位加到資料集。請記住,我們的資料集預設存放在磁碟上,只有轉成陣列後才會載入記憶體!
def tokenize_dataset(data):
# Keys of the returned dictionary will be added to the dataset as columns
return tokenizer(data["text"])
dataset = dataset.map(tokenize_dataset)
現在資料集已有所需欄位,接下來如何用它訓練?很簡單,用 tf.data.Dataset 包裝即可解決所有問題:資料會即時載入,padding 只會套用在各個 batch,而非整個資料集,因此所需 padding token 會少得多:
tf_dataset = model.prepare_tf_dataset(
dataset,
batch_size=16,
shuffle=True
)
model.fit(tf_dataset)
為甚麼 prepare_tf_dataset() 是模型的方法?很簡單:模型知道哪些欄位可作為輸入,並會自動篩走資料集中名稱不屬於有效輸入的欄位!如果你想更精確控制建立的 tf.data.Dataset,也可改用較低階的 Dataset.to_tf_dataset()。
理念 #5:XLA 很棒!
XLA 是 TensorFlow 和 JAX 共用的即時編譯器。它會把線性代數程式碼轉換為更佳化、執行更快而且耗用記憶體更少的版本。這項技術非常出色,我們也盡量提供全面支援。它對在 TPU 執行模型尤其重要,但也能加快 GPU 甚至 CPU 的運算!只要在模型呼叫 compile() 時傳入 jit_compile=True 參數即可使用(所有 Keras 模型都適用,不限 Hugging Face 模型):
model.compile(optimizer="adam", jit_compile=True)
我們最近在這方面作出了多項重大改進。其中最重要的是更新了 generate() 程式碼以使用 XLA;這個函式會從語言模型逐步生成文字輸出。結果帶來顯著效能提升:舊版 TF 程式碼遠比 PyTorch 慢,但新版快得多,速度亦與 JAX 相近!詳情請參閲我們介紹 XLA 生成功能的網誌。
不過,XLA 的用途不只生成文字!我們也修正了多個問題,確保模型可使用 XLA 訓練,因此 TF 模型在語言模型訓練等任務上,速度已達到與 JAX 相近的水平。
不過,必須清楚瞭解 XLA 的主要限制:XLA 預期輸入形狀是靜態的。也就是説,如果任務涉及不同長度的序列,每種輸入形狀都需要重新編譯 XLA,這可能會抵銷效能提升!你可在我們的 TensorFlow 筆記本和上方介紹 XLA 生成的網誌中,查看我們如何處理這個問題。
理念 #6:部署與訓練同樣重要
TensorFlow 擁有豐富的生態系統,尤其在模型部署方面;其他較專注研究的框架則缺乏這類支援。我們正積極讓使用者能運用這些工具,部署完整模型以供推論。我們尤其希望支援 TF Serving 和 TFX。如果你對此感興趣,請參閲我們介紹如何透過 TF Serving 部署模型的網誌!
不過,部署 NLP 模型有個主要障礙:輸入仍須經過 tokenization,因此只部署模型並不足夠。在許多部署場景中,依賴 tokenizers 會帶來不便;因此我們正努力把 tokenization 整合至模型本身,讓你只需部署單一模型 artifact,便能處理從輸入字串到輸出預測的完整流程。目前只支援 BERT 等最常見模型,但這方面仍在積極開發!如果你想試用,可參考以下程式碼片段:
# This is a new feature, so make sure to update to the latest version of transformers!
# You will also need to pip install tensorflow_text
import tensorflow as tf
from transformers import TFAutoModel, TFBertTokenizer
class EndToEndModel(tf.keras.Model):
def __init__(self, checkpoint):
super().__init__()
self.tokenizer = TFBertTokenizer.from_pretrained(checkpoint)
self.model = TFAutoModel.from_pretrained(checkpoint)
def call(self, inputs):
tokenized = self.tokenizer(inputs)
return self.model(**tokenized)
model = EndToEndModel(checkpoint="bert-base-cased")
test_inputs = [
"This is a test sentence!",
"This is another one!",
]
model.predict(test_inputs) # Pass strings straight to model!
總結:我們是開放原始碼專案,社羣就是一切
製作了很棒的模型?分享出來吧!只要建立帳戶並設定憑證,操作就很簡單:
model_name = "google/vit-base-patch16-224"
model = TFAutoModelForImageClassification.from_pretrained(model_name)
model.fit(my_data, my_labels)
model.push_to_hub("my-new-model")
你也可以使用 PushToHubCallback,在較長的訓練過程中定期上載 checkpoint!不論採用哪種方式,你都會取得模型頁面和自動生成的 model card。更重要的是,其他人可以使用你的模型作預測,或以此為起點繼續訓練;方法與載入任何現有模型時完全相同:
model_name = "your-username/my-new-model"
model = TFAutoModelForImageClassification.from_pretrained(model_name)
在我看來,無論是大型知名基礎模型,還是由個別使用者微調的模型,都一視同仁,正好體現 Hugging Face 的核心信念:使用者有能力創造優秀成果。機器學習從來不應只是少數公司掌握的封閉模型不斷流出成果;它應由開放工具、artifact、實踐和知識組成,並持續擴展、測試、批評和改進,是一個市集,而非大教堂。如果你想到新主意、新方法,或訓練出成果出色的新模型,請告訴大家!
同樣地,你是否遇到功能缺漏、bug、令人煩惱的地方,或覺得某些操作應該直觀卻不然?請告訴我們!如果你願意拿起(比喻上的)鏟子,開始修復問題,那就更好了;即使沒有時間或技能親自改進程式碼,也不要害怕提出意見。核心維護者往往因為使用者沒有反映問題而錯過它們,所以不要以為我們一定已經知道!如果某件事困擾你,請到論壇發問;如果你相當肯定是 bug 或缺少重要功能,請提交 issue。
當然,以上很多都只是細節;借用一句(有點拗口的)話,優秀軟件是由數以千計的小型 commit 累積而成。開放原始碼軟件之所以進步,靠的是使用者和維護者持續共同努力。機器學習將是 2020 年代重要的社會議題;開放原始碼軟件和社羣的實力,將決定它會成為一股開放、民主、可以受批評和重新評估的力量,還是由大型黑箱模型主導,其擁有人不讓外界,甚至不讓受模型決策影響的人,查看珍視的專有權重。別害羞:如果發現問題、想到更好的做法,或想貢獻卻不知道從何入手,就告訴我們!
(如果你能製作迷因,在新功能合併後調侃 PyTorch 團隊,那就更好了。)
來源:Hugging Face Blog · huggingface.co