Hugging Face 推出 Accelerate,簡化 PyTorch 分散式訓練與混合精度支援
Introducing 🤗 Accelerate
Hugging Face 推出 Accelerate,PyTorch 訓練腳本加入五行程式碼後,即可支援不同分散式設定及混合精度訓練。Accelerate 提供統一 API,準備模型、最佳化器及 DataLoader,並處理裝置配置和反向傳播。
Accelerate 將 PyTorch 分散式訓練及混合精度所需樣板封裝成少量 API 改動,並提供統一啟動器,呈現減少訓練腳本跨環境改動的實作方式。
🤗 Accelerate
在任何裝置上執行你原始的 PyTorch 訓練指令碼。
PyTorch 之上的大部分高階函式庫都支援分佈式訓練和混合精度,但它們引入的抽象層,代表用戶若想自訂底層訓練循環,便要學習新的 API。🤗 Accelerate 專為 PyTorch 用戶而設:他們希望完全掌控訓練循環,卻不想撰寫和維護分佈式訓練(適用於單部或多部主機的多 GPU、TPU 等)或混合精度訓練所需的大量樣板程式碼。未來計劃包括支援 fairscale、deepseed、AWS SageMaker 專用數據並行和模型並行。
它提供兩項功能:簡單一致的 API,用以抽象化這些樣板程式碼;以及啟動指令,讓你輕鬆在不同設定下執行指令碼。
輕鬆整合!
先來看看一個例子:
import torch
import torch.nn.functional as F
from datasets import load_dataset
+ from accelerate import Accelerator
+ accelerator = Accelerator()
- device = 'cpu'
+ device = accelerator.device
model = torch.nn.Transformer().to(device)
optim = torch.optim.Adam(model.parameters())
dataset = load_dataset('my_dataset')
data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ model, optim, data = accelerator.prepare(model, optim, data)
model.train()
for epoch in range(10):
for source, targets in data:
source = source.to(device)
targets = targets.to(device)
optimizer.zero_grad()
output = model(source)
loss = F.cross_entropy(output, targets)
- loss.backward()
+ accelerator.backward(loss)
optimizer.step()
只需在任何標準 PyTorch 訓練指令碼中加入五行程式碼,現在便能在任何分佈式設定下執行,也可選擇使用或不使用混合精度。🤗 Accelerate 甚至會替你處理裝置配置,讓你進一步簡化上面的訓練循環:
import torch
import torch.nn.functional as F
from datasets import load_dataset
+ from accelerate import Accelerator
+ accelerator = Accelerator()
- device = 'cpu'
- model = torch.nn.Transformer().to(device)
+ model = torch.nn.Transformer()
optim = torch.optim.Adam(model.parameters())
dataset = load_dataset('my_dataset')
data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ model, optim, data = accelerator.prepare(model, optim, data)
model.train()
for epoch in range(10):
for source, targets in data:
- source = source.to(device)
- targets = targets.to(device)
optimizer.zero_grad()
output = model(source)
loss = F.cross_entropy(output, targets)
- loss.backward()
+ accelerator.backward(loss)
optimizer.step()
相較之下,若要讓這段程式碼支援分佈式訓練,需要作出以下改動:
+ import os
import torch
import torch.nn.functional as F
from datasets import load_dataset
+ from torch.utils.data import DistributedSampler
+ from torch.nn.parallel import DistributedDataParallel
+ local_rank = int(os.environ.get("LOCAL_RANK", -1))
- device = 'cpu'
+ device = device = torch.device("cuda", local_rank)
model = torch.nn.Transformer().to(device)
+ model = DistributedDataParallel(model)
optim = torch.optim.Adam(model.parameters())
dataset = load_dataset('my_dataset')
+ sampler = DistributedSampler(dataset)
- data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ data = torch.utils.data.DataLoader(dataset, sampler=sampler)
model.train()
for epoch in range(10):
+ sampler.set_epoch(epoch)
for source, targets in data:
source = source.to(device)
targets = targets.to(device)
optimizer.zero_grad()
output = model(source)
loss = F.cross_entropy(output, targets)
loss.backward()
optimizer.step()
這些改動會令訓練指令碼支援多個 GPU,但之後在 CPU 或單個 GPU 上便無法運作(除非到處加入 if 條件)。更麻煩的是,若想在 TPU 上測試指令碼,就需要修改不同程式碼行;混合精度訓練亦然。🤗 Accelerate 的目標是:
- 盡量減少訓練循環所需的修改,讓你只需學習最少新知識。
- 讓同一組函數適用於所有分佈式設定,因此只需學習一個 API。
它如何運作?
要了解這個函式庫的實際運作方式,不妨逐行看看訓練循環中要加入甚麼程式碼。
accelerator = Accelerator()
除了提供你會使用的主要物件,這行程式碼亦會從執行環境分析分佈式訓練類型,並完成所需初始化。初始化時傳入 cpu=True 或 fp16=True,即可強制使用 CPU 訓練或混合精度訓練。你也可以透過指令碼啟動器設定這兩項選項。
model, optim, data = accelerator.prepare(model, optim, data)
這是 API 的核心部分,會準備三種主要物件:模型(torch.nn.Module)、最佳化器(torch.optim.Optimizer)和數據載入器(torch.data.dataloader.DataLoader)。
模型
準備模型時會先把它包裝在合適的容器中(例如 DistributedDataParallel),再放到適當裝置。和一般分佈式訓練一樣,儲存模型或存取其專用方法前,需要先解除包裝;使用 accelerator.unwrap_model(model) 即可。
最佳化器
最佳化器亦會包裝在特殊容器中,執行步驟時會進行必要操作,確保混合精度正常運作。如果 state dict 非空或來自檢查點載入,容器亦會妥善處理其裝置配置。
DataLoader
大部分巧妙之處都在這裡。如程式碼範例所示,這個函式庫不依賴 DistributedSampler,而是可配合你傳給 DataLoader 的任何 sampler 運作(若你曾為自訂 sampler 撰寫分佈式版本,現在就不必再做!)。DataLoader 會包裝在容器中,只擷取 sampler 中與目前程序相關的索引(若使用 IterableDataset,則會跳過其他程序的批次),並把批次放到適當裝置。
為了讓這項功能運作,Accelerate 提供工具函數,在分佈式訓練執行的各個程序中同步隨機數生成器。預設只同步 sampler 的 generator,因此每個程序的數據增強方式會不同,但隨機排序保持一致。當然,你也可按需要用此工具同步更多 RNG。
accelerator.backward(loss)
最後一行會加入反向傳播所需步驟(主要供混合精度使用,其他整合亦會在此加入自訂行為)。
評估怎樣處理?
評估可以在所有程序上正常執行;若只想在主要程序上執行,則可使用方便的測試方法:
if accelerator.is_main_process():
# Evaluation loop
你也可以使用 Accelerate 輕鬆進行分佈式評估,以下是評估循環中需要加入的內容:
+ eval_dataloader = accelerator.prepare(eval_dataloader)
predictions, labels = [], []
for source, targets in eval_dataloader:
with torch.no_grad():
output = model(source)
- predictions.append(output.cpu().numpy())
- labels.append(targets.cpu().numpy())
+ predictions.append(accelerator.gather(output).cpu().numpy())
+ labels.append(accelerator.gather(targets).cpu().numpy())
predictions = np.concatenate(predictions)
labels = np.concatenate(labels)
+ predictions = predictions[:len(eval_dataloader.dataset)]
+ labels = label[:len(eval_dataloader.dataset)]
metric_compute(predictions, labels)
和訓練一樣,你需要加入一行程式碼準備評估 DataLoader。之後使用 accelerator.gather,即可跨程序收集預測和標籤張量。最後一行會按數據集的樣本數截短預測和標籤,因為準備後的評估 DataLoader 會多傳回幾個元素,確保每個程序的批次大小一致。
一個啟動器,統管所有設定
使用 Accelerate 的指令碼完全相容於傳統啟動器,例如 torch.distributed.launch。不過要記住啟動器的所有參數有點麻煩,而且當你的環境已配置 4 個 GPU,訓練時通常會全部使用。Accelerate 提供簡便的 CLI,只需兩個步驟即可設定:
accelerate config
這會啟動簡短問卷,詢問你的環境設定,然後建立設定檔,內含訓練指令的預設值,你可以自行編輯。接著:
accelerate launch path_to_script.py --args_to_the_script
便會使用這些預設值啟動訓練指令碼。你只需提供訓練指令碼所需的參數。
要令啟動器更強大,你亦可使用它透過 SageMaker 建立 AWS 執行個體。請參閲這份指南瞭解詳情!
如何參與?
開始使用只需執行 pip install accelerate,或參閲説明文件瞭解其他安裝方式。
Accelerate 是完全開源的項目,你可以在 GitHub 查看原始碼、參閲説明文件,或瀏覽基本範例。若有任何問題,或希望函式庫支援某項功能,請告訴我們。如有疑問,歡迎到討論區交流!
若想查看更複雜的情境範例,可參閲官方 Transformers 範例。每個資料夾都包含一個使用 Accelerate 函式庫的 run_task_no_trainer.py!
來源:Hugging Face Blog · huggingface.co