Hugging Face 與 Amazon 宣佈戰略合作,推出 Amazon SageMaker Deep Learning Containers
The Partnership: Amazon SageMaker and Hugging Face
Hugging Face 與 Amazon 宣佈戰略合作,推出 Hugging Face Deep Learning Containers,讓用户可在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。
文章展示 Hugging Face 模型在 SageMaker 的訓練接入方式,並稱 SDK 擴展可把實驗設定與執行所需時間由數天縮至數分鐘。

看看這些笑容!
今天,我們宣佈 Hugging Face 與 Amazon 建立策略合作夥伴關係,讓企業更容易運用最先進的機器學習模型,並更快推出前沿 NLP 功能。
透過這項合作,Hugging Face 將 Amazon Web Services 列為首選雲端供應商,為客戶提供服務。
作為支援共同客戶的第一步,Hugging Face 與 Amazon 推出全新的 Hugging Face Deep Learning Containers(DLC),讓使用者比以往更輕鬆地在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。
如要了解如何透過 Amazon SageMaker Python SDK 使用全新的 Hugging Face DLC,請參閲以下指南及資源。
2021 年 7 月 8 日,我們擴展了 Amazon SageMaker 整合,加入簡易的 Transformers 模型部署及推理功能。如想了解如何透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型,請參閲新網誌文章及文件。
功能與優點 🔥
只需一個指令
有了 Amazon SageMaker 提供的全新 Hugging Face Deep Learning Containers,訓練前沿 Transformers NLP 模型從未如此簡單。容器設有專為 TensorFlow 和 PyTorch 最佳化的版本,支援單 GPU、單節點多 GPU 及多節點叢集。
加快機器學習流程,從科學研究到正式環境
除了 Hugging Face DLC,我們亦為 SageMaker Python SDK 建立完整的 Hugging Face 擴充功能,協助數據科學團隊加快工作流程,將設定及執行實驗所需時間由數天縮短至數分鐘。
你可以將 Hugging Face DLC 與 Amazon SageMaker 的自動模型調校功能搭配使用,自動最佳化訓練超參數,並迅速提高模型準確度。
透過 SageMaker Studio 網頁版整合式開發環境(IDE),你可以輕鬆追蹤及比較實驗和訓練產物。
內置效能優化
使用 Hugging Face DLC 的 SageMaker 客戶可受惠於內置的 PyTorch 或 TensorFlow 效能最佳化,從而更快訓練 NLP 模型,並可按工作負載選擇性價比最佳的訓練基礎設施。
Hugging Face DLC 與 SageMaker 分散式訓練程式庫全面整合,使用 Amazon EC2 最新一代執行個體,訓練模型的速度前所未有。
資源、文件及範例 📄
以下列出所有重要資源,包括已發布的網誌文章、影片、文件,以及範例 Notebook 和指令碼。
網誌/影片
- AWS:與 Hugging Face 攜手擁抱自然語言處理
- 透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型
- AWS 與 Hugging Face 合作,簡化並加快自然語言處理模型的採用
- 操作示範:端對端文字分類
- 在 Amazon SageMaker 上使用 Hugging Face 模型
- 分散式訓練:使用 🤗 Transformers 和 Amazon SageMaker 訓練 BART/T5 以進行摘要生成
- 將 Hugging Face Transformers 模型從 S3 部署至 Amazon SageMaker
- 將 Hugging Face Transformers 模型從 Model Hub 部署至 Amazon SageMaker
文件
- Hugging Face 的 Amazon SageMaker 文件
- 在 Amazon SageMaker 上執行訓練
- 將模型部署至 Amazon SageMaker
- 常見問題
- Amazon SageMaker 的 Hugging Face 文件
- Python SDK 的 Hugging Face SageMaker 文件
- Deep Learning Container
- SageMaker 分散式數據平行程式庫
- SageMaker 分散式模型平行程式庫
範例 Notebook
- 所有 Notebook
- PyTorch 入門
- TensorFlow 入門
- 數據平行分散式訓練
- 模型平行分散式訓練
- Spot 執行個體與繼續訓練
- SageMaker 指標
- TensorFlow 數據平行分散式訓練
- 分散式摘要生成訓練
- 使用 Vision Transformer 進行影像分類
- 將 Hugging Face Hub 上 10,000 多個 Transformers 模型之一部署至 Amazon SageMaker 進行推理
- 將 Hugging Face Transformer 模型從 S3 部署至 SageMaker 進行推理
入門:端對端文字分類 🧭
在這份入門指南中,我們會使用全新的 Hugging Face DLC 和 Amazon SageMaker 擴充功能,透過 transformers 和 datasets 程式庫訓練二元文字分類 Transformer 模型。
此範例會使用 Amazon SageMaker Notebook Instance。你可在此瞭解如何設定 Notebook Instance。
我們將會進行以下步驟:
- 設定開發環境並安裝 sagemaker
- 建立訓練指令碼
train.py - 預處理數據並上載至 Amazon S3
- 建立 HuggingFace Estimator 並訓練模型
設定開發環境並安裝 sagemaker
如上所述,我們會使用 SageMaker Notebook Instances。首先,請開啟 Jupyter Notebook 或 JupyterLab,並使用 conda_pytorch_p36 kernel 建立新 Notebook。
注意:使用 Jupyter 並非必要:只要安裝了 SDK、可連線至雲端並具備適當權限,你便可從任何地方啟動 SageMaker 訓練工作,例如手提電腦、其他 IDE,或 Airflow、AWS Step Functions 等任務排程器。
之後即可安裝所需的相依套件。
pip install "sagemaker>=2.31.0" "transformers==4.6.1" "datasets[s3]==1.6.2" --upgrade
要在 SageMaker 上執行訓練,我們需要建立 sagemaker Session,並提供具備適當權限的 IAM 角色。之後會將此 IAM 角色附加至 TrainingJob,讓它可下載數據,例如從 Amazon S3 下載。
import sagemaker
sess = sagemaker.Session()
# sagemaker session bucket -> used for uploading data, models and logs
# sagemaker will automatically create this bucket if it not exists
sagemaker_session_bucket=None
if sagemaker_session_bucket is None and sess is not None:
# set to default bucket if a bucket name is not given
sagemaker_session_bucket = sess.default_bucket()
role = sagemaker.get_execution_role()
sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)
print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")
建立訓練指令碼 train.py
在 SageMaker TrainingJob 中,我們會執行一個帶有具名參數的 Python 指令碼。此範例會將 PyTorch 與 transformers 搭配使用。指令碼會:
- 接收傳入的參數(來自 HuggingFace Estimator 的超參數)
- 載入數據集
- 定義計算指標的函式
- 設定
Trainer - 使用
trainer.train()執行訓練 - 評估訓練結果,並在結束時將模型儲存至 S3。
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments
from sklearn.metrics import accuracy_score, precision_recall_fscore_support
from datasets import load_from_disk
import random
import logging
import sys
import argparse
import os
import torch
if __name__ == "__main__":
parser = argparse.ArgumentParser()
# hyperparameters sent by the client are passed as command-line arguments to the script.
parser.add_argument("--epochs", type=int, default=3)
parser.add_argument("--train-batch-size", type=int, default=32)
parser.add_argument("--eval-batch-size", type=int, default=64)
parser.add_argument("--warmup_steps", type=int, default=500)
parser.add_argument("--model_name", type=str)
parser.add_argument("--learning_rate", type=str, default=5e-5)
# Data, model, and output directories
parser.add_argument("--output-data-dir", type=str, default=os.environ["SM_OUTPUT_DATA_DIR"])
parser.add_argument("--model-dir", type=str, default=os.environ["SM_MODEL_DIR"])
parser.add_argument("--n_gpus", type=str, default=os.environ["SM_NUM_GPUS"])
parser.add_argument("--training_dir", type=str, default=os.environ["SM_CHANNEL_TRAIN"])
parser.add_argument("--test_dir", type=str, default=os.environ["SM_CHANNEL_TEST"])
args, _ = parser.parse_known_args()
# Set up logging
logger = logging.getLogger(__name__)
logging.basicConfig(
level=logging.getLevelName("INFO"),
handlers=[logging.StreamHandler(sys.stdout)],
format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
)
# load datasets
train_dataset = load_from_disk(args.training_dir)
test_dataset = load_from_disk(args.test_dir)
logger.info(f" loaded train_dataset length is: {len(train_dataset)}")
logger.info(f" loaded test_dataset length is: {len(test_dataset)}")
# compute metrics function for binary classification
def compute_metrics(pred):
labels = pred.label_ids
preds = pred.predictions.argmax(-1)
precision, recall, f1, _ = precision_recall_fscore_support(labels, preds, average="binary")
acc = accuracy_score(labels, preds)
return {"accuracy": acc, "f1": f1, "precision": precision, "recall": recall}
# download model from model hub
model = AutoModelForSequenceClassification.from_pretrained(args.model_name)
# define training args
training_args = TrainingArguments(
output_dir=args.model_dir,
num_train_epochs=args.epochs,
per_device_train_batch_size=args.train_batch_size,
per_device_eval_batch_size=args.eval_batch_size,
warmup_steps=args.warmup_steps,
evaluation_strategy="epoch",
logging_dir=f"{args.output_data_dir}/logs",
learning_rate=float(args.learning_rate),
)
# create Trainer instance
trainer = Trainer(
model=model,
args=training_args,
compute_metrics=compute_metrics,
train_dataset=train_dataset,
eval_dataset=test_dataset,
)
# train model
trainer.train()
# evaluate model
eval_result = trainer.evaluate(eval_dataset=test_dataset)
# writes eval result to file which can be accessed later in s3 output
with open(os.path.join(args.output_data_dir, "eval_results.txt"), "w") as writer:
print(f"***** Eval results *****")
for key, value in sorted(eval_result.items()):
writer.write(f"{key} = {value}\\n")
# Saves the model to s3; default is /opt/ml/model which SageMaker sends to S3
trainer.save_model(args.model_dir)
預處理數據並上載至 s3
我們使用 datasets 程式庫下載並預處理 imdb 數據集。預處理完成後,數據集會上載至目前 Session 的預設 s3 儲存貯體 sess.default_bucket(),供訓練工作使用。imdb 數據集包含 25000 則訓練用及 25000 則測試用的高度兩極化電影評論。
import botocore
from datasets import load_dataset
from transformers import AutoTokenizer
from datasets.filesystems import S3FileSystem
# tokenizer used in preprocessing
tokenizer_name = 'distilbert-base-uncased'
# filesystem client for s3
s3 = S3FileSystem()
# dataset used
dataset_name = 'imdb'
# s3 key prefix for the data
s3_prefix = 'datasets/imdb'
# load dataset
dataset = load_dataset(dataset_name)
# download tokenizer
tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
# tokenizer helper function
def tokenize(batch):
return tokenizer(batch['text'], padding='max_length', truncation=True)
# load dataset
train_dataset, test_dataset = load_dataset('imdb', split=['train', 'test'])
test_dataset = test_dataset.shuffle().select(range(10000)) # smaller the size for test dataset to 10k
# tokenize dataset
train_dataset = train_dataset.map(tokenize, batched=True, batch_size=len(train_dataset))
test_dataset = test_dataset.map(tokenize, batched=True, batch_size=len(test_dataset))
# set format for pytorch
train_dataset = train_dataset.rename_column("label", "labels")
train_dataset.set_format('torch', columns=['input_ids', 'attention_mask', 'labels'])
test_dataset = test_dataset.rename_column("label", "labels")
test_dataset.set_format('torch', columns=['input_ids', 'attention_mask', 'labels'])
# save train_dataset to s3
training_input_path = f's3://{sess.default_bucket()}/{s3_prefix}/train'
train_dataset.save_to_disk(training_input_path,fs=s3)
# save test_dataset to s3
test_input_path = f's3://{sess.default_bucket()}/{s3_prefix}/test'
test_dataset.save_to_disk(test_input_path,fs=s3)
建立 HuggingFace Estimator 並訓練模型
如要建立 SageMaker Trainingjob,可使用 HuggingFace Estimator。Estimator 會處理 Amazon SageMaker 訓練的整個流程。在 Estimator 中,我們會定義要使用哪個微調指令碼作為 entry_point、要使用哪種 instance_type,以及要傳入哪些超參數。此外,亦提供多項進階控制選項,例如自訂輸出及檢查點位置、指定本機儲存空間大小或網絡設定。
SageMaker 會透過 Hugging Face DLC 為我們啟動及管理所有所需的 Amazon EC2 執行個體,上載提供的微調指令碼(例如 train.py),然後從 S3 儲存貯體 sess.default_bucket() 將數據下載至容器。數據就緒後,訓練工作便會自動開始執行。
/opt/conda/bin/python train.py --epochs 1 --model_name distilbert-base-uncased --train_batch_size 32
你在 HuggingFace Estimator 中定義的超參數會以具名參數形式傳入。
from sagemaker.huggingface import HuggingFace
# hyperparameters, which are passed into the training job
hyperparameters={'epochs': 1,
'train_batch_size': 32,
'model_name':'distilbert-base-uncased'
}
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3.2xlarge',
instance_count=1,
role=role,
transformers_version='4.6',
pytorch_version='1.7',
py_version='py36',
hyperparameters = hyperparameters
)
如要開始訓練,請呼叫 .fit() 方法並傳入 S3 URI 作為輸入。
# starting the train job with our uploaded datasets as input
huggingface_estimator.fit({'train': training_input_path, 'test': test_input_path})
其他功能 🚀
除了 Deep Learning Container 和 SageMaker SDK 外,我們亦實作了其他額外功能。
分散式訓練:數據平行
你可以直接使用 SageMaker Data Parallelism Library 進行分散式訓練。我們已將數據平行功能直接加入 Trainer。如果你的 train.py 使用 Trainer API,只需在 HuggingFace Estimator 中定義 distribution 參數即可。
# configuration for running training on smdistributed Data Parallel
distribution = {'smdistributed':{'dataparallel':{ 'enabled': True }}}
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3dn.24xlarge',
instance_count=2,
role=role,
transformers_version='4.4.2',
pytorch_version='1.6.0',
py_version='py36',
hyperparameters = hyperparameters
distribution = distribution
)
「入門:端對端文字分類」範例無需任何修改,即可用於分散式訓練。
分散式訓練:模型平行
你可以直接使用 SageMaker Model Parallelism Library 進行分散式訓練。我們已將模型平行功能直接加入 Trainer。如果你的 train.py 使用 Trainer API,只需在 HuggingFace Estimator 中定義 distribution 參數即可。
如需調整方式的詳細資訊,請參閲此處。
# configuration for running training on smdistributed Model Parallel
mpi_options = {
"enabled" : True,
"processes_per_host" : 8
}
smp_options = {
"enabled":True,
"parameters": {
"microbatches": 4,
"placement_strategy": "spread",
"pipeline": "interleaved",
"optimize": "speed",
"partitions": 4,
"ddp": True,
}
}
distribution={
"smdistributed": {"modelparallel": smp_options},
"mpi": mpi_options
}
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3dn.24xlarge',
instance_count=2,
role=role,
transformers_version='4.4.2',
pytorch_version='1.6.0',
py_version='py36',
hyperparameters = hyperparameters,
distribution = distribution
)
Spot 執行個體
透過為 SageMaker Python SDK 建立 HuggingFace Framework 擴充功能,我們亦可運用全代管 EC2 Spot 執行個體的優勢,節省高達 90% 的訓練成本。
注意:除非訓練工作能快速完成,否則我們建議在代管 Spot 訓練中使用檢查點,因此你需要定義 checkpoint_s3_uri。
如要透過 HuggingFace Estimator 使用 Spot 執行個體,必須將 use_spot_instances 參數設為 True,並定義 max_wait 和 max_run 時間。如欲瞭解更多,請參閲代管 Spot 訓練的生命週期。
# hyperparameters, which are passed into the training job
hyperparameters={'epochs': 1,
'train_batch_size': 32,
'model_name':'distilbert-base-uncased',
'output_dir':'/opt/ml/checkpoints'
}
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3.2xlarge',
instance_count=1,
checkpoint_s3_uri=f's3://{sess.default_bucket()}/checkpoints'
use_spot_instances=True,
max_wait=3600, # This should be equal to or greater than max_run in seconds'
max_run=1000,
role=role,
transformers_version='4.4',
pytorch_version='1.6',
py_version='py36',
hyperparameters = hyperparameters
)
# Training seconds: 874
# Billable seconds: 105
# Managed Spot Training savings: 88.0%
Git 儲存庫
建立 HuggingFace Estimator 時,你可以指定儲存在 GitHub 儲存庫中的訓練指令碼作為 Estimator 的入口點,無需先將指令碼下載至本機。如果啟用了 Git 支援,則所提供的 entry_point 和 source_dir 必須是 Git 儲存庫中的相對路徑。
以下範例示範如何將 git_config 與 transformers 儲存庫中的範例指令碼搭配使用。
請注意,你需要將 output_dir 定義為超參數,讓指令碼在訓練後將模型儲存至 S3。建議將 output_dir 設為 /opt/ml/model,因為這是預設的 SM_MODEL_DIR,而該目錄會上載至 S3。
# configure git settings
git_config = {'repo': 'https://github.com/huggingface/transformers.git','branch': 'master'}
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='run_glue.py',
source_dir='./examples/text-classification',
git_config=git_config,
instance_type='ml.p3.2xlarge',
instance_count=1,
role=role,
transformers_version='4.4',
pytorch_version='1.6',
py_version='py36',
hyperparameters=hyperparameters
)
SageMaker 指標
SageMaker Metrics 可自動剖析日誌中的指標,並將指標傳送至 CloudWatch。如要 SageMaker 剖析日誌,你必須在設定訓練工作時指定要傳送至 CloudWatch 的指標。你需要指定指標名稱,以及 SageMaker 用來搜尋演算法輸出日誌中相關指標的正規表示式。
# define metrics definitions
metric_definitions = [
{"Name": "train_runtime", "Regex": "train_runtime.*=\D*(.*?)$"},
{"Name": "eval_accuracy", "Regex": "eval_accuracy.*=\D*(.*?)$"},
{"Name": "eval_loss", "Regex": "eval_loss.*=\D*(.*?)$"},
]
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3.2xlarge',
instance_count=1,
role=role,
transformers_version='4.4',
pytorch_version='1.6',
py_version='py36',
metric_definitions=metric_definitions,
hyperparameters = hyperparameters
)
常見問題 🎯
問:Deep Learning Containers 是甚麼?
答:Deep Learning Containers(DLC)是預先安裝深度學習框架及程式庫(例如 transformers、datasets、tokenizers)的 Docker 映像,讓你無需從頭建立及最佳化環境,簡化模型訓練。
問:使用 Hugging Face Deep Learning Containers 是否必須採用 SageMaker Python SDK?
答:你可以不使用 SageMaker Python SDK,改用其他 SDK(例如 AWS CLI 或 boto3 啟動 SageMaker 訓練工作。DLC 亦可透過 Amazon ECR 取得,並可在任何所選環境中提取及使用。
問:為甚麼要使用 Hugging Face Deep Learning Containers?
答:DLC 是經全面測試、維護及最佳化的深度學習環境,無需安裝、設定或維護。
問:為甚麼要使用 SageMaker Training 訓練 Hugging Face 模型?
答:SageMaker Training 為 Hugging Face 用戶帶來多項效益,有助提升工作效率:(1) 首先,它具成本效益:訓練執行個體只會在工作期間運行,並按秒計費。再也不用擔心 GPU 執行個體整晚閒置:訓練叢集會在工作結束時立即停止!它亦支援 EC2 Spot 容量,最多可節省 90% 成本。(2) SageMaker 亦提供大量內置自動化功能,方便團隊協作及 MLOps:訓練中繼資料和日誌會自動保存至無伺服器代管中繼資料庫,而 S3 的輸入/輸出(包括數據集、檢查點和模型產物)亦全面代管。最後,SageMaker 可大幅擴展訓練規模:你可以平行啟動多個訓練工作,也可以啟動大型分散式訓練工作。
問:在 Amazon SageMaker 訓練模型後,可否使用 🤗/Transformers?
答:可以,你可從 S3 下載訓練好的模型,直接透過 transformers 使用,或上載至 Hugging Face Model Hub。
問:Amazon SageMaker 如何保障我的數據和程式碼安全?
答:Amazon SageMaker 提供多種安全機制,包括靜態加密及傳輸中加密、Virtual Private Cloud(VPC)連線,以及身分與存取管理(IAM)。如欲進一步瞭解 AWS 雲端及 Amazon SageMaker 的安全性,請參閲Amazon SageMaker 安全性及AWS Cloud Security。
問:我的地區是否提供此服務?
答:如需支援地區清單,請參閲涵蓋所有 AWS 全球基礎設施的 AWS 地區表。
問:使用 DLC 是否需要向 Hugging Face 支付授權費?
答:不需要。Hugging Face DLC 為開源軟件,採用 Apache 2.0 授權。
問:如何對訓練好的模型執行推理?
答:你有多種方法可對訓練好的模型執行推理。其中一個選擇是使用 Hugging Face Accelerated Inference-API 代管服務:先將訓練好的模型上載至 Hugging Face 帳戶,即可公開或私下部署。另一個選擇是使用 SageMaker Inference,在 Amazon SageMaker 上執行自己的推理程式碼。我們正籌備日後為 Amazon SageMaker 提供整合式 Hugging Face Inference DLC 解決方案,敬請期待!
問:你們會否為此方案提供優質支援或支援 SLA?
答:AWS 提供不同級別的技術支援,涵蓋 AWS 產品及服務的開發與正式環境問題;詳情和支援範圍請參閲 AWS Support。
如有 Hugging Face 社羣可以協助解答,及/或其他人亦可受惠的問題,請在 Hugging Face 論壇發帖。
如需 Hugging Face 團隊提供優質支援,以加快你的 NLP 發展路線圖,我們的 Expert Acceleration Program 可讓你直接獲得開源、科學及 ML 工程團隊的指導。聯絡我們瞭解詳情。
問:這項合作接下來有甚麼計劃?
答:我們共同的目標是讓所有人都能使用最先進的機器學習技術。我們會繼續創新,讓研究人員、數據科學家及 ML 實踐者更容易管理、訓練及運行最先進的模型。如果你希望 Hugging Face 與 AWS 整合哪些功能,請在 Hugging Face 社羣論壇告訴我們。
問:我在 Azure Machine Learning 或 Google Cloud Platform 上使用 Hugging Face,這項合作對我有甚麼影響?
答:Hugging Face 的基本目標之一,是讓盡可能多人都能使用最新 AI 技術,不論他們採用哪種框架或開發環境。雖然我們正集中與首選雲端供應商 Amazon Web Services 加強整合,仍會繼續努力服務所有 Hugging Face 用戶及客戶,不論他們使用哪種運算環境。
來源:Hugging Face Blog · huggingface.co