跳到正文
Hugging Face Blog·· 2021-03-23精選AI 評分60

Hugging Face 與 Amazon 宣佈戰略合作,推出 Amazon SageMaker Deep Learning Containers

The Partnership: Amazon SageMaker and Hugging Face

AI 導讀

Hugging Face 與 Amazon 宣佈戰略合作,推出 Hugging Face Deep Learning Containers,讓用户可在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。

推薦理由

文章展示 Hugging Face 模型在 SageMaker 的訓練接入方式,並稱 SDK 擴展可把實驗設定與執行所需時間由數天縮至數分鐘。

正文 · 繁體中文

hugging-face-and-aws-logo

看看這些笑容!

今天,我們宣佈 Hugging Face 與 Amazon 建立策略合作夥伴關係,讓企業更容易運用最先進的機器學習模型,並更快推出前沿 NLP 功能。

透過這項合作,Hugging Face 將 Amazon Web Services 列為首選雲端供應商,為客戶提供服務。

作為支援共同客戶的第一步,Hugging Face 與 Amazon 推出全新的 Hugging Face Deep Learning Containers(DLC),讓使用者比以往更輕鬆地在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。

如要了解如何透過 Amazon SageMaker Python SDK 使用全新的 Hugging Face DLC,請參閲以下指南及資源。

2021 年 7 月 8 日,我們擴展了 Amazon SageMaker 整合,加入簡易的 Transformers 模型部署及推理功能。如想了解如何透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型,請參閲新網誌文章及文件。


功能與優點 🔥

只需一個指令

有了 Amazon SageMaker 提供的全新 Hugging Face Deep Learning Containers,訓練前沿 Transformers NLP 模型從未如此簡單。容器設有專為 TensorFlow 和 PyTorch 最佳化的版本,支援單 GPU、單節點多 GPU 及多節點叢集。

加快機器學習流程,從科學研究到正式環境

除了 Hugging Face DLC,我們亦為 SageMaker Python SDK 建立完整的 Hugging Face 擴充功能,協助數據科學團隊加快工作流程,將設定及執行實驗所需時間由數天縮短至數分鐘。

你可以將 Hugging Face DLC 與 Amazon SageMaker 的自動模型調校功能搭配使用,自動最佳化訓練超參數,並迅速提高模型準確度。

透過 SageMaker Studio 網頁版整合式開發環境(IDE),你可以輕鬆追蹤及比較實驗和訓練產物。

內置效能優化

使用 Hugging Face DLC 的 SageMaker 客戶可受惠於內置的 PyTorch 或 TensorFlow 效能最佳化,從而更快訓練 NLP 模型,並可按工作負載選擇性價比最佳的訓練基礎設施。

Hugging Face DLC 與 SageMaker 分散式訓練程式庫全面整合,使用 Amazon EC2 最新一代執行個體,訓練模型的速度前所未有。


資源、文件及範例 📄

以下列出所有重要資源,包括已發布的網誌文章、影片、文件,以及範例 Notebook 和指令碼。

網誌/影片

文件

範例 Notebook


入門:端對端文字分類 🧭

在這份入門指南中,我們會使用全新的 Hugging Face DLC 和 Amazon SageMaker 擴充功能,透過 transformers 和 datasets 程式庫訓練二元文字分類 Transformer 模型。

此範例會使用 Amazon SageMaker Notebook Instance。你可在此瞭解如何設定 Notebook Instance。

我們將會進行以下步驟:

  • 設定開發環境並安裝 sagemaker
  • 建立訓練指令碼 train.py
  • 預處理數據並上載至 Amazon S3
  • 建立 HuggingFace Estimator 並訓練模型

設定開發環境並安裝 sagemaker

如上所述,我們會使用 SageMaker Notebook Instances。首先,請開啟 Jupyter Notebook 或 JupyterLab,並使用 conda_pytorch_p36 kernel 建立新 Notebook。

注意:使用 Jupyter 並非必要:只要安裝了 SDK、可連線至雲端並具備適當權限,你便可從任何地方啟動 SageMaker 訓練工作,例如手提電腦、其他 IDE,或 Airflow、AWS Step Functions 等任務排程器。

之後即可安裝所需的相依套件。

pip install "sagemaker>=2.31.0" "transformers==4.6.1" "datasets[s3]==1.6.2" --upgrade

要在 SageMaker 上執行訓練,我們需要建立 sagemaker Session,並提供具備適當權限的 IAM 角色。之後會將此 IAM 角色附加至 TrainingJob,讓它可下載數據,例如從 Amazon S3 下載。

import sagemaker

sess = sagemaker.Session()
# sagemaker session bucket -> used for uploading data, models and logs
# sagemaker will automatically create this bucket if it not exists
sagemaker_session_bucket=None
if sagemaker_session_bucket is None and sess is not None:
    # set to default bucket if a bucket name is not given
    sagemaker_session_bucket = sess.default_bucket()

role = sagemaker.get_execution_role()
sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

建立訓練指令碼 train.py

在 SageMaker TrainingJob 中,我們會執行一個帶有具名參數的 Python 指令碼。此範例會將 PyTorch 與 transformers 搭配使用。指令碼會:

  • 接收傳入的參數(來自 HuggingFace Estimator 的超參數)
  • 載入數據集
  • 定義計算指標的函式
  • 設定 Trainer
  • 使用 trainer.train() 執行訓練
  • 評估訓練結果,並在結束時將模型儲存至 S3。
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments
from sklearn.metrics import accuracy_score, precision_recall_fscore_support
from datasets import load_from_disk
import random
import logging
import sys
import argparse
import os
import torch

if __name__ == "__main__":

    parser = argparse.ArgumentParser()

    # hyperparameters sent by the client are passed as command-line arguments to the script.
    parser.add_argument("--epochs", type=int, default=3)
    parser.add_argument("--train-batch-size", type=int, default=32)
    parser.add_argument("--eval-batch-size", type=int, default=64)
    parser.add_argument("--warmup_steps", type=int, default=500)
    parser.add_argument("--model_name", type=str)
    parser.add_argument("--learning_rate", type=str, default=5e-5)

    # Data, model, and output directories
    parser.add_argument("--output-data-dir", type=str, default=os.environ["SM_OUTPUT_DATA_DIR"])
    parser.add_argument("--model-dir", type=str, default=os.environ["SM_MODEL_DIR"])
    parser.add_argument("--n_gpus", type=str, default=os.environ["SM_NUM_GPUS"])
    parser.add_argument("--training_dir", type=str, default=os.environ["SM_CHANNEL_TRAIN"])
    parser.add_argument("--test_dir", type=str, default=os.environ["SM_CHANNEL_TEST"])

    args, _ = parser.parse_known_args()

    # Set up logging
    logger = logging.getLogger(__name__)

    logging.basicConfig(
        level=logging.getLevelName("INFO"),
        handlers=[logging.StreamHandler(sys.stdout)],
        format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
    )

    # load datasets
    train_dataset = load_from_disk(args.training_dir)
    test_dataset = load_from_disk(args.test_dir)

    logger.info(f" loaded train_dataset length is: {len(train_dataset)}")
    logger.info(f" loaded test_dataset length is: {len(test_dataset)}")

    # compute metrics function for binary classification
    def compute_metrics(pred):
        labels = pred.label_ids
        preds = pred.predictions.argmax(-1)
        precision, recall, f1, _ = precision_recall_fscore_support(labels, preds, average="binary")
        acc = accuracy_score(labels, preds)
        return {"accuracy": acc, "f1": f1, "precision": precision, "recall": recall}

    # download model from model hub
    model = AutoModelForSequenceClassification.from_pretrained(args.model_name)

    # define training args
    training_args = TrainingArguments(
        output_dir=args.model_dir,
        num_train_epochs=args.epochs,
        per_device_train_batch_size=args.train_batch_size,
        per_device_eval_batch_size=args.eval_batch_size,
        warmup_steps=args.warmup_steps,
        evaluation_strategy="epoch",
        logging_dir=f"{args.output_data_dir}/logs",
        learning_rate=float(args.learning_rate),
    )

    # create Trainer instance
    trainer = Trainer(
        model=model,
        args=training_args,
        compute_metrics=compute_metrics,
        train_dataset=train_dataset,
        eval_dataset=test_dataset,
    )

    # train model
    trainer.train()

    # evaluate model
    eval_result = trainer.evaluate(eval_dataset=test_dataset)

    # writes eval result to file which can be accessed later in s3 output
    with open(os.path.join(args.output_data_dir, "eval_results.txt"), "w") as writer:
        print(f"***** Eval results *****")
        for key, value in sorted(eval_result.items()):
            writer.write(f"{key} = {value}\\n")

    # Saves the model to s3; default is /opt/ml/model which SageMaker sends to S3
    trainer.save_model(args.model_dir)

預處理數據並上載至 s3

我們使用 datasets 程式庫下載並預處理 imdb 數據集。預處理完成後,數據集會上載至目前 Session 的預設 s3 儲存貯體 sess.default_bucket(),供訓練工作使用。imdb 數據集包含 25000 則訓練用及 25000 則測試用的高度兩極化電影評論。

import botocore
from datasets import load_dataset
from transformers import AutoTokenizer
from datasets.filesystems import S3FileSystem

# tokenizer used in preprocessing
tokenizer_name = 'distilbert-base-uncased'

# filesystem client for s3
s3 = S3FileSystem()

# dataset used
dataset_name = 'imdb'

# s3 key prefix for the data
s3_prefix = 'datasets/imdb'

# load dataset
dataset = load_dataset(dataset_name)

# download tokenizer
tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)

# tokenizer helper function
def tokenize(batch):
    return tokenizer(batch['text'], padding='max_length', truncation=True)

# load dataset
train_dataset, test_dataset = load_dataset('imdb', split=['train', 'test'])
test_dataset = test_dataset.shuffle().select(range(10000)) # smaller the size for test dataset to 10k

# tokenize dataset
train_dataset = train_dataset.map(tokenize, batched=True, batch_size=len(train_dataset))
test_dataset = test_dataset.map(tokenize, batched=True, batch_size=len(test_dataset))

# set format for pytorch
train_dataset = train_dataset.rename_column("label", "labels")
train_dataset.set_format('torch', columns=['input_ids', 'attention_mask', 'labels'])
test_dataset = test_dataset.rename_column("label", "labels")
test_dataset.set_format('torch', columns=['input_ids', 'attention_mask', 'labels'])

# save train_dataset to s3
training_input_path = f's3://{sess.default_bucket()}/{s3_prefix}/train'
train_dataset.save_to_disk(training_input_path,fs=s3)

# save test_dataset to s3
test_input_path = f's3://{sess.default_bucket()}/{s3_prefix}/test'
test_dataset.save_to_disk(test_input_path,fs=s3)

建立 HuggingFace Estimator 並訓練模型

如要建立 SageMaker Trainingjob,可使用 HuggingFace Estimator。Estimator 會處理 Amazon SageMaker 訓練的整個流程。在 Estimator 中,我們會定義要使用哪個微調指令碼作為 entry_point、要使用哪種 instance_type,以及要傳入哪些超參數。此外,亦提供多項進階控制選項,例如自訂輸出及檢查點位置、指定本機儲存空間大小或網絡設定。

SageMaker 會透過 Hugging Face DLC 為我們啟動及管理所有所需的 Amazon EC2 執行個體,上載提供的微調指令碼(例如 train.py),然後從 S3 儲存貯體 sess.default_bucket() 將數據下載至容器。數據就緒後,訓練工作便會自動開始執行。

/opt/conda/bin/python train.py --epochs 1 --model_name distilbert-base-uncased --train_batch_size 32

你在 HuggingFace Estimator 中定義的超參數會以具名參數形式傳入。

from sagemaker.huggingface import HuggingFace

# hyperparameters, which are passed into the training job
hyperparameters={'epochs': 1,
                 'train_batch_size': 32,
                 'model_name':'distilbert-base-uncased'
                 }

# create the Estimator
huggingface_estimator = HuggingFace(
      entry_point='train.py',
      source_dir='./scripts',
      instance_type='ml.p3.2xlarge',
      instance_count=1,
      role=role,
      transformers_version='4.6',
      pytorch_version='1.7',
      py_version='py36',
      hyperparameters = hyperparameters
)

如要開始訓練,請呼叫 .fit() 方法並傳入 S3 URI 作為輸入。

# starting the train job with our uploaded datasets as input
huggingface_estimator.fit({'train': training_input_path, 'test': test_input_path})

其他功能 🚀

除了 Deep Learning Container 和 SageMaker SDK 外,我們亦實作了其他額外功能。

分散式訓練:數據平行

你可以直接使用 SageMaker Data Parallelism Library 進行分散式訓練。我們已將數據平行功能直接加入 Trainer。如果你的 train.py 使用 Trainer API,只需在 HuggingFace Estimator 中定義 distribution 參數即可。

# configuration for running training on smdistributed Data Parallel
distribution = {'smdistributed':{'dataparallel':{ 'enabled': True }}}

# create the Estimator
huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3dn.24xlarge',
        instance_count=2,
        role=role,
        transformers_version='4.4.2',
        pytorch_version='1.6.0',
        py_version='py36',
        hyperparameters = hyperparameters
        distribution = distribution
)

「入門:端對端文字分類」範例無需任何修改,即可用於分散式訓練。

分散式訓練:模型平行

你可以直接使用 SageMaker Model Parallelism Library 進行分散式訓練。我們已將模型平行功能直接加入 Trainer。如果你的 train.py 使用 Trainer API,只需在 HuggingFace Estimator 中定義 distribution 參數即可。
如需調整方式的詳細資訊,請參閲此處。

# configuration for running training on smdistributed Model Parallel
mpi_options = {
    "enabled" : True,
    "processes_per_host" : 8
}

smp_options = {
    "enabled":True,
    "parameters": {
        "microbatches": 4,
        "placement_strategy": "spread",
        "pipeline": "interleaved",
        "optimize": "speed",
        "partitions": 4,
        "ddp": True,
    }
}

distribution={
    "smdistributed": {"modelparallel": smp_options},
    "mpi": mpi_options
}

 # create the Estimator
huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3dn.24xlarge',
        instance_count=2,
        role=role,
        transformers_version='4.4.2',
        pytorch_version='1.6.0',
        py_version='py36',
        hyperparameters = hyperparameters,
        distribution = distribution
)

Spot 執行個體

透過為 SageMaker Python SDK 建立 HuggingFace Framework 擴充功能,我們亦可運用全代管 EC2 Spot 執行個體的優勢,節省高達 90% 的訓練成本。

注意:除非訓練工作能快速完成,否則我們建議在代管 Spot 訓練中使用檢查點,因此你需要定義 checkpoint_s3_uri。

如要透過 HuggingFace Estimator 使用 Spot 執行個體,必須將 use_spot_instances 參數設為 True,並定義 max_wait 和 max_run 時間。如欲瞭解更多,請參閲代管 Spot 訓練的生命週期。

# hyperparameters, which are passed into the training job
hyperparameters={'epochs': 1,
                 'train_batch_size': 32,
                 'model_name':'distilbert-base-uncased',
                 'output_dir':'/opt/ml/checkpoints'
                 }
# create the Estimator

huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3.2xlarge',
        instance_count=1,
          checkpoint_s3_uri=f's3://{sess.default_bucket()}/checkpoints'
        use_spot_instances=True,
        max_wait=3600, # This should be equal to or greater than max_run in seconds'
        max_run=1000,
        role=role,
        transformers_version='4.4',
        pytorch_version='1.6',
        py_version='py36',
        hyperparameters = hyperparameters
)

# Training seconds: 874
# Billable seconds: 105
# Managed Spot Training savings: 88.0%

Git 儲存庫

建立 HuggingFace Estimator 時,你可以指定儲存在 GitHub 儲存庫中的訓練指令碼作為 Estimator 的入口點,無需先將指令碼下載至本機。如果啟用了 Git 支援,則所提供的 entry_point 和 source_dir 必須是 Git 儲存庫中的相對路徑。

以下範例示範如何將 git_config 與 transformers 儲存庫中的範例指令碼搭配使用。

請注意,你需要將 output_dir 定義為超參數,讓指令碼在訓練後將模型儲存至 S3。建議將 output_dir 設為 /opt/ml/model,因為這是預設的 SM_MODEL_DIR,而該目錄會上載至 S3。

# configure git settings
git_config = {'repo': 'https://github.com/huggingface/transformers.git','branch': 'master'}

 # create the Estimator
huggingface_estimator = HuggingFace(
        entry_point='run_glue.py',
        source_dir='./examples/text-classification',
        git_config=git_config,
        instance_type='ml.p3.2xlarge',
        instance_count=1,
        role=role,
        transformers_version='4.4',
        pytorch_version='1.6',
        py_version='py36',
        hyperparameters=hyperparameters
)

SageMaker 指標

SageMaker Metrics 可自動剖析日誌中的指標,並將指標傳送至 CloudWatch。如要 SageMaker 剖析日誌,你必須在設定訓練工作時指定要傳送至 CloudWatch 的指標。你需要指定指標名稱,以及 SageMaker 用來搜尋演算法輸出日誌中相關指標的正規表示式。

# define metrics definitions

metric_definitions = [
{"Name": "train_runtime", "Regex": "train_runtime.*=\D*(.*?)$"},
{"Name": "eval_accuracy", "Regex": "eval_accuracy.*=\D*(.*?)$"},
{"Name": "eval_loss", "Regex": "eval_loss.*=\D*(.*?)$"},
]

# create the Estimator

huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3.2xlarge',
        instance_count=1,
        role=role,
        transformers_version='4.4',
        pytorch_version='1.6',
        py_version='py36',
        metric_definitions=metric_definitions,
        hyperparameters = hyperparameters
)

常見問題 🎯

你可在文件中查看完整的常見問題。

問:Deep Learning Containers 是甚麼?

答:Deep Learning Containers(DLC)是預先安裝深度學習框架及程式庫(例如 transformers、datasets、tokenizers)的 Docker 映像,讓你無需從頭建立及最佳化環境,簡化模型訓練。

問:使用 Hugging Face Deep Learning Containers 是否必須採用 SageMaker Python SDK?

答:你可以不使用 SageMaker Python SDK,改用其他 SDK(例如 AWS CLI 或 boto3 啟動 SageMaker 訓練工作。DLC 亦可透過 Amazon ECR 取得,並可在任何所選環境中提取及使用。

問:為甚麼要使用 Hugging Face Deep Learning Containers?

答:DLC 是經全面測試、維護及最佳化的深度學習環境,無需安裝、設定或維護。

問:為甚麼要使用 SageMaker Training 訓練 Hugging Face 模型?

答:SageMaker Training 為 Hugging Face 用戶帶來多項效益,有助提升工作效率:(1) 首先,它具成本效益:訓練執行個體只會在工作期間運行,並按秒計費。再也不用擔心 GPU 執行個體整晚閒置:訓練叢集會在工作結束時立即停止!它亦支援 EC2 Spot 容量,最多可節省 90% 成本。(2) SageMaker 亦提供大量內置自動化功能,方便團隊協作及 MLOps:訓練中繼資料和日誌會自動保存至無伺服器代管中繼資料庫,而 S3 的輸入/輸出(包括數據集、檢查點和模型產物)亦全面代管。最後,SageMaker 可大幅擴展訓練規模:你可以平行啟動多個訓練工作,也可以啟動大型分散式訓練工作。

問:在 Amazon SageMaker 訓練模型後,可否使用 🤗/Transformers?

答:可以,你可從 S3 下載訓練好的模型,直接透過 transformers 使用,或上載至 Hugging Face Model Hub。

問:Amazon SageMaker 如何保障我的數據和程式碼安全?

答:Amazon SageMaker 提供多種安全機制,包括靜態加密及傳輸中加密、Virtual Private Cloud(VPC)連線,以及身分與存取管理(IAM)。如欲進一步瞭解 AWS 雲端及 Amazon SageMaker 的安全性,請參閲Amazon SageMaker 安全性及AWS Cloud Security。

問:我的地區是否提供此服務?

答:如需支援地區清單,請參閲涵蓋所有 AWS 全球基礎設施的 AWS 地區表。

問:使用 DLC 是否需要向 Hugging Face 支付授權費?

答:不需要。Hugging Face DLC 為開源軟件,採用 Apache 2.0 授權。

問:如何對訓練好的模型執行推理?

答:你有多種方法可對訓練好的模型執行推理。其中一個選擇是使用 Hugging Face Accelerated Inference-API 代管服務:先將訓練好的模型上載至 Hugging Face 帳戶,即可公開或私下部署。另一個選擇是使用 SageMaker Inference,在 Amazon SageMaker 上執行自己的推理程式碼。我們正籌備日後為 Amazon SageMaker 提供整合式 Hugging Face Inference DLC 解決方案,敬請期待!

問:你們會否為此方案提供優質支援或支援 SLA?

答:AWS 提供不同級別的技術支援,涵蓋 AWS 產品及服務的開發與正式環境問題;詳情和支援範圍請參閲 AWS Support。

如有 Hugging Face 社羣可以協助解答,及/或其他人亦可受惠的問題,請在 Hugging Face 論壇發帖。

如需 Hugging Face 團隊提供優質支援,以加快你的 NLP 發展路線圖,我們的 Expert Acceleration Program 可讓你直接獲得開源、科學及 ML 工程團隊的指導。聯絡我們瞭解詳情。

問:這項合作接下來有甚麼計劃?

答:我們共同的目標是讓所有人都能使用最先進的機器學習技術。我們會繼續創新,讓研究人員、數據科學家及 ML 實踐者更容易管理、訓練及運行最先進的模型。如果你希望 Hugging Face 與 AWS 整合哪些功能,請在 Hugging Face 社羣論壇告訴我們。

問:我在 Azure Machine Learning 或 Google Cloud Platform 上使用 Hugging Face,這項合作對我有甚麼影響?

答:Hugging Face 的基本目標之一,是讓盡可能多人都能使用最新 AI 技術,不論他們採用哪種框架或開發環境。雖然我們正集中與首選雲端供應商 Amazon Web Services 加強整合,仍會繼續努力服務所有 Hugging Face 用戶及客戶,不論他們使用哪種運算環境。

來源:Hugging Face Blog · huggingface.co