透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型
Deploy Hugging Face models easily with Amazon SageMaker
Hugging Face 推出適用於 Amazon SageMaker 的 Inference DLC 和 Inference Toolkit,支援部署已訓練模型及 Model Hub 上 10,000+ 個公開模型。
文章分別示範訓練完成後、從 Amazon S3 檢查點及從 Model Hub 部署模型,並附上建立 SageMaker 推理端點的程式範例。

今年較早時我們宣佈與 Amazon 展開策略合作,讓企業更容易在 Amazon SageMaker 使用 Hugging Face,並更快推出尖端機器學習功能。我們推出了全新的 Hugging Face 深度學習容器(DLC),讓用戶可在 Amazon SageMaker訓練 Hugging Face Transformer 模型。
今天我們很高興與你分享全新的推論方案,讓你前所未有地輕鬆透過 Amazon SageMaker 部署 Hugging Face Transformers!使用全新的 Hugging Face Inference DLC,只需多加一行程式碼,便可部署已訓練模型以進行推論;你亦可從Model Hub逾 10,000 個公開模型中任選,並透過 Amazon SageMaker 部署。
在 SageMaker 部署模型可提供適用於正式環境的端點,能在 AWS 環境中輕鬆擴展,並內置監察功能及大量企業級功能。這次合作令人振奮,希望你能善用這些成果!
以下説明如何使用全新的SageMaker Hugging Face Inference Toolkit部署以 Transformers 為基礎的模型:
from sagemaker.huggingface import HuggingFaceModel
# create Hugging Face Model Class and deploy it as SageMaker Endpoint
huggingface_model = HuggingFaceModel(...).deploy()
就是這樣!🚀
如要進一步瞭解如何透過 Amazon SageMaker Python SDK 存取和使用全新的 Hugging Face DLC,請查看以下指南及資源。
資源、文件及範例 📄
以下列出把模型部署至 Amazon SageMaker 所需的重要資源。
網誌/影片
- 影片:把 Hugging Face Transformers 模型由 S3 部署至 Amazon SageMaker
- 影片:把 Model Hub 上的 Hugging Face Transformers 模型部署至 Amazon SageMaker
範例/文件
- Hugging Face Amazon SageMaker 文件
- 把模型部署至 Amazon SageMaker
- Amazon SageMaker Hugging Face 文件
- Python SDK SageMaker Hugging Face 文件
- Deep Learning Container
- 筆記本:把 Hugging Face Transformers 公開模型(逾 10 000 個)部署至 Amazon SageMaker 進行推論
- 筆記本:從 S3 把 Hugging Face Transformer 模型部署至 SageMaker 進行推論
SageMaker Hugging Face Inference Toolkit ⚙️
除了為推論最佳化的 Hugging Face Transformers Deep Learning Containers,我們亦為 Amazon SageMaker 建立了全新的Inference Toolkit。這項 Inference Toolkit 運用 pipelines(來自 transformers 程式庫),讓你無須編寫任何前處理或後處理程式碼,便可零程式碼部署模型。下方「開始使用」一節會提供兩個把模型部署至 Amazon SageMaker 的範例。
除了零程式碼部署外,Inference Toolkit 亦支援「自備程式碼」方式,讓你覆寫預設方法。如欲瞭解「自備程式碼」,可參閲此處的文件,或查看名為「把自訂推論程式碼部署至 Amazon SageMaker」的範例筆記本。
API - Inference Toolkit 説明
我們以 transformers pipelines 設計 API,讓你能輕鬆使用 pipelines 的所有功能。這個 API 的介面與🤗 Accelerated Inference API相似:輸入內容須放在 inputs 欄位;如要加入其他支援的 pipelines 參數,可放在 parameters 欄位。以下提供請求範例。
# text-classification request body
{
"inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}
# question-answering request body
{
"inputs": {
"question": "What is used for inference?",
"context": "My Name is Philipp and I live in Nuremberg. This model is used with sagemaker for inference."
}
}
# zero-shot classification request body
{
"inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
"parameters": {
"candidate_labels": [
"refund",
"legal",
"faq"
]
}
}
開始使用 🧭
本指南會使用全新的 Hugging Face Inference DLC 和 Amazon SageMaker Python SDK,部署兩個 Transformer 模型以供推論。
第一個範例會部署在 Amazon SageMaker 訓練的 Hugging Face Transformer 模型以供推論。
第二個範例會直接從Model Hub逾 10,000 個 Hugging Face Transformers 公開模型中,選取一個部署至 Amazon SageMaker 進行推論。
設定環境
本範例會使用 Amazon SageMaker Notebook Instance。你可在此瞭解如何設定 Notebook Instance。開始時,開啟 Jupyter Notebook 或 JupyterLab,建立一個使用 conda_pytorch_p36 kernel 的新 Notebook。
注意:使用 Jupyter 並非必要;只要安裝了 SDK、可連接雲端並具備適當權限,你也可以在任何地方呼叫 SageMaker API,例如手提電腦、其他 IDE,或 Airflow、AWS Step Functions 等工作排程器。
之後,我們可以安裝所需依賴項。
pip install "sagemaker>=2.48.0" --upgrade
要在 SageMaker 部署模型,我們需要建立 sagemaker Session,並提供具備適當權限的 IAM 角色。SageMaker SDK 提供 get_execution_role 方法作為可選的便利功能。你亦可直接指定想讓端點使用的角色 ARN。之後會把這個 IAM 角色附加至端點,例如用來從 Amazon S3 下載模型。
import sagemaker
sess = sagemaker.Session()
role = sagemaker.get_execution_role()
把已訓練的 Hugging Face Transformer 模型部署至 SageMaker 以供推論
部署在 SageMaker 訓練的 Hugging Face 模型有兩種方式:可以在訓練完成後立即部署,或稍後使用指向已儲存於 Amazon S3 模型的 model_data 部署。除了下文提到的兩個選項外,你亦可使用 boto3、AWS CLI 等較低層 SDK、Terraform 或 CloudFormation 範本,建立 Hugging Face 端點。
訓練後直接使用 Estimator 類別部署模型
如果在訓練後直接部署模型,必須確保訓練指令碼已儲存所有必要模型產物,包括 tokenizer 和模型。直接在訓練後部署的好處是,SageMaker 模型容器中繼資料會記錄來源訓練工作,保留由訓練工作至已部署模型的沿革。
from sagemaker.huggingface import HuggingFace
############ pseudo code start ############
# create HuggingFace estimator for running training
huggingface_estimator = HuggingFace(....)
# starting the train job with our uploaded datasets as input
huggingface_estimator.fit(...)
############ pseudo code end ############
# deploy model to SageMaker Inference
predictor = hf_estimator.deploy(initial_instance_count=1, instance_type="ml.m5.xlarge")
# example request, you always need to define "inputs"
data = {
"inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}
# request
predictor.predict(data)
執行請求後,我們可以再用以下方式刪除端點。
# delete endpoint
predictor.delete_endpoint()
使用 HuggingFaceModel 類別從預訓練檢查點部署模型
如果你已訓練模型,並打算稍後才部署,可使用 model_data 參數指定 tokenizer 和模型權重的位置。
from sagemaker.huggingface.model import HuggingFaceModel
# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
model_data="s3://models/my-bert-model/model.tar.gz", # path to your trained sagemaker model
role=role, # iam role with permissions to create an Endpoint
transformers_version="4.6", # transformers version used
pytorch_version="1.7", # pytorch version used
)
# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
initial_instance_count=1,
instance_type="ml.m5.xlarge"
)
# example request, you always need to define "inputs"
data = {
"inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}
# request
predictor.predict(data)
執行請求後,我們可以再用以下方式刪除端點:
# delete endpoint
predictor.delete_endpoint()
把 Hugging Face Transformers 公開模型(逾 10,000 個)部署至 Amazon SageMaker 進行推論
要直接從 Hugging Face Model Hub 把模型部署至 Amazon SageMaker,建立 HuggingFaceModel 時須設定兩個環境變數:
- HF_MODEL_ID:設定模型 ID;建立 SageMaker 端點時,系統會自動從huggingface.co/models載入模型。🤗 Hub 提供逾 10,000 個模型,均可透過此環境變數使用。
- HF_TASK:設定 🤗 Transformers pipeline 所執行的任務。你可在此處查看完整任務清單。
from sagemaker.huggingface.model import HuggingFaceModel
# Hub Model configuration. <https://huggingface.co/models>
hub = {
'HF_MODEL_ID':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
'HF_TASK':'question-answering' # NLP task you want to use for predictions
}
# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
env=hub, # configuration for loading model from Hub
role=role, # iam role with permissions to create an Endpoint
transformers_version="4.6", # transformers version used
pytorch_version="1.7", # pytorch version used
)
# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
initial_instance_count=1,
instance_type="ml.m5.xlarge"
)
# example request, you always need to define "inputs"
data = {
"inputs": {
"question": "What is used for inference?",
"context": "My Name is Philipp and I live in Nuremberg. This model is used with sagemaker for inference."
}
}
# request
predictor.predict(data)
執行請求後,我們可以再用以下方式刪除端點。
# delete endpoint
predictor.delete_endpoint()
常見問題 🎯
問:哪些模型可以部署作推論?
答:你可以部署:
- 任何在 Amazon SageMaker 或其他相容平台上訓練,且符合 SageMaker Hosting 設計要求的 🤗 Transformers 模型;
- Hugging Face Model Hub 上逾 10,000 個公開 Transformer 模型中的任何一個;或
- 在 Hugging Face 付費帳戶中託管的私人模型!
問:Inference Toolkit 支援哪些 pipelines 和任務?
答:Inference Toolkit 和 DLC 支援任何 transformers pipelines。請在此處查看完整清單。
問:在 SageMaker 託管端點時,是否必須使用 transformers pipelines?
答:不必,你亦可編寫自訂推論程式碼,以提供自己的模型和邏輯,詳情見此處。
問:使用 Hugging Face Deep Learning Containers(DLC)時,是否必須使用 SageMaker Python SDK?
答:你無須使用 SageMaker Python SDK 也可使用 Hugging Face DLC;你亦可使用其他 SDK,例如 AWS CLI、boto3 或 Cloudformation,把模型部署至 SageMaker。DLC 亦可透過 Amazon ECR 取得,下載後可在任何所選環境中使用。
問:為甚麼要使用 Hugging Face Deep Learning Containers?
答:DLC 是經過全面測試、持續維護和最佳化的深度學習環境,無須安裝、設定或維護。尤其是我們的推論 DLC 已附有預先編寫的服務堆疊,大幅降低深度學習服務部署的技術門檻。
問:Amazon SageMaker 如何保障我的數據和程式碼安全?
答:Amazon SageMaker 提供多種安全機制,包括靜態加密和傳輸中加密、虛擬私有雲(VPC)連線,以及身份與存取管理(IAM)。如需瞭解更多 AWS 雲端及 Amazon SageMaker 的安全資訊,可瀏覽Amazon SageMaker 安全性和AWS 雲端安全性。
問:我的 AWS 區域是否提供此服務?
答:如要查看支援區域清單,請參閲涵蓋所有 AWS 全球基礎設施的AWS 區域表。
問:這項方案有否提供專業支援或支援 SLA?
答:AWS 提供不同級別的技術支援,涵蓋 AWS 產品及服務在開發和正式環境中遇到的問題;詳情和範圍請參閲 AWS Support。
如有 Hugging Face 社羣可以協助解答,或其他人亦可能受惠的問題,請在 Hugging Face 論壇發帖。
如需 Hugging Face 團隊的專業支援,以加快 NLP 發展計劃,Expert Acceleration Program 會由我們的開放原始碼、科學及機器學習工程團隊提供直接指導。
來源:Hugging Face Blog · huggingface.co