跳到正文
Hugging Face Blog·· 2021-07-08精選AI 評分64

透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型

Deploy Hugging Face models easily with Amazon SageMaker

AI 導讀

Hugging Face 推出適用於 Amazon SageMaker 的 Inference DLC 和 Inference Toolkit,支援部署已訓練模型及 Model Hub 上 10,000+ 個公開模型。

推薦理由

文章分別示範訓練完成後、從 Amazon S3 檢查點及從 Model Hub 部署模型,並附上建立 SageMaker 推理端點的程式範例。

正文 · 繁體中文

hugging-face-and-aws-logo

今年較早時我們宣佈與 Amazon 展開策略合作,讓企業更容易在 Amazon SageMaker 使用 Hugging Face,並更快推出尖端機器學習功能。我們推出了全新的 Hugging Face 深度學習容器(DLC),讓用戶可在 Amazon SageMaker訓練 Hugging Face Transformer 模型。

今天我們很高興與你分享全新的推論方案,讓你前所未有地輕鬆透過 Amazon SageMaker 部署 Hugging Face Transformers!使用全新的 Hugging Face Inference DLC,只需多加一行程式碼,便可部署已訓練模型以進行推論;你亦可從Model Hub逾 10,000 個公開模型中任選,並透過 Amazon SageMaker 部署。

在 SageMaker 部署模型可提供適用於正式環境的端點,能在 AWS 環境中輕鬆擴展,並內置監察功能及大量企業級功能。這次合作令人振奮,希望你能善用這些成果!

以下説明如何使用全新的SageMaker Hugging Face Inference Toolkit部署以 Transformers 為基礎的模型:

from sagemaker.huggingface import HuggingFaceModel

# create Hugging Face Model Class and deploy it as SageMaker Endpoint
huggingface_model = HuggingFaceModel(...).deploy()

就是這樣!🚀

如要進一步瞭解如何透過 Amazon SageMaker Python SDK 存取和使用全新的 Hugging Face DLC,請查看以下指南及資源。


資源、文件及範例 📄

以下列出把模型部署至 Amazon SageMaker 所需的重要資源。

網誌/影片

範例/文件


SageMaker Hugging Face Inference Toolkit ⚙️

除了為推論最佳化的 Hugging Face Transformers Deep Learning Containers,我們亦為 Amazon SageMaker 建立了全新的Inference Toolkit。這項 Inference Toolkit 運用 pipelines(來自 transformers 程式庫),讓你無須編寫任何前處理或後處理程式碼,便可零程式碼部署模型。下方「開始使用」一節會提供兩個把模型部署至 Amazon SageMaker 的範例。

除了零程式碼部署外,Inference Toolkit 亦支援「自備程式碼」方式,讓你覆寫預設方法。如欲瞭解「自備程式碼」,可參閲此處的文件,或查看名為「把自訂推論程式碼部署至 Amazon SageMaker」的範例筆記本。

API - Inference Toolkit 説明

我們以 transformers pipelines 設計 API,讓你能輕鬆使用 pipelines 的所有功能。這個 API 的介面與🤗 Accelerated Inference API相似:輸入內容須放在 inputs 欄位;如要加入其他支援的 pipelines 參數,可放在 parameters 欄位。以下提供請求範例。

# text-classification request body
{
    "inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}
# question-answering request body
{
    "inputs": {
        "question": "What is used for inference?",
        "context": "My Name is Philipp and I live in Nuremberg. This model is used with sagemaker for inference."
    }
}
# zero-shot classification request body
{
    "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {
        "candidate_labels": [
            "refund",
            "legal",
            "faq"
        ]
    }
}

開始使用 🧭

本指南會使用全新的 Hugging Face Inference DLC 和 Amazon SageMaker Python SDK,部署兩個 Transformer 模型以供推論。

第一個範例會部署在 Amazon SageMaker 訓練的 Hugging Face Transformer 模型以供推論。

第二個範例會直接從Model Hub逾 10,000 個 Hugging Face Transformers 公開模型中,選取一個部署至 Amazon SageMaker 進行推論。

設定環境

本範例會使用 Amazon SageMaker Notebook Instance。你可在此瞭解如何設定 Notebook Instance。開始時,開啟 Jupyter Notebook 或 JupyterLab,建立一個使用 conda_pytorch_p36 kernel 的新 Notebook。

注意:使用 Jupyter 並非必要;只要安裝了 SDK、可連接雲端並具備適當權限,你也可以在任何地方呼叫 SageMaker API,例如手提電腦、其他 IDE,或 Airflow、AWS Step Functions 等工作排程器。

之後,我們可以安裝所需依賴項。

pip install "sagemaker>=2.48.0" --upgrade

要在 SageMaker 部署模型,我們需要建立 sagemaker Session,並提供具備適當權限的 IAM 角色。SageMaker SDK 提供 get_execution_role 方法作為可選的便利功能。你亦可直接指定想讓端點使用的角色 ARN。之後會把這個 IAM 角色附加至端點,例如用來從 Amazon S3 下載模型。

import sagemaker

sess = sagemaker.Session()
role = sagemaker.get_execution_role()

把已訓練的 Hugging Face Transformer 模型部署至 SageMaker 以供推論

部署在 SageMaker 訓練的 Hugging Face 模型有兩種方式:可以在訓練完成後立即部署,或稍後使用指向已儲存於 Amazon S3 模型的 model_data 部署。除了下文提到的兩個選項外,你亦可使用 boto3、AWS CLI 等較低層 SDK、Terraform 或 CloudFormation 範本,建立 Hugging Face 端點。

訓練後直接使用 Estimator 類別部署模型

如果在訓練後直接部署模型,必須確保訓練指令碼已儲存所有必要模型產物,包括 tokenizer 和模型。直接在訓練後部署的好處是,SageMaker 模型容器中繼資料會記錄來源訓練工作,保留由訓練工作至已部署模型的沿革。

from sagemaker.huggingface import HuggingFace

############ pseudo code start ############

# create HuggingFace estimator for running training
huggingface_estimator = HuggingFace(....)

# starting the train job with our uploaded datasets as input
huggingface_estimator.fit(...)

############ pseudo code end ############

# deploy model to SageMaker Inference
predictor = hf_estimator.deploy(initial_instance_count=1, instance_type="ml.m5.xlarge")

# example request, you always need to define "inputs"
data = {
   "inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}
# request
predictor.predict(data)

執行請求後,我們可以再用以下方式刪除端點。

# delete endpoint
predictor.delete_endpoint()

使用 HuggingFaceModel 類別從預訓練檢查點部署模型

如果你已訓練模型,並打算稍後才部署,可使用 model_data 參數指定 tokenizer 和模型權重的位置。

from sagemaker.huggingface.model import HuggingFaceModel

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
   model_data="s3://models/my-bert-model/model.tar.gz",  # path to your trained sagemaker model
   role=role, # iam role with permissions to create an Endpoint
   transformers_version="4.6", # transformers version used
   pytorch_version="1.7", # pytorch version used
)
# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
   initial_instance_count=1, 
   instance_type="ml.m5.xlarge"
)

# example request, you always need to define "inputs"
data = {
   "inputs": "Camera - You are awarded a SiPix Digital Camera! call 09061221066 fromm landline. Delivery within 28 days."
}

# request
predictor.predict(data)

執行請求後,我們可以再用以下方式刪除端點:

# delete endpoint
predictor.delete_endpoint()

把 Hugging Face Transformers 公開模型(逾 10,000 個)部署至 Amazon SageMaker 進行推論

要直接從 Hugging Face Model Hub 把模型部署至 Amazon SageMaker,建立 HuggingFaceModel 時須設定兩個環境變數:

  • HF_MODEL_ID:設定模型 ID;建立 SageMaker 端點時,系統會自動從huggingface.co/models載入模型。🤗 Hub 提供逾 10,000 個模型,均可透過此環境變數使用。
  • HF_TASK:設定 🤗 Transformers pipeline 所執行的任務。你可在此處查看完整任務清單。
from sagemaker.huggingface.model import HuggingFaceModel

# Hub Model configuration. <https://huggingface.co/models>
hub = {
  'HF_MODEL_ID':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
  'HF_TASK':'question-answering' # NLP task you want to use for predictions
}

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
   env=hub, # configuration for loading model from Hub
   role=role, # iam role with permissions to create an Endpoint
   transformers_version="4.6", # transformers version used
   pytorch_version="1.7", # pytorch version used
)

# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
   initial_instance_count=1,
   instance_type="ml.m5.xlarge"
)

# example request, you always need to define "inputs"
data = {
"inputs": {
    "question": "What is used for inference?",
    "context": "My Name is Philipp and I live in Nuremberg. This model is used with sagemaker for inference."
    }
}

# request
predictor.predict(data)

執行請求後,我們可以再用以下方式刪除端點。

# delete endpoint
predictor.delete_endpoint()

常見問題 🎯

完整的常見問題可在文件中查閲。

問:哪些模型可以部署作推論?

答:你可以部署:

  • 任何在 Amazon SageMaker 或其他相容平台上訓練,且符合 SageMaker Hosting 設計要求的 🤗 Transformers 模型;
  • Hugging Face Model Hub 上逾 10,000 個公開 Transformer 模型中的任何一個;或
  • 在 Hugging Face 付費帳戶中託管的私人模型!

問:Inference Toolkit 支援哪些 pipelines 和任務?

答:Inference Toolkit 和 DLC 支援任何 transformers pipelines。請在此處查看完整清單。

問:在 SageMaker 託管端點時,是否必須使用 transformers pipelines?

答:不必,你亦可編寫自訂推論程式碼,以提供自己的模型和邏輯,詳情見此處。

問:使用 Hugging Face Deep Learning Containers(DLC)時,是否必須使用 SageMaker Python SDK?

答:你無須使用 SageMaker Python SDK 也可使用 Hugging Face DLC;你亦可使用其他 SDK,例如 AWS CLI、boto3 或 Cloudformation,把模型部署至 SageMaker。DLC 亦可透過 Amazon ECR 取得,下載後可在任何所選環境中使用。

問:為甚麼要使用 Hugging Face Deep Learning Containers?

答:DLC 是經過全面測試、持續維護和最佳化的深度學習環境,無須安裝、設定或維護。尤其是我們的推論 DLC 已附有預先編寫的服務堆疊,大幅降低深度學習服務部署的技術門檻。

問:Amazon SageMaker 如何保障我的數據和程式碼安全?

答:Amazon SageMaker 提供多種安全機制,包括靜態加密和傳輸中加密、虛擬私有雲(VPC)連線,以及身份與存取管理(IAM)。如需瞭解更多 AWS 雲端及 Amazon SageMaker 的安全資訊,可瀏覽Amazon SageMaker 安全性和AWS 雲端安全性。

問:我的 AWS 區域是否提供此服務?

答:如要查看支援區域清單,請參閲涵蓋所有 AWS 全球基礎設施的AWS 區域表。

問:這項方案有否提供專業支援或支援 SLA?

答:AWS 提供不同級別的技術支援,涵蓋 AWS 產品及服務在開發和正式環境中遇到的問題;詳情和範圍請參閲 AWS Support。

如有 Hugging Face 社羣可以協助解答,或其他人亦可能受惠的問題,請在 Hugging Face 論壇發帖。


如需 Hugging Face 團隊的專業支援,以加快 NLP 發展計劃,Expert Acceleration Program 會由我們的開放原始碼、科學及機器學習工程團隊提供直接指導。

來源:Hugging Face Blog · huggingface.co