跳到正文
Hugging Face Blog·· 2022-10-14精選AI 評分67

Hugging Face Inference Endpoints 入門:從 Hub 部署模型並設定存取方式

Getting Started with Hugging Face Inference Endpoints

AI 導讀

Hugging Face 推出 Inference Endpoints,讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。

推薦理由

文章逐步展示從 Hugging Face Hub 將模型部署至 AWS,並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。

正文 · 繁體中文

訓練機器學習模型已變得相當簡單,尤其是預訓練模型和遷移學習日漸普及。不錯,有時也沒那麼簡單;但至少,訓練模型不會破壞關鍵應用程式,令客戶不滿服務質素。至於部署模型……沒錯,大家都經歷過這種麻煩。

要在正式環境部署模型,通常得經過一連串繁複步驟:把模型打包成容器、配置基礎設施、建立預測 API、做好保安、擴展規模、監察服務等等。説到底,建構這些基礎配套會佔用寶貴時間,令你無法專注真正的機器學習工作。更糟的是,部署也可能嚴重出錯。

我們推出全新的 Hugging Face Inference Endpoints,致力解決這個問題。本着讓機器學習更簡單、同時不犧牲最先進品質的理念,我們建立了一項服務,只需點擊幾下,就能把模型直接從 Hugging Face Hub部署到你選用雲端的託管基礎設施。簡單、安全、可擴展,一次兼得。

讓我示範一下它的運作方式!

在 Inference Endpoints 部署模型

查看 Inference Endpoints 支援的任務清單後,我決定部署一個 Swin 圖像分類模型。我最近使用 AutoTrain在 food101資料集上微調了這個模型。如果想知道我是如何建構模型,這段影片會展示整個過程。

在我的模型頁面點擊 Deploy,再選擇 Inference Endpoints。

接着會直接開啟建立端點頁面。

我決定在 AWS 的 eu-west-1區域,以單一 GPU 執行個體託管模型的最新修訂版本。我亦可按需要設定自動擴展,甚至把模型部署到自訂容器。

接下來要決定誰可以存取端點。由安全性最低至最高,共有三個選項:

  • 公開:端點在 Hugging Face 公用子網中運行,任何人都可在互聯網上無須驗證直接存取。選擇前請三思!
  • 受保護:端點在 Hugging Face 公用子網中運行,互聯網上的用戶只要持有適用的機構 token,便可存取。
  • 私人:端點在 Hugging Face 私人子網中運行,互聯網無法存取。只有透過 AWS PrivateLink建立的 VPC 端點,才能在你的 AWS 帳戶內連線。你可以控制 AWS 帳戶中哪些 VPC 和子網有權存取端點。

我們先部署受保護端點,再部署私人端點。

部署受保護的 Inference Endpoint

我只需選擇 Protected,再點擊 Create Endpoint。

幾分鐘後,端點便會啟動並顯示網址。

我可以立即在推論小工具上載一張圖片進行測試。

當然,我亦可用幾行 Python 程式碼直接呼叫端點,並使用 Hugging Face API token 驗證(你可在 Hub 的帳戶設定中找到自己的 token)。

import requests, json

API_URL = "https://oncm9ojdmjwesag2.eu-west-1.aws.endpoints.huggingface.cloud"

headers = {
  "Authorization": "Bearer MY_API_TOKEN",
  "Content-Type": "image/jpg"
}

def query(filename):
    with open(filename, "rb") as f:
        data = f.read()
    response = requests.request("POST", API_URL, headers=headers, data=data)
    return json.loads(response.content.decode("utf-8"))

output = query("food.jpg")

如你所料,預測結果完全相同。

[{'score': 0.9998438358306885,    'label': 'hummus'},
 {'score': 6.674625183222815e-05, 'label': 'falafel'}, 
 {'score': 6.490697160188574e-06, 'label': 'escargots'}, 
 {'score': 5.776922080258373e-06, 'label': 'deviled_eggs'}, 
 {'score': 5.492902801051969e-06, 'label': 'shrimp_and_grits'}]

切換至 Analytics分頁後,我可以查看端點指標。有些請求失敗了,因為我刻意省略了 Content-Type標頭。

如要查看更多細節,可在 Logs分頁檢查完整記錄。

5c7fbb4485cd8w7 2022-10-10T08:19:04.915Z 2022-10-10 08:19:04,915 | INFO | POST / | Duration: 142.76 ms
5c7fbb4485cd8w7 2022-10-10T08:19:05.860Z 2022-10-10 08:19:05,860 | INFO | POST / | Duration: 148.06 ms
5c7fbb4485cd8w7 2022-10-10T09:21:39.251Z 2022-10-10 09:21:39,250 | ERROR | Content type "None" not supported. Supported content types are: application/json, text/csv, text/plain, image/png, image/jpeg, image/jpg, image/tiff, image/bmp, image/gif, image/webp, image/x-image, audio/x-flac, audio/flac, audio/mpeg, audio/wave, audio/wav, audio/x-wav, audio/ogg, audio/x-audio, audio/webm, audio/webm;codecs=opus
5c7fbb4485cd8w7 2022-10-10T09:21:44.114Z 2022-10-10 09:21:44,114 | ERROR | Content type "None" not supported. Supported content types are: application/json, text/csv, text/plain, image/png, image/jpeg, image/jpg, image/tiff, image/bmp, image/gif, image/webp, image/x-image, audio/x-flac, audio/flac, audio/mpeg, audio/wave, audio/wav, audio/x-wav, audio/ogg, audio/x-audio, audio/webm, audio/webm;codecs=opus

現在提升安全級別,部署私人端點。

部署私人 Inference Endpoint

重複以上步驟,這次選擇 Private。

畫面會顯示新方框,要求輸入可存取端點的 AWS 帳戶識別碼。我輸入相應 ID,然後點擊 Create Endpoint。

不確定 AWS 帳戶 ID?以下是一行 AWS CLI 指令:aws sts get-caller-identity --query Account --output text

幾分鐘後,Inference Endpoints 介面會顯示 VPC 服務名稱。我的是 com.amazonaws.vpce.eu-west-1.vpce-svc-07a49a19a427abad7。

接着,我開啟 AWS 主控台並前往VPC Endpoints頁面。然後點擊 Create endpoint建立 VPC 端點,讓我的 AWS 帳戶可透過 AWS PrivateLink 存取 Inference Endpoint。

簡而言之,我要填上上方顯示的 VPC 服務名稱,選取獲準存取端點的 VPC 和子網,並附加適用的安全羣組。無須擔心,只要按照 Inference Endpoints 文件列出的步驟操作即可。

建立 VPC 端點後,我的設定如下。

返回 Inference Endpoints 介面,再過一兩分鐘,私人端點便會啟動。來測試一下!

在獲準存取 VPC 端點的其中一個子網中啟動 Amazon EC2 執行個體後,我使用推論端點網址預測測試圖片。

curl https://oncm9ojdmjwesag2.eu-west-1.aws.endpoints.huggingface.cloud \
-X POST --data-binary '@food.jpg' \
-H "Authorization: Bearer MY_API_TOKEN" \
-H "Content-Type: image/jpeg"

[{"score":0.9998466968536377,     "label":"hummus"},
 {"score":0.00006414744711946696, "label":"falafel"},
 {"score":6.4065129663504194e-6,  "label":"escargots"},
 {"score":5.819705165777123e-6,   "label":"deviled_eggs"},
 {"score":5.532585873879725e-6,   "label":"shrimp_and_grits"}]

整個流程就是這樣。測試完成後,我會刪除建立的端點,以免產生不必要費用;也會在 AWS 主控台刪除 VPC 端點。

Hugging Face 客戶已在使用 Inference Endpoints。例如,Phamily是排名 #1 的內部慢性病管理及主動護理平台;他們告訴我們,Inference Endpoints 協助他們簡化並加快符合 HIPAA 規定的 Transformer 部署。

現在輪到你了!

有了 Inference Endpoints,只需幾分鐘和幾下點擊,就能部署符合正式環境要求、可擴展且安全的端點。何不試用一下?

我們有不少構想,想進一步改善這項服務,也期待你到 Hugging Face 論壇分享意見。

感謝閲讀,祝你使用 Inference Endpoints 愉快!

來源:Hugging Face Blog · huggingface.co