跳到正文
Hugging Face Blog·· 2024-12-09精選AI 評分61

Hugging Face 83 款開源模型現可在 Amazon Bedrock Marketplace 部署

Hugging Face models in Amazon Bedrock

AI 導讀

Hugging Face 的 83 款開源模型現可透過 Amazon Bedrock Marketplace 部署,模型端點由 Amazon SageMaker JumpStart 管理,並支援 Amazon Bedrock API。

推薦理由

材料交代 Hugging Face 的 83 款開源模型如何在 Bedrock Marketplace 部署,以及 SageMaker JumpStart 管理端點、Bedrock API 負責調用的服務銜接方式。

正文 · 繁體中文

logos

我們很高興宣佈,Hugging Face 的熱門開放模型現已在 Amazon Bedrock 新推出的 Bedrock Marketplace 上架!AWS 客戶現在可透過 Bedrock Marketplace 部署 83 個開放模型,用來構建生成式 AI 應用程式。

在底層,Bedrock Marketplace 模型端點由 Amazon SageMaker JumpStart 管理。透過 Bedrock Marketplace,你可同時享用 SageMaker JumpStart 的易用性,以及 Amazon Bedrock 全面代管的基礎設施,並相容於 Agents、Knowledge Bases、Guardrails 和 Model Evaluations 等高階 API。

在 Amazon Bedrock 登記 SageMaker JumpStart 端點時,你只需支付 SageMaker 運算資源費用;Amazon Bedrock API 則按一般價格收費。

這篇網誌會示範如何部署 Gemma 2 27B Instruct,並透過 Amazon Bedrock API 使用該模型。你將學會:

  1. 部署 Google Gemma 2 27B Instruct
  2. 使用 Amazon Bedrock API 發送請求
  3. 清理資源

部署 Google Gemma 2 27B Instruct

有兩種方式可部署開放模型,供 Amazon Bedrock 使用:

  1. 你可以從 Bedrock Model Catalog 部署開放模型。
  2. 你可以透過 Amazon JumpStart 部署開放模型,再到 Bedrock 登記。

兩種方式相近,因此我們會以 Bedrock Model Catalog 示範整個流程。

開始前,請在 Amazon Bedrock 主控台確認你位於 Bedrock Marketplace 可用的 14 個區域之一。然後在導覽窗格的「Foundation models」部分選擇「Model catalog」。你可以在這裏搜尋無伺服器模型,以及 Amazon Bedrock Marketplace 上架的模型。篩選供應商時選擇「Hugging Face」,即可瀏覽 83 個可用的開放模型。

例如,搜尋並選擇 Google Gemma 2 27B Instruct。

model-catalog.png

選擇模型後會開啟模型詳情頁面,你可以查看模型供應商提供的更多資料,例如模型重點和使用方法,包括 API 呼叫示例。

請點擊右上角的「Deploy」。

model-card.png

接着會進入部署頁面,你可以設定端點名稱、執行個體配置,以及與 SageMaker 部署所用網絡配置和服務角色相關的進階設定。這裏使用預設進階設定和建議的執行個體類型即可。

你亦須接受模型供應商的終端用戶授權協議。

請點擊右下角的「Deploy」。

model-deploy.png

我們剛剛已開始部署 Google Gemma 2 27B Instruct 模型。它會在 ml.g5.48xlarge 執行個體上運行,託管於你的 Amazon SageMaker 租戶中,並相容於 Amazon Bedrock API!

端點部署可能需要數分鐘。部署完成後會顯示在「Marketplace deployments」頁面,可於導覽窗格的「Foundation models」部分找到。

透過 Amazon Bedrock API 使用模型

你可以在 Playground 介面快速測試模型。 不過,若要透過任何 Amazon Bedrock API 以程式方式呼叫已部署的模型,就需要取得端點 ARN。

在受管理部署清單中選擇你的模型部署,即可複製其端點 ARN。

model-arn.png

你可以使用偏好的程式語言搭配 AWS SDK,或使用 AWS CLI 查詢端點。

以下示範如何透過 AWS SDK for Python(boto3)使用 Bedrock Converse API:

import boto3

bedrock_runtime = boto3.client("bedrock-runtime")

# Add your bedrock endpoint arn here.
endpoint_arn = "arn:aws:sagemaker:<AWS::REGION>:<AWS::AccountId>:endpoint/<Endpoint_Name>"

# Base inference parameters to use.
inference_config = {
    "maxTokens": 256,
    "temperature": 0.1,
    "topP": 0.999,
}

# Additional inference parameters to use.
additional_model_fields = {"parameters": {"repetition_penalty": 0.9, "top_k": 250, "do_sample": True}}
response = bedrock_runtime.converse(
    modelId=endpoint_arn,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "text": "What is Amazon doing in the field of generative AI?",
                },
            ]
        },
        ],
    inferenceConfig=inference_config,
    additionalModelRequestFields=additional_model_fields,
)
print(response["output"]["message"]["content"][0]["text"])
"Amazon is making significant strides in the field of generative AI, applying it across various products and services. Here's a breakdown of their key initiatives:\n\n**1. Amazon Bedrock:**\n\n* This is their **fully managed service** that allows developers to build and scale generative AI applications using models from Amazon and other leading AI companies. \n* It offers access to foundational models like **Amazon Titan**, a family of large language models (LLMs) for text generation, and models from Cohere"

就是這樣!如想深入瞭解,請參閲Bedrock 文件。

清理資源

實驗結束後,記得刪除端點,以免繼續產生費用!在查看端點 ARN 的頁面右上角,點擊「Delete」即可刪除端點。

來源:Hugging Face Blog · huggingface.co