跳到正文
Hugging Face Blog·· 2024-10-22精選AI 評分60

如何在 Hugging Face Inference Endpoints 部署 Speech-to-Speech

Deploying Speech-to-Speech on Hugging Face

AI 導讀

Hugging Face 示範以自訂 Docker 映像,將 Speech-to-Speech(S2S)流程部署至 Hugging Face Inference Endpoints。

推薦理由

文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟,提供部署複雜推理管線時可參照的實作路徑。

正文 · 繁體中文

引言

語音轉語音(S2S)是 Hugging Face 的全新項目,結合多個先進模型,帶來流暢、近乎神奇的體驗:你説話,系統就會以合成語音回應。

此項目會使用 Hugging Face Hub 上 Transformers 程式庫提供的模型,建構串接式 pipeline,當中包括以下元件:

  1. 語音活動偵測(VAD)
  2. 語音轉文字(STT)
  3. 語言模型(LM)
  4. 文字轉語音(TTS)

此外,S2S 亦支援多種語言!目前支援英文、法文、西班牙文、中文、日文和韓文。你可以使用單一語言模式,也可使用 auto 旗標自動偵測語言。詳情請查看儲存庫。

> 👩🏽‍💻: That's all amazing, but how do I run S2S?
> 🤗: Great question!

執行語音轉語音需要大量運算資源。即使使用高階手提電腦,也可能遇到延遲問題,尤其是使用最先進模型時。效能強勁的 GPU 可以紓緩這些問題,但並非人人都能或都想自行配置硬件。

這時 Hugging Face 的 Inference Endpoints(IE)便能派上用場。Inference Endpoints 讓你租用配備 GPU(或其他所需硬件)的虛擬機,只需按系統實際運行時間付費,是部署語音轉語音等高效能應用程式的理想方案。

本文會逐步指引你把語音轉語音部署至 Hugging Face Inference Endpoint,內容包括:

  • 瞭解 Inference Endpoints,並簡介多種設定方式,包括 S2S 所需的自訂容器映像檔
  • 為 S2S 建構自訂 Docker 映像檔
  • 把自訂映像檔部署至 IE,並試玩 S2S!

Inference Endpoints

Inference Endpoints 提供可擴展而有效率的機器學習模型部署方式。這些端點只需極少設定,便可使用多種高效能硬件提供模型服務。Inference Endpoints 適合部署需要高效能和可靠性的應用程式,而無須自行管理底層基礎設施。

以下是幾項主要功能;更多詳情請參閲文件:

  • 簡單易用 — IE 直接支援 Hugging Face Hub 上的模型,你只需數分鐘便可開始使用。
  • 可擴展性 — 你無須擔心規模問題,IE 會自動擴展,甚至可縮至零,以應付不同負載並節省成本。
  • 自訂設定:你可以自訂 IE 設定,以執行新任務。詳情見下文。

Inference Endpoints 支援所有 Transformers 和 Sentence-Transformers 任務,亦支援自訂任務。IE 提供以下設定選項:

  1. 預建模型:直接從 Hugging Face Hub 快速部署模型。
  2. 自訂處理器:為較複雜的 pipeline 定義自訂推論邏輯。
  3. 自訂 Docker 映像檔:使用自己的 Docker 映像檔,封裝所有依賴項和自訂程式碼。

對於較簡單的模型,選項 1 和 2 已相當理想,透過 Inference Endpoints 部署亦十分簡單。不過,S2S 這類複雜 pipeline 需要選項 3 的靈活度:使用自訂 Docker 映像檔部署 IE。

這種方法不但更靈活,亦能透過最佳化建置流程和收集所需數據提升效能。如果你要處理複雜模型 pipeline,或希望最佳化應用程式部署,本指南會提供實用資訊。

在 Inference Endpoints 部署語音轉語音

開始吧!

建構自訂 Docker 映像檔

要開始建立自訂 Docker 映像檔,我們先複製 Hugging Face 的預設 Docker 映像檔儲存庫。它是部署機器學習推論模型的良好起點。

git clone https://github.com/huggingface/huggingface-inference-toolkit

為甚麼要複製預設儲存庫?

  • 穩固基礎:儲存庫提供預先最佳化的基礎映像檔,專為推論工作負載設計,可作為可靠起點。
  • 相容性:映像檔按 Hugging Face 部署環境設計,確保部署自訂映像檔時能順利整合。
  • 易於自訂:儲存庫提供簡潔而有條理的環境,方便按應用程式的特定需求自訂映像檔。

你可以在此查看所有修改。

為語音轉語音應用程式自訂 Docker 映像檔

複製儲存庫後,下一步是調整映像檔,讓它支援語音轉語音 pipeline。

  1. 加入語音轉語音項目

為順利整合項目,我們把語音轉語音程式碼庫和所需數據集加入為子模組。此方法有助改善版本控制,確保每次建置 Docker 映像檔時,程式碼和數據都使用完全相同的版本。

把數據直接放進 Docker 容器,就無須在每次建立端點時重新下載,從而大幅縮短啟動時間,並確保系統可重現。數據存放在 Hugging Face 儲存庫,方便追蹤和管理版本。

git submodule add https://github.com/huggingface/speech-to-speech.git
git submodule add https://huggingface.co/andito/fast-unidic
  1. 最佳化 Docker 映像檔

接着,我們修改 Dockerfile 以符合需要:

  • 精簡映像檔:移除了與用途無關的套件和依賴項,縮小映像檔並減少推論時不必要的額外開銷。
  • 安裝依賴項:我們把 requirements.txt 的安裝步驟由 entry point 移至 Dockerfile。這樣依賴項會在建置 Docker 映像檔時安裝,部署速度更快,因為執行時無須再安裝套件。
  1. 部署自訂映像檔

完成修改後,我們建置自訂映像檔並推送至 Docker Hub:

DOCKER_DEFAULT_PLATFORM="linux/amd64" docker build -t speech-to-speech -f dockerfiles/pytorch/Dockerfile . 
docker tag speech-to-speech andito/speech-to-speech:latest 
docker push andito/speech-to-speech:latest

建置並推送 Docker 映像檔後,便可在 Hugging Face Inference Endpoint 使用。由於所有依賴項和數據都已預先封裝在映像檔內,端點可更快啟動,運作效率亦更高。

設定 Inference Endpoint

使用自訂 Docker 映像檔只需要稍微不同的設定,歡迎參閲文件。以下會分別示範如何透過圖形介面及 API 操作。

預備步驟

  1. 登入:https://huggingface.co/login
  2. 申請存取 meta-llama/Meta-Llama-3.1-8B-Instruct
  3. 建立 Fine-Grained Token: https://huggingface.co/settings/tokens/new?tokenType=fineGrained Fine-Grained Token
    • 選取可存取受限制儲存庫的權限
    • 如使用 API,請確保選取「管理 Inference Endpoints」權限。

Inference Endpoints 圖形介面

  1. 前往 https://ui.endpoints.huggingface.co/new
  2. 填寫相關資料
    • 模型儲存庫 — andito/s2s
    • 模型名稱 — 如不喜歡系統生成的名稱,可自行更改
      • 例如:speech-to-speech-demo
      • 名稱請用小寫,並保持簡短
    • 選擇偏好的雲端及硬件 — 我們使用 AWS GPU L4
      • 每小時只需 $0.80,而且效能足以執行這些模型
    • 進階設定(按一下展開箭頭 ➤)
      • 容器類型 — Custom
      • 容器連接埠 — 80
      • 容器 URL — andito/speech-to-speech:latest
      • Secrets — HF_TOKEN|<your token here>

按一下以查看圖片

New Inference Endpoint

Advanced Configuration

3. 按一下 `Create Endpoint`

模型儲存庫其實並不重要,因為模型會在建立容器時指定和下載;不過 Inference Endpoints 要求必須選擇模型,因此你可自行挑選體積較小的模型。

你必須指定 HF_TOKEN,因為我們需要在建立容器的階段下載受限制模型。如果使用的模型不受限制或屬於私人模型,則無須設定此項。

目前的 huggingface-inference-toolkit entrypoint 預設使用連接埠 5000,但 Inference Endpoint 預期使用連接埠 80。請在容器連接埠欄位指定相同設定。我們已在 Dockerfile 中設定;但如果你從頭自建映像檔,請特別留意!

Inference Endpoints API

以下會示範如何透過 API 建立端點。只需在你選用的 Python 環境中執行這段程式碼。

請使用 0.25.1 或更新版本

pip install huggingface_hub>=0.25.1

使用可建立端點的token(Write 或 Fine-Grained 權限)

from huggingface_hub import login
login()
from huggingface_hub import create_inference_endpoint, get_token
endpoint = create_inference_endpoint(
    # Model Configuration
    "speech-to-speech-demo",
    repository="andito/s2s",
    framework="custom",
    task="custom",
    # Security
    type="protected",
    # Hardware
    vendor="aws",
    accelerator="gpu",
    region="us-east-1",
    instance_size="x1",
    instance_type="nvidia-l4",
    # Image Configuration
    custom_image={
        "health_route": "/health",
        "url": "andito/speech-to-speech:latest", # Pulls from DockerHub
        "port": 80
    },
    secrets={'HF_TOKEN': get_token()}
)

# Optional
endpoint.wait()

概覽

Overview

主要元件

  • 語音轉語音
    • 這是一個 Hugging Face 程式庫。我們把一些 Inference Endpoint 專用檔案放在 inference-endpoint 分支,稍後會合併至 main。
  • andito/s2s 或其他儲存庫。由於我們在建立容器的階段已放入模型,因此不需要在此指定;但 Inference Endpoint 要求提供模型,所以我們會傳入一個體積較小的儲存庫。
  • andimarafioti/speech-to-speech-toolkit.

建置網絡伺服器

要使用端點,我們需要建置一個小型網絡服務。客戶端使用的程式碼是 s2s_handler.py,位於speech_to_speech 程式庫中;建置 Docker 映像檔所用的 webservice_starlette.py 則位於speech_to_speech_inference_toolkit。一般來説,端點只需自訂處理器;但為了達到極低延遲,我們亦建置網絡服務,支援 WebSocket 連線,而非一般請求。起初聽起來或許複雜,但網絡服務只有 32 行程式碼!

Webservice code

啟動時,這段程式碼會執行 prepare_handler,初始化所有模型並進行預熱。之後,每則訊息都會由 inference_handler.process_streaming_data 處理。

Process streaming code

這個方法會從客戶端接收音訊數據,切成適用於 VAD 的小片段,再送入佇列處理。接着,它會檢查輸出處理佇列(亦即模型的語音回應!),如有內容便會傳回。所有內部處理都由 Hugging Face 的 speech_to_speech 程式庫負責。

自訂處理器及客戶端

網絡服務會接收和傳迴音訊,但還有一個重要部分:如何錄製和播放音訊?為此,我們建立了客戶端連接服務。最容易的理解方式,是把分析分成連接網絡服務,以及錄製/播放音訊兩部分。

Audio client code

初始化網絡服務客戶端時,需要為所有訊息設定 Hugging Face Token 標頭。初始化客戶端時,我們會為常見訊息(open、close、error、message)指定處理方式;這些設定會決定伺服器傳送訊息時客戶端如何回應。

Audio client messages code

訊息的處理方式相當直接,只有 on_message 方法較複雜。它會判斷伺服器是否已完成回應,並開始「聆聽」用戶下一段音訊;否則便會把伺服器數據放入播放佇列。

Client's audio record and playback

客戶端的音訊部分有 4 項工作:

  1. 錄製音訊
  2. 提交音訊錄音
  3. 接收伺服器傳回的音訊回應
  4. 播放音訊回應

音訊會由 audio_input_callback 方法錄製,該方法會把所有片段送入佇列。之後,send_audio 方法會把音訊傳送至伺服器。即使沒有音訊可傳送,我們仍會提交空陣列,以接收伺服器回應。伺服器回應由上文介紹的 on_message 方法處理,而音訊回應則由 audio_output_callback 方法播放。此處只需確保音訊處於預期範圍內(避免套件錯誤而損害用戶聽力!),並確保輸出陣列大小符合播放程式庫要求。

總結

本文逐步介紹如何使用自訂 Docker 映像檔,把語音轉語音(S2S)pipeline 部署至 Hugging Face Inference Endpoints。我們建置了自訂容器來處理 S2S pipeline 的複雜部分,並示範如何設定,以便擴展及有效部署。Hugging Face Inference Endpoints 讓你更容易部署語音轉語音等高效能應用程式,無須費心管理硬件或基礎設施。

如想試用或有任何疑問,歡迎瀏覽以下資源:

遇到問題或有疑問?請到相關 GitHub 儲存庫開啟討論,我們很樂意提供協助!

來源:Hugging Face Blog · huggingface.co