如何在 Hugging Face Inference Endpoints 部署 Speech-to-Speech
Deploying Speech-to-Speech on Hugging Face
Hugging Face 示範以自訂 Docker 映像,將 Speech-to-Speech(S2S)流程部署至 Hugging Face Inference Endpoints。
文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟,提供部署複雜推理管線時可參照的實作路徑。
引言
語音轉語音(S2S)是 Hugging Face 的全新項目,結合多個先進模型,帶來流暢、近乎神奇的體驗:你説話,系統就會以合成語音回應。
此項目會使用 Hugging Face Hub 上 Transformers 程式庫提供的模型,建構串接式 pipeline,當中包括以下元件:
- 語音活動偵測(VAD)
- 語音轉文字(STT)
- 語言模型(LM)
- 文字轉語音(TTS)
此外,S2S 亦支援多種語言!目前支援英文、法文、西班牙文、中文、日文和韓文。你可以使用單一語言模式,也可使用 auto 旗標自動偵測語言。詳情請查看儲存庫。
> 👩🏽💻: That's all amazing, but how do I run S2S?
> 🤗: Great question!
執行語音轉語音需要大量運算資源。即使使用高階手提電腦,也可能遇到延遲問題,尤其是使用最先進模型時。效能強勁的 GPU 可以紓緩這些問題,但並非人人都能或都想自行配置硬件。
這時 Hugging Face 的 Inference Endpoints(IE)便能派上用場。Inference Endpoints 讓你租用配備 GPU(或其他所需硬件)的虛擬機,只需按系統實際運行時間付費,是部署語音轉語音等高效能應用程式的理想方案。
本文會逐步指引你把語音轉語音部署至 Hugging Face Inference Endpoint,內容包括:
- 瞭解 Inference Endpoints,並簡介多種設定方式,包括 S2S 所需的自訂容器映像檔
- 為 S2S 建構自訂 Docker 映像檔
- 把自訂映像檔部署至 IE,並試玩 S2S!
Inference Endpoints
Inference Endpoints 提供可擴展而有效率的機器學習模型部署方式。這些端點只需極少設定,便可使用多種高效能硬件提供模型服務。Inference Endpoints 適合部署需要高效能和可靠性的應用程式,而無須自行管理底層基礎設施。
以下是幾項主要功能;更多詳情請參閲文件:
- 簡單易用 — IE 直接支援 Hugging Face Hub 上的模型,你只需數分鐘便可開始使用。
- 可擴展性 — 你無須擔心規模問題,IE 會自動擴展,甚至可縮至零,以應付不同負載並節省成本。
- 自訂設定:你可以自訂 IE 設定,以執行新任務。詳情見下文。
Inference Endpoints 支援所有 Transformers 和 Sentence-Transformers 任務,亦支援自訂任務。IE 提供以下設定選項:
- 預建模型:直接從 Hugging Face Hub 快速部署模型。
- 自訂處理器:為較複雜的 pipeline 定義自訂推論邏輯。
- 自訂 Docker 映像檔:使用自己的 Docker 映像檔,封裝所有依賴項和自訂程式碼。
對於較簡單的模型,選項 1 和 2 已相當理想,透過 Inference Endpoints 部署亦十分簡單。不過,S2S 這類複雜 pipeline 需要選項 3 的靈活度:使用自訂 Docker 映像檔部署 IE。
這種方法不但更靈活,亦能透過最佳化建置流程和收集所需數據提升效能。如果你要處理複雜模型 pipeline,或希望最佳化應用程式部署,本指南會提供實用資訊。
在 Inference Endpoints 部署語音轉語音
開始吧!
建構自訂 Docker 映像檔
要開始建立自訂 Docker 映像檔,我們先複製 Hugging Face 的預設 Docker 映像檔儲存庫。它是部署機器學習推論模型的良好起點。
git clone https://github.com/huggingface/huggingface-inference-toolkit
為甚麼要複製預設儲存庫?
- 穩固基礎:儲存庫提供預先最佳化的基礎映像檔,專為推論工作負載設計,可作為可靠起點。
- 相容性:映像檔按 Hugging Face 部署環境設計,確保部署自訂映像檔時能順利整合。
- 易於自訂:儲存庫提供簡潔而有條理的環境,方便按應用程式的特定需求自訂映像檔。
你可以在此查看所有修改。
為語音轉語音應用程式自訂 Docker 映像檔
複製儲存庫後,下一步是調整映像檔,讓它支援語音轉語音 pipeline。
- 加入語音轉語音項目
為順利整合項目,我們把語音轉語音程式碼庫和所需數據集加入為子模組。此方法有助改善版本控制,確保每次建置 Docker 映像檔時,程式碼和數據都使用完全相同的版本。
把數據直接放進 Docker 容器,就無須在每次建立端點時重新下載,從而大幅縮短啟動時間,並確保系統可重現。數據存放在 Hugging Face 儲存庫,方便追蹤和管理版本。
git submodule add https://github.com/huggingface/speech-to-speech.git
git submodule add https://huggingface.co/andito/fast-unidic
- 最佳化 Docker 映像檔
接着,我們修改 Dockerfile 以符合需要:
- 精簡映像檔:移除了與用途無關的套件和依賴項,縮小映像檔並減少推論時不必要的額外開銷。
- 安裝依賴項:我們把
requirements.txt的安裝步驟由 entry point 移至 Dockerfile。這樣依賴項會在建置 Docker 映像檔時安裝,部署速度更快,因為執行時無須再安裝套件。
- 部署自訂映像檔
完成修改後,我們建置自訂映像檔並推送至 Docker Hub:
DOCKER_DEFAULT_PLATFORM="linux/amd64" docker build -t speech-to-speech -f dockerfiles/pytorch/Dockerfile .
docker tag speech-to-speech andito/speech-to-speech:latest
docker push andito/speech-to-speech:latest
建置並推送 Docker 映像檔後,便可在 Hugging Face Inference Endpoint 使用。由於所有依賴項和數據都已預先封裝在映像檔內,端點可更快啟動,運作效率亦更高。
設定 Inference Endpoint
使用自訂 Docker 映像檔只需要稍微不同的設定,歡迎參閲文件。以下會分別示範如何透過圖形介面及 API 操作。
預備步驟
- 登入:https://huggingface.co/login
- 申請存取 meta-llama/Meta-Llama-3.1-8B-Instruct
- 建立 Fine-Grained Token: https://huggingface.co/settings/tokens/new?tokenType=fineGrained

- 選取可存取受限制儲存庫的權限
- 如使用 API,請確保選取「管理 Inference Endpoints」權限。
Inference Endpoints 圖形介面
- 前往 https://ui.endpoints.huggingface.co/new
- 填寫相關資料
- 模型儲存庫 —
andito/s2s - 模型名稱 — 如不喜歡系統生成的名稱,可自行更改
- 例如:
speech-to-speech-demo - 名稱請用小寫,並保持簡短
- 例如:
- 選擇偏好的雲端及硬件 — 我們使用
AWSGPUL4- 每小時只需
$0.80,而且效能足以執行這些模型
- 每小時只需
- 進階設定(按一下展開箭頭 ➤)
- 容器類型 —
Custom - 容器連接埠 —
80 - 容器 URL —
andito/speech-to-speech:latest - Secrets —
HF_TOKEN|<your token here>
- 容器類型 —
- 模型儲存庫 —
按一下以查看圖片
3. 按一下 `Create Endpoint`
模型儲存庫其實並不重要,因為模型會在建立容器時指定和下載;不過 Inference Endpoints 要求必須選擇模型,因此你可自行挑選體積較小的模型。
你必須指定
HF_TOKEN,因為我們需要在建立容器的階段下載受限制模型。如果使用的模型不受限制或屬於私人模型,則無須設定此項。
目前的 huggingface-inference-toolkit entrypoint 預設使用連接埠 5000,但 Inference Endpoint 預期使用連接埠 80。請在容器連接埠欄位指定相同設定。我們已在 Dockerfile 中設定;但如果你從頭自建映像檔,請特別留意!
Inference Endpoints API
以下會示範如何透過 API 建立端點。只需在你選用的 Python 環境中執行這段程式碼。
請使用 0.25.1 或更新版本
pip install huggingface_hub>=0.25.1
使用可建立端點的token(Write 或 Fine-Grained 權限)
from huggingface_hub import login
login()
from huggingface_hub import create_inference_endpoint, get_token
endpoint = create_inference_endpoint(
# Model Configuration
"speech-to-speech-demo",
repository="andito/s2s",
framework="custom",
task="custom",
# Security
type="protected",
# Hardware
vendor="aws",
accelerator="gpu",
region="us-east-1",
instance_size="x1",
instance_type="nvidia-l4",
# Image Configuration
custom_image={
"health_route": "/health",
"url": "andito/speech-to-speech:latest", # Pulls from DockerHub
"port": 80
},
secrets={'HF_TOKEN': get_token()}
)
# Optional
endpoint.wait()
概覽
主要元件
- 語音轉語音
- 這是一個 Hugging Face 程式庫。我們把一些 Inference Endpoint 專用檔案放在
inference-endpoint分支,稍後會合併至 main。
- 這是一個 Hugging Face 程式庫。我們把一些 Inference Endpoint 專用檔案放在
- andito/s2s 或其他儲存庫。由於我們在建立容器的階段已放入模型,因此不需要在此指定;但 Inference Endpoint 要求提供模型,所以我們會傳入一個體積較小的儲存庫。
- andimarafioti/speech-to-speech-toolkit.
- 這是從 huggingface/huggingface-inference-toolkit 分支而來,方便我們按需要設定和建置自訂容器。
建置網絡伺服器
要使用端點,我們需要建置一個小型網絡服務。客戶端使用的程式碼是 s2s_handler.py,位於speech_to_speech 程式庫中;建置 Docker 映像檔所用的 webservice_starlette.py 則位於speech_to_speech_inference_toolkit。一般來説,端點只需自訂處理器;但為了達到極低延遲,我們亦建置網絡服務,支援 WebSocket 連線,而非一般請求。起初聽起來或許複雜,但網絡服務只有 32 行程式碼!
啟動時,這段程式碼會執行 prepare_handler,初始化所有模型並進行預熱。之後,每則訊息都會由 inference_handler.process_streaming_data 處理。
這個方法會從客戶端接收音訊數據,切成適用於 VAD 的小片段,再送入佇列處理。接着,它會檢查輸出處理佇列(亦即模型的語音回應!),如有內容便會傳回。所有內部處理都由 Hugging Face 的 speech_to_speech 程式庫負責。
自訂處理器及客戶端
網絡服務會接收和傳迴音訊,但還有一個重要部分:如何錄製和播放音訊?為此,我們建立了客戶端連接服務。最容易的理解方式,是把分析分成連接網絡服務,以及錄製/播放音訊兩部分。
初始化網絡服務客戶端時,需要為所有訊息設定 Hugging Face Token 標頭。初始化客戶端時,我們會為常見訊息(open、close、error、message)指定處理方式;這些設定會決定伺服器傳送訊息時客戶端如何回應。
訊息的處理方式相當直接,只有 on_message 方法較複雜。它會判斷伺服器是否已完成回應,並開始「聆聽」用戶下一段音訊;否則便會把伺服器數據放入播放佇列。
客戶端的音訊部分有 4 項工作:
- 錄製音訊
- 提交音訊錄音
- 接收伺服器傳回的音訊回應
- 播放音訊回應
音訊會由 audio_input_callback 方法錄製,該方法會把所有片段送入佇列。之後,send_audio 方法會把音訊傳送至伺服器。即使沒有音訊可傳送,我們仍會提交空陣列,以接收伺服器回應。伺服器回應由上文介紹的 on_message 方法處理,而音訊回應則由 audio_output_callback 方法播放。此處只需確保音訊處於預期範圍內(避免套件錯誤而損害用戶聽力!),並確保輸出陣列大小符合播放程式庫要求。
總結
本文逐步介紹如何使用自訂 Docker 映像檔,把語音轉語音(S2S)pipeline 部署至 Hugging Face Inference Endpoints。我們建置了自訂容器來處理 S2S pipeline 的複雜部分,並示範如何設定,以便擴展及有效部署。Hugging Face Inference Endpoints 讓你更容易部署語音轉語音等高效能應用程式,無須費心管理硬件或基礎設施。
如想試用或有任何疑問,歡迎瀏覽以下資源:
- Speech-to-Speech GitHub 儲存庫
- Speech-to-Speech Inference Toolkit
- Inference Toolkit 基礎儲存庫
- Hugging Face Inference Endpoints 文件
遇到問題或有疑問?請到相關 GitHub 儲存庫開啟討論,我們很樂意提供協助!
來源:Hugging Face Blog · huggingface.co
