跳到正文
Hugging Face Blog·· 2025-02-25精選AI 評分62

Hugging Face 推出 FastRTC,支援以 Python 建構即時音訊與影片 AI 應用

FastRTC: The Real-Time Communication Library for Python

AI 導讀

Hugging Face 推出 FastRTC,這是一個讓開發者以 Python 建構即時音訊與影片 AI 應用的通訊程式庫。它內置語音偵測與輪次控制,提供支援 WebRTC 的 Gradio UI,並可將 Stream 掛載至 FastAPI 應用;亦支援 WebSocket。程式庫另提供語音轉文字、文字轉語音等工具,並可接駁不同 LLM、語音 API 或語音到語音模型。

推薦理由

FastRTC 將語音偵測、輪次控制和即時通訊整合起來,並提供 Gradio 測試介面及 FastAPI 部署方式,展示以 Python 搭建即時語音應用的實作流程。

正文 · 繁體中文

過去幾個月推出了許多即時語音模型,也有不少新公司圍繞開源和封閉源碼模型成立。以下列出幾項重要進展:

  • OpenAI 和 Google 分別為 ChatGPT 和 Gemini 推出即時多模態 API。OpenAI 甚至推出了 1-800-ChatGPT 電話號碼!
  • Kyutai 推出了 Moshi,一款完全開源的音訊轉音訊 LLM。Alibaba 推出了 Qwen2-Audio,而 Fixie.ai 推出了 Ultravox;兩者都是原生理解音訊的開源 LLM。
  • ElevenLabs 在 C 輪融資中籌得 $180m。

儘管模型和融資領域蓬勃發展,要建立能串流處理音訊和影片的即時 AI 應用程式仍然不容易,尤其是使用 Python 時。

  • ML 工程師未必熟悉建構即時應用程式所需的技術,例如 WebRTC。
  • 即使是 Cursor 和 Copilot 等程式碼助理工具,在編寫支援即時音訊/影片應用程式的 Python 程式碼時也會遇到困難。我是從親身經驗得知的!

因此,我們很高興宣佈推出 FastRTC,一個適用於 Python 的即時通訊程式庫。它旨在讓你可以全程使用 Python,輕鬆建構即時音訊和影片 AI 應用程式!

本文會透過建構即時音訊應用程式,介紹 FastRTC 的基礎知識。讀完後,你將瞭解 FastRTC 的核心功能:

  • 🗣️ 內置自動語音偵測和輪流發言功能,你只需專注處理回應用戶的邏輯。
  • 💻 自動化 UI:內置支援 WebRTC 的 Gradio UI,方便測試(亦可部署至正式環境!)。
  • 📞 電話撥入:使用 fastphone() 取得免費電話號碼,致電接通你的音訊串流(需要 HF Token;PRO 帳戶享有更高限額)。
  • ⚡️ 支援 WebRTC 和 WebSocket。
  • 💪 可自訂:你可以將串流掛載到任何 FastAPI 應用程式,以提供自訂 UI,或部署到 Gradio 以外的平台。
  • 🧰 提供多種實用工具,涵蓋文字轉語音、語音轉文字和停止詞偵測,助你快速開始。

現在就深入瞭解。

快速入門

我們先建構即時音訊領域的「Hello World」範例:將用戶説的話回傳給對方。在 FastRTC 中,做法非常簡單:

from fastrtc import Stream, ReplyOnPause
import numpy as np

def echo(audio: tuple[int, np.ndarray]) -> tuple[int, np.ndarray]:
    yield audio

stream = Stream(ReplyOnPause(echo), modality="audio", mode="send-receive")
stream.ui.launch()

我們逐步拆解:

  • ReplyOnPause 會為你處理語音偵測和輪流發言。你只需專注處理回應用戶的邏輯。任何會傳迴音訊元組的產生器都適用(表示方式為 (sample_rate, audio_data))。
  • Stream 類別會為你建立 Gradio UI,方便快速測試串流。完成原型設計後,只需一行程式碼,就能將 Stream 部署成可供正式環境使用的 FastAPI 應用程式:stream.mount(app)。此處的 app 是 FastAPI 應用程式。

以下是實際運作示範:

進階應用:LLM 語音聊天

下一步是使用 LLM 回應用戶。FastRTC 內置語音轉文字和文字轉語音功能,因此與 LLM 配合使用非常容易。我們按以下方式修改 echo 函式:

import os

from fastrtc import (ReplyOnPause, Stream, get_stt_model, get_tts_model)
from openai import OpenAI

sambanova_client = OpenAI(
    api_key=os.getenv("SAMBANOVA_API_KEY"), base_url="https://api.sambanova.ai/v1"
)
stt_model = get_stt_model()
tts_model = get_tts_model()

def echo(audio):
    prompt = stt_model.stt(audio)
    response = sambanova_client.chat.completions.create(
        model="Meta-Llama-3.2-3B-Instruct",
        messages=[{"role": "user", "content": prompt}],
        max_tokens=200,
    )
    prompt = response.choices[0].message.content
    for audio_chunk in tts_model.stream_tts_sync(prompt):
        yield audio_chunk

stream = Stream(ReplyOnPause(echo), modality="audio", mode="send-receive")
stream.ui.launch()

我們使用 SambaNova API,因為它速度很快。get_stt_model() 會從 Hub 取得 Moonshine Base,而 get_tts_model() 會取得 Kokoro;兩者都已針對裝置上的 CPU 推理作進一步最佳化。不過,你可以使用任何 LLM、文字轉語音或語音轉文字 API,甚至採用語音轉語音模型。帶上你喜歡的工具,FastRTC 只負責處理即時通訊層。

額外功能:透過電話撥入

如果不是呼叫 stream.ui.launch(),而是呼叫 stream.fastphone(),你就會取得可撥入串流的免費電話號碼。請注意,你需要 Hugging Face Token;PRO 帳戶享有更高限額。

你會在終端機看到類似以下的內容:

INFO:	  Your FastPhone is now live! Call +1 877-713-4471 and use code 530574 to connect to your stream.
INFO:	  You have 30:00 minutes remaining in your quota (Resetting on 2025-03-23)

接着,你可以撥打該號碼,電話便會接通你的串流!

下一步

  • 閲讀文件,進一步瞭解 FastRTC 的基礎知識。
  • 開始建構的最佳方式是查看實用指南。瞭解如何整合熱門 LLM 供應商(包括 OpenAI 和 Gemini 的即時 API)、將串流整合至 FastAPI 應用程式並自訂部署、讓處理函式傳回額外資料、處理影片等!
  • ⭐️ 為程式碼儲存庫加星標,並提交錯誤及問題回報!
  • 在 HuggingFace 上追蹤 FastRTC Org以取得最新消息,並查看已部署的範例!

感謝你試用 FastRTC!

來源:Hugging Face Blog · huggingface.co