跳到正文
Google Research·· 2025-11-19精選AI 評分75

Google Research 介紹即時語音到語音翻譯模型,標準延遲為 2 秒

Real-time speech-to-speech translation

AI 導讀

Google Research 介紹端到端即時語音到語音翻譯模型,以原説話者聲線輸出譯音,標準延遲為 2 秒。模型採用串流架構及時間同步訓練資料,支援英語與西班牙語、德語、法語、意大利語、葡萄牙語之間的雙向翻譯。相關功能已在 Google Meet 伺服器端提供,並作為 Pixel 10 的內置裝置端功能推出;Pixel Voice Translate 採用級聯式流程以擴大語言覆蓋。

推薦理由

文章説明串流架構如何配合時間同步訓練資料,把語音互譯的標準延遲控制在 2 秒,並以原説話者聲線輸出譯音,可瞭解低延遲與個人化如何結合。

正文 · 繁體中文

即時通訊是職場和個人生活不可或缺的一部分。跨越語言障礙與遠方的人交談時,單靠最先進的翻譯字幕仍難以真正交流,因為字幕欠缺自然對話所需的個人特色和即時回應能力。語音對語音翻譯(S2ST)直接生成翻譯語音,令溝通更自然。不過,現有語音對語音翻譯系統往往延遲甚高(4–5 秒)、容易累積錯誤,而且通常無法個人化。

今天,我們介紹一款創新的端到端 S2ST 模型,克服這些限制,只需 2 秒延遲,便能以原説話者的聲音即時翻譯。這種新架構採用串流框架,並以時間同步資料訓練,大幅縮短原始輸入與翻譯語音之間的延遲。為支援更多語言,我們建立可擴展的同步資料收集管道,讓系統逐步加入更多語言。這項技術已在對即時性要求嚴格的使用情境中成功部署,證明其有效。

級聯式 S2ST

以往的即時語音對語音技術採用多個獨立處理模組組成的級聯管道:

  1. 首先,使用自動語音識別(ASR)AI 模型將來源音訊轉錄成文字。
  2. 接着,使用自動語音翻譯(AST)將轉錄文字逐字翻譯成目標語言。
  3. 最後,使用文字轉語音(TTS)管道將翻譯文字轉迴音訊。

雖然各個級聯元件的品質很高,要實現流暢的即時 S2ST 體驗仍有困難,主要有三個原因:

  1. 延遲高達 4–5 秒,迫使用戶輪流交談。
  2. 翻譯流程每個階段都會累積錯誤。
  3. 通用文字轉語音技術難以提供個人化體驗。

全新端到端個人化 S2ST

為大幅推進 S2ST,我們建立了可擴展的資料收集管道,並開發一款端到端模型,只需 2 秒延遲便能直接即時翻譯:

  1. 可擴展的資料收集管道:我們建立資料處理管道,將原始音訊轉換成時間同步的輸入/目標資料集。方法是整合現有 ASR 和 TTS 技術,並進行精確對齊,確保翻譯音訊與輸入最為吻合。我們亦嚴格篩選和驗證資料,移除難以對齊的例子。
  2. 即時語音對語音翻譯架構:我們引入專為音訊設計的串流機器學習架構,支援以這些時間同步資料訓練。架構建基於 AudioLM 框架和基本 Transformer 模組,專為處理連續音訊串流而設,讓模型自行決定何時輸出翻譯。它亦能透過 SpectroStream 編碼技術處理階層式音訊表徵。

以下是將西班牙語原文即時翻譯成英文的個人化 S2ST 範例。

可擴展的資料收集管道

對於指定語言組合,首先要收集原始音訊。我們採用多種音訊來源,包括由 TTS 模型生成的資料。接着清理和篩選音訊,確保只包含一位使用來源語言的説話者,並有合適的噪音水平。初步收集資料後,先透過 ASR 將來源語音轉錄成文字。有了來源音訊和文字後,便使用強制對齊演算法生成對齊時間點(音訊至文字映射),並丟棄對齊失敗的音訊片段。

其餘片段會以機器翻譯從來源語言譯成目標語言。接着透過一系列自動篩選器驗證譯文,確保準確並符合輸入文字。然後再將原始轉錄文字和譯文對齊,生成相應的時間戳記標註(文字至翻譯文字映射)。

使用自訂文字轉語音生成引擎將譯文轉換成翻譯音訊,同時保留原始音訊的聲音特徵,並生成自然語音。管道最後會再將譯文和生成語音進行一次強制對齊(語音至文字映射)。

我們會計算前述步驟生成的三組對齊之間的重疊部分,得出來源和目標音訊之間的對齊遮罩。訓練期間會使用這些遮罩引導損失計算。

輸入文字與翻譯音訊的對齊,以及相應重疊部分。

不符合延遲要求或重疊無效的翻譯會從訓練資料集剔除。其餘對齊資料會分成最長 60 秒的區塊,用來訓練串流 S2ST 模型。訓練期間亦會採用多種音訊增強技術,包括降低取樣率、混響、飽和和降噪。

即時語音對語音翻譯架構

端到端 S2ST 模型採用基本 Transformer 模組,並由兩個主要部分組成:

  • 串流編碼器:根據之前 10 秒的輸入,概括來源音訊資料。
  • 串流解碼器:利用壓縮後的編碼器狀態和先前迭代的預測,自回歸地預測翻譯音訊。

這類模型的一個特點,是將音訊表示為 2D Token 集合,稱為 RVQ 音訊 Token。如下圖所示,X 軸代表時間,Y 軸則代表描述目前音訊片段的一組 Token。將同一組中的所有 Token 加總後,即可透過 ML 編碼器轉換成音訊串流。每個片段的音訊品質由 Token 數量控制,Token 越多,保真度越高。模型會依序預測 Token,優先預測排在前面的 Token。一般而言,16 個 Token 已足以高品質表示一個 100 ms 音訊區塊。

除了音訊 Token,模型亦會輸出一個文字 Token,作為音訊生成的額外先驗,並讓系統可直接計算指標(BLEU),毋須依賴代理 ASR 系統。

訓練期間,模型會使用逐 Token 損失,確保翻譯準確。透過將真值 Token 向右移動,可以調整模型預測延遲(即前瞻長度),按目標語言的複雜程度靈活設定。即時對話通常採用標準的 2 秒延遲,適用於大部分語言。增加前瞻長度可提供更多脈絡,提升翻譯品質,但會損害即時通訊體驗。

除了內部 2 秒延遲外,模型推論時間亦會增加整體系統延遲。為盡量降低延遲並達到即時效能,我們實作了多種最佳化技術,包括混合低位元(int8 和 int4)量化,以及最佳化 CFG 預先計算。

以下是使用已開發模型進行不同語言組合翻譯的例子,以及對應的標準答案(取自公開提供的 CVSS 資料集):

語言方向

輸入音訊

翻譯音訊

標準答案

西班牙語至英文

In coastal areas there is a larger accumulation of water molecules in the air.

英文至西班牙語

Su portaaviones insignia, el Portaviones Formidable fue tocado por un kamikaze sin gravísimas consecuencias.

德文至英文

The electrician used a piece of aluminum foil to splice the fuse.

英文至德文

Margaret versucht mit allen Mitteln, die bevorstehende Katastrophe zu verhindern.

意大利文至英文

By clicking on the right, on the bell icon, you can activate Pash notifications so that they are updated in real time.

英文至意大利文

La voce popolare parla dei proprietari terrieri, dei mafiosi e dei rappresentanti del Partito conservatore e dei loro nomi, che sono noti a tutti.

葡萄牙文至英文

This text is made available under the respective license.

英文至葡萄牙文

Um homem de camisa azul observa algo projetado na frente dele.

法文至英文

The volunteer firefighters are a full part of our civil security arsenal.

英文至法文

Ce gouvernement et cette majorité portent donc seuls la responsabilité de cette situation.

展示模型為英文、西班牙文、德文、意大利文、葡萄牙文和法文生成的雙向翻譯範例,以及相應標準答案。

實際應用

這項全新的端到端 S2ST 技術已在兩個重要場景推出,突顯即時跨語言溝通的重要性。它現已在伺服器上的 Google Meet 提供,也作為新款 Pixel 10 裝置的內置裝置端功能推出。兩項產品採用不同方式執行 S2ST 管道,但使用相同訓練資料和模型架構。Pixel Voice Translate 裝置端功能亦採用級聯方式,盡量擴大支援語言範圍。為減少功能遭濫用的風險,每次翻譯開始前,我們都會通知終端用戶:翻譯內容由合成方式生成。

目前的端到端模型在五種拉丁語系語言組合(英文與西班牙文、德文、法文、意大利文和葡萄牙文互譯)上表現穩健,足以支援首批產品推出。我們亦觀察到模型在印地語等其他語言展現出令人鼓舞的能力,計劃進一步開發。未來會着重提升模型前瞻長度的動態調整能力,令 S2ST 技術可順暢適應詞序與英文大不相同的語言,提供更多考慮脈絡而非逐字直譯的內容。

我們相信,這項 S2ST 技術突破將革新即時跨語言溝通,把長久以來的構想化為現實。

鳴謝

我們衷心感謝所有為本項目作出貢獻的人士;各位的關鍵貢獻令項目得以實現。我們特別感謝同事 Kevin Kilgour、Pen Li、Félix de Chaumont Quitry、Michael Dooley、Jeremy Thorpe、Mihajlo Velimirović、Alex Tudor、Christian Frank、Daniel Johansson、Hanna Silén、Christian Schuldt、Henrik Lundin、Esbjörn Dominique、Marcus Wirebrand、Daniel Kallander、Pablo Barrera González、Huib Kleinhout、Niklas Blum、Fredric Lindstrom、Esha Uboweja、Karthik Raveendran、Frédéric Rechtenstein、Xing Li、Queenie Zhang、Cheng Yang、Jason Fan、Matsvei Zhdanovich、Jianing Wei 和 Matthias Grundmann。

來源:Google Research · research.google