Hugging Face Blog 介紹語音複製「同意閘門」設計,並提供示例 Space 和程式碼
Voice Cloning with Consent
Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。
把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。
本文介紹「聲音同意閘門」的概念,讓使用者在同意後才可進行聲音複製。我們提供了示範 Space和配套程式碼,希望藉此推動這個概念。

近年來,逼真的語音生成技術進步得令人難以置信。在某些情況下,生成的合成語音幾乎可以與真人聲音一模一樣。如今,曾經像科幻情節的聲音複製已成現實:只需錄下幾秒鐘語音,就能讓任何人的聲音説出幾乎任何內容。
語音生成,尤其是聲音複製這項子任務,既有顯著風險,也有不少益處。「深偽」可能造成風險,例如有人利用克隆的拜登前總統聲音進行自動電話推銷,誤導大眾以為某人説過自己從未説過的話。另一方面,聲音複製亦可成為強大的有益工具,協助失去説話能力的人重新以自己的聲音溝通,亦可協助人們學習新語言和方言。
那麼,如何促進有意義的用途,同時避免惡意用途?我們正探討其中一個可行答案:「聲音同意閘門」。這個系統只會在説話者明確表示同意後才複製其聲音。換言之,除非你表示同意,否則模型不會使用你的聲音説話。
以下是這個概念的基本示範:
實踐倫理:把同意納入系統基礎設施
聲音同意閘門是我們正在探索的一項基礎設施,提供方法把同意等倫理原則直接納入 AI 系統工作流程。在示範中,説話者必須先説出並經系統識別同意語句,模型才會啟動,實際上把同意設為採取行動的先決條件。這將抽象原則轉化為具體系統條件,形成可追蹤、可審核的互動:只有在收到明確無誤的同意後,AI 模型才會運行。
這類設計不只適用於聲音複製,也説明 AI 系統如何預設尊重自主權,並把透明度和同意落實為實際功能,而不只是口頭宣示。
技術細節
要建立具備聲音同意閘門的基本聲音複製系統,需要三個部分:
- 一種方法,為將被複製聲音的人(即「説話者」)生成新穎的同意句子,並獨特地指明當前同意情境。
- 一個自動語音識別(ASR)系統,用來識別表達同意的句子。
- 一個聲音複製文字轉語音(TTS)系統,以文字和説話者的語音片段作為輸入,生成語音。
我們的觀察:部分聲音複製系統現在只需一句話,便能生成與説話者相似的語音;因此,用來表示同意的句子亦可用於聲音複製。
方法
同意部分:要在英文聲音複製系統中建立聲音同意閘門,先為説話者生成一段簡短、自然的英文語句(約 20 個詞),讓他們讀出聲,清楚表達自己同意在當前情境下使用其聲音。我們建議明確加入同意語句和模型名稱,例如「我同意使用 < MODEL > 聲音複製模型來複製我的聲音」。我們亦建議使用不能上載、而是直接由麥克風錄取的語音,確保句子並非取自遭人篡改的舊錄音。再配合一段新生成、以前未説過的句子,更有助直接識別當前同意情境,支持明確、主動、因應情境且知情的同意。這種設計可降低重用舊錄音的風險,但並非萬無一失;他人仍可使用另一套 TTS 系統生成符合要求的語句。日後可探索輕量音訊來源驗證、説話者嵌入相似度,或即時錄音的中繼資料,協助確認同意音訊確實來自目標説話者。
適合聲音複製的部分:以往的聲音複製研究顯示,説話者提供的語句必須具備豐富的語音變化,涵蓋不同元音和子音;語氣要「中性」或有禮,不可有背景噪音,而且説話者應處於舒適姿勢;此外,語音必須有清晰的開頭和結尾(即不要在字詞中途剪輯片段)。
為在示範中同時做到這兩點,我們提示語言模型生成一對句子:一句明確表示同意,另一句則以中性內容增加語音多樣性(涵蓋不同元音、子音和語氣)。每個提示會隨機選取一個日常主題,例如天氣、食物或音樂,令句子多變而易於自然朗讀,有助錄製清晰、自然且語音豐富的內容,同時包含明確無誤的同意聲明。這個生成步驟由系統自動執行,而非預先寫好,因此每位用戶都會收到獨特的一對句子,避免重用相同文字,並確保同意錄音只適用於當前工作階段。換言之,語言模型每次會生成兩句全新語句:一句用來明確表示同意,另一句提供語音多樣性。例如,語言模型可能會生成:「我同意使用 EchoVoice 模型,以我的聲音生成音訊。今天早上天氣晴朗,風和日麗。」 這個方法確保每段用於聲音複製的錄音都包含可驗證、明確的同意,同時仍適合作為高質素語音合成的技術輸入。(註:語言模型不一定要是「大型」語言模型;大型模型本身也會帶來同意方面的問題。)
例子:
- 「我同意今天使用 Chatterbox 模型,以我的聲音生成合成音訊。最近我大部分日子都要步行穿過擠迫街道通勤。」
- 「我同意使用 Chatterbox 模型,以我的聲音生成音訊。早上輕鬆散步後,我感到放鬆,現在可以自在地説話。」
- 「我同意使用錄下的聲音,透過 Chatterbox 模型生成音訊。外面的咖啡店今早飄來新鮮咖啡的怡人香氣。」
啟用聲音同意閘門
只要説話者的輸入與生成文字相符,聲音複製系統便可啟動,並以説話者表示同意時的音訊作為輸入。
有幾種方法可以做到這一點,我們也很期待聽到更多構想。目前可採用以下方式:
- 示範提供的方式:讓聲音同意閘門直接開啟聲音複製模型,讓使用者輸入任意文字,再以説話者的聲音生成語音。模型會直接使用已同意的音訊學習説話者的聲音。
- 另一種方式是修改示範程式碼,使用説話者同意上載的多個不同語音檔案來建立其聲音模型,例如説話者同意使用網上錄音時。提示和同意語句亦應相應調整。
- 你亦可把同意音訊儲存起來,供指定系統使用,例如説話者同意日後將其聲音用於任意語句。這可透過
huggingface_hub的上載功能完成。請查看此處的操作説明。同樣地,應根據使用情境調整提示和説話者需要朗讀的同意語句。
立即試用示範!
你可以複製程式碼,按自己的用途修改。
程式碼採用模組化設計,可按不同方式拆分和組合,整合至自己的項目。我們會持續令它更穩健、更安全,也期待聽到你對如何改進的想法。
只要負責任地使用,這項技術不必令人恐懼;它反而可以成為人類與機器之間互相尊重的協作,不需機器內有鬼,只需良好實踐。🎃
來源:Hugging Face Blog · huggingface.co