跳到正文
AWS Machine Learning Blog· Suyin Wang·· 2 小時前精選AI 評分63

Amazon Polly 推出語音複製功能,讓品牌建立專屬聲音

Amazon Polly launches voice cloning: A unique voice for your brand

AI 導讀

Amazon Polly 的語音複製功能已正式推出,目前採受限開放,只有部分客戶已獲啟用。用戶可提供 1–10 段經説話者同意的錄音,通常 5–10 分鐘即可完成聲音建立,功能支援七種語言。建立聲音免費,合成語音則按用量收費;聲音只屬建立它的 AWS 帳戶及區域,並可透過 Amazon Polly API 用於即時或長篇語音合成。

推薦理由

文章除介紹功能外,也列出建立流程、説話者同意、權限管理及區域配額,呈現將語音複製整合至應用程式時的實務環節。

正文 · 繁體中文

Amazon Polly 的語音克隆功能現已正式推出,採取受限開放形式。提供幾分鐘已取得講者同意用於克隆其聲音的錄音,Amazon Polly 就會以該講者的聲線為你建立專屬的克隆語音。克隆語音使用 Amazon Polly 生成式引擎運作,其自然度和準確度與其他生成式語音相若。Amazon Polly 語音克隆功能推出時支援七種語言:英語、西班牙語、德語、法語、意大利語、葡萄牙語和印地語。每個克隆語音均會使用錄製時所用的語言説話。克隆語音會自動加密並設有存取控制:只有你可以存取自己的克隆語音。

Amazon Polly 語音克隆功能適用於所有支援 Amazon Polly 生成式引擎的 AWS 區域,包括 AWS GovCloud (US) Region。部分 Amazon Polly 客戶已獲開通存取權限。其他客戶可聯絡 AWS 帳戶團隊,或申請存取權限。

新增此功能後,你可以將語音克隆的整個生命週期整合至 AWS 應用程式。Amazon Polly 客戶建立克隆語音毋須付費;使用克隆語音則按用量付費,詳情請參閲 Amazon Polly 定價頁面。

親自聽聽效果

按下播放:開首幾秒是真人錄音,之後便會由克隆語音接替,讀出講者從未錄製過的內容。

  • From recordings to TTS voice. A few minutes of our science lead Trevor’s source audio, and the resulting generative voice.
    • 錄音:「你好,我是 Trevor,來自 Science。」克隆語音:「第一句是我的真實聲音。這是我的克隆語音,由幾分鐘的錄音製作而成。它可以讀出你提供的任何文字。」
  • Supports seven languages. Hear Jonas, one of the authors, speaking German in his recording and then in his cloned voice:
    • 錄音:「Hallo, ich bin Jonas. Das ist meine echte Stimme.」(你好,我是 Jonas。這是我的真實聲音。)克隆語音:「Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.」(這就是我的克隆語音!聲音相同,內容全新:這句話是我寫的,但從未錄製過。)
  • Use in a variety of applications. Here’s Trevor in a new job he hasn’t had: a non-player character in a game.
    • 「是誰在過我的橋?哦,又是你。規矩跟上次一樣:答對我的謎語,否則就把三文治交出來。」
  • Expand your voice library with voice cloning. Hear this audio sample from AWS Chief Evangelist Jeff Barr: a real recording, then his cloned voice.
    • 錄音:「你好,我是 Jeff,這就是我真實的聲音。」克隆語音:「這就是我的克隆語音讀出一個我從未錄製過的句子時的聲音。」
  • Hannah: a real recording, then her cloned voice on a support line.
    • 錄音:「你好,我是 Hannah。這是我的真實聲音。」克隆語音:「感謝致電 AnyCompany。你的訂單 4471 9902 今天寄出,預計於星期四上午 9 AM 至 1 PM 送達。你的確認碼是 K-7-Q-2-X-9。」
  • Joely: a real recording, then her cloned voice narrating a lesson.
    • 錄音:「你好,我是 Joely,這就是我真實的聲音。」克隆語音:「在這個模組中,我們會探討神經網絡如何學習。首先,它會作出猜測,然後計算猜測的誤差,再逐步作出調整。」

可建立的應用

跨渠道保持一致的品牌聲音

建立一種容易辨認的聲音,並將它應用於互動語音應答(IVR)系統、級聯語音 Agent、流動應用程式、店內廣播、廣告和連接裝置。無須依賴通用的預設語音,也不用每次更改稿件時重新預約錄音,你可以按需要生成符合品牌形象的音訊,並在所有渠道保持一致的聲音。

聯絡中心

在自助服務流程中維持鮮明且符合品牌形象的語音風格;當優惠和政策有變時,可更新提示詞,無需重新安排錄音室錄製。你可以根據來源文字建立提示詞,在推出前進行測試,並在問候、路由及通知體驗中使用同一語音。

大規模製作媒體與內容

創作者、出版商及錄音室可以使用多種自訂語音製作有聲書、課程、Podcast、遊戲角色和影片,提升聆聽體驗,並快速製作後續章節或更新內容。

以一致的角色形象進行本地化

在整個內容庫中維持鮮明且一致的語音身份,令旁白在不同作品和更新內容之間保持連貫。每個複製語音只會説出錄製時使用的語言。如要提供多語言體驗,請為每種支援語言建立並審核獲批語音。

無障礙功能與個人化

為閲讀體驗、輔助工具及個人化互動提供自然、近似真人的語音。每次建立語音時,你都會確認説話者已同意。

語音複製的運作方式

使用語音複製,你可以根據單一説話者的錄音建立自訂 Amazon Polly 語音,然後透過 Amazon Polly 生成式引擎合成該語音。整個流程分為四個步驟,由錄製説話者的聲音開始,到使用完成的語音為止:

The voice cloning lifecycle: record, create, wait, use

圖 1:語音複製的生命週期,由錄製説話者的聲音到使用完成的語音

複製語音分為四個步驟:

  1. 錄製。錄製一位説話者的聲音(請參閲下方的錄音提示)。你可以在 CreateVoice 請求中直接傳送錄音,或在主控台上載錄音。你也可以將錄音存放在語音所屬 AWS 區域的 Amazon Simple Storage Service (Amazon S3) 儲存貯體中,並將其位置提供給 Amazon Polly。
  2. 建立。你呼叫 CreateVoice,提供 1-10 段錄音、錄音所用的語言,以及 TermsAccepted=True,確認你已取得説話者的同意。Amazon Polly 會即時返回語音 ID(vc-…),並在背景建立語音。
  3. 等待。建立程序以非同步方式進行,通常需時 5-10 分鐘。在此期間,Amazon Polly 亦會檢查文字轉語音 (TTS) 語音的品質,以及語音與説話者的相似程度。你需要持續呼叫 GetVoice,直到狀態由 pending 變為 active 或 failed。
  4. 使用。你可以將語音 ID 傳入 SynthesizeSpeech 以取得即時音訊,或傳入 StartSpeechSynthesisTask 以產生寫入 S3 的長篇音訊,並使用 Engine="generative",方式與呼叫 Amazon Polly 中其他生成式語音相同。不再需要該語音時,請呼叫 DeleteVoice。

同意與控制

複製語音是根據一個人的錄音建立。你須確認已取得説話者對所有錄音的同意,並且能控制誰可使用該語音,以及何時刪除該語音。

  • 每次建立語音時,你都須確認已取得同意。在主控台建立語音,或在 API 中使用 TermsAccepted=True 建立語音時,你須確認已取得建立及使用複製語音所需的一切權利和同意。使用語音複製須遵守 AWS 服務條款、生物特徵通知及同意條款、AWS 負責任 AI 政策及 AWS 可接受使用政策。
  • 生成的語音帶有浮水印。Amazon Polly 會在使用複製語音生成的文字轉語音音訊中加入浮水印。
  • 只有你的帳戶可以使用該語音。複製的語音只限建立它的 AWS 帳戶使用,而你可以透過 AWS Identity and Access Management (IAM) 控制存取權限。你可以使用自己的 AWS Key Management Service (AWS KMS) 金鑰加密語音,並為語音加上標籤。
  • 你可以決定何時刪除語音。語音啟用後或建立失敗後,均可透過一次 DeleteVoice 呼叫或在主控台刪除語音。
  • 建立語音後,Amazon Polly 不會保留你的語音錄音副本,也不會用它們訓練 Amazon Polly 模型。Amazon Polly 只會保留合成語音所需的語音資料,並以加密方式儲存。你可以使用自己的 AWS KMS 金鑰進行加密,而 DeleteVoice 會立即移除資料。

我們建議你:

  • 保留每位講者同意的紀錄。
  • 如果講者撤回同意,請刪除該語音。
  • 在適當情況下,告知聽眾他們聽到的是合成語音。
  • 只向需要使用語音的人員和系統授予語音權限。

如要了解預期用途和限制,請參閲 Amazon Polly AI Service Card 和 AWS Responsible Use of AI 指引。

錄音最佳做法

複製的語音會從錄音中學習,包括你不希望它學到的部分:手提電腦風扇聲、房間迴音,以及會議應用程式的降噪功能。

  • 錄製兩至十分鐘的自然説話內容,分成每段最多一分鐘的錄音。每個語音最多可提交 10 段錄音,音訊總長度最多為 15 分鐘。音質比長度重要:增加音訊未必會改變語音的聽感。
  • 一位講者、安靜的房間,並與麥克風保持相同距離。使用 USB 麥克風,或可以錄製 WAV 的手機應用程式。由一開始便以單聲道 WAV、16-bit、24 kHz 格式錄音,避免日後需要轉換。Amazon Polly 接受其他音訊格式,但我們建議使用 WAV。如需瞭解支援的格式和限制,請參閲 Amazon Polly Developer Guide。
  • 避免使用會議應用程式和瀏覽器錄音工具。它們的迴音消除和降噪功能會改變語音,而複製的語音也會學到這些變化。
  • 每段錄音都要採用你希望語音呈現的風格。複製的語音會沿用錄音中的風格,而且無法融合多種風格,因此,分別錄製歡快、悲傷和憤怒的內容,不會讓複製的語音同時具備這三種風格。
  • 以語音應使用的語言錄音。語音複製功能已使用美式英語、德語、美式西班牙語、法語、意大利語、巴西葡萄牙語和印地語錄音進行測試。這些語言的其他口音,例如英式英語或加拿大法語,也可以使用,但測試較少,因此請用自己的內容測試語音。

開始使用

在主控台:帳戶啟用語音複製功能後(請參閲「可用性」),展開左側面板並選擇 語音複製,上載最多 10 段錄音或從 Amazon S3 選取錄音,確認條款,再選擇 建立。每個上載檔案最多可有 5 MB。語音準備就緒後,可在其詳細資料頁面試用。

使用程式碼時,你需要:

  • boto3 的最新版本(pip install --upgrade boto3)。
  • polly:CreateVoice、polly:GetVoice、polly:DescribeVoices、polly:SynthesizeSpeech 和 polly:DeleteVoice 的 IAM 權限。處理長篇音訊時,亦須在輸出儲存貯體上具備 polly:StartSpeechSynthesisTask、polly:GetSpeechSynthesisTask 和 s3:PutObject 權限。
  • 以下 Amazon S3 範例的要求:錄音需存放在建立語音所在區域的儲存貯體中,並向呼叫 CreateVoice 的 IAM 角色或用戶授予 s3:GetObject 權限。
import time

import boto3

# Use the Region of your S3 recordings.
polly = boto3.client("polly", region_name="us-east-1")

# 1. Create a voice from recordings of a speaker who has given consent.
#    Use 1-10 clean WAV takes of up to a minute each.
takes = [
    "s3://amzn-s3-demo-bucket/brand-voice/take-1.wav",
    "s3://amzn-s3-demo-bucket/brand-voice/take-2.wav",
    "s3://amzn-s3-demo-bucket/brand-voice/take-3.wav",
]
voice = polly.create_voice(
    Name="MyBrandVoice",    # letters, digits, - and _, up to 64 characters
    LanguageCode="en-US",   # the language spoken in the recordings
    TermsAccepted=True,     # you confirm the speaker's consent and the terms of use
    VoiceCreationData={
        "Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes],
    },
    Tags={"consent-record": "speaker-0042"},  # optional: the ID of your own consent record, e.g. a signed release
    # Optional: encrypt the voice with your own KMS key (symmetric, same Region).
    # Callers who create or use the voice need kms:DescribeKey,
    # kms:GenerateDataKey and kms:Decrypt on the key.
    # CustomerManagedEncryption={
    #     "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333:key/EXAMPLE"
    # },
)["Voice"]
voice_id = voice["Id"]      # for example "vc-0123456789"

# 2. Check the status every 30 seconds until the voice is active or failed
#    (usually a few minutes). Stop with an error after 20 minutes.
deadline = time.monotonic() + 20 * 60
while voice["Status"] not in ("active", "failed"):
    if time.monotonic() > deadline:
        raise TimeoutError(f"{voice_id} is still {voice['Status']}")
    time.sleep(30)
    voice = polly.get_voice(VoiceId=voice_id)["Voice"]
if voice["Status"] == "failed":
    # Check the recordings, delete this voice and create a new one.
    raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}")

# 3. Synthesize speech with your new voice.
speech = polly.synthesize_speech(
    VoiceId=voice_id,
    Engine="generative",
    LanguageCode="en-US",
    OutputFormat="mp3",
    Text="Hello! This is my very own Amazon Polly voice.",
)
with open("my-voice.mp3", "wb") as f:
    f.write(speech["AudioStream"].read())

# When you no longer need the voice:
# polly.delete_voice(VoiceId=voice_id)

如果 Python 顯示 Polly 物件沒有 create_voice 屬性,請升級 boto3。

對於有聲書章節或課程單元等較長文字,請使用非同步合成任務,將音訊寫入 S3:

from pathlib import Path

task = polly.start_speech_synthesis_task(
    VoiceId=voice_id,
    Engine="generative",
    LanguageCode="en-US",
    OutputFormat="mp3",
    OutputS3BucketName="amzn-s3-demo-bucket",
    OutputS3KeyPrefix="narration/chapter-01",
    Text=Path("chapter-01.txt").read_text(encoding="utf-8"),
    # SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks",  # notify instead of polling
)["SynthesisTask"]
print(task["TaskId"], task["OutputUri"])  # poll get_speech_synthesis_task until "completed" or "failed"

如要進一步瞭解可透過 Amazon Polly 建置的端到端 Speech AI 應用程式,包括語音複製功能,例如級聯式語音 Agent 和即時語音翻譯器,請前往 Amazon Polly GitHub 儲存庫。

正式環境考量

預先建立語音

建立語音需要幾分鐘,因此應將其視為資源配置步驟,而非用戶請求的一部分。小型工作流程(例如 AWS Step Functions 或工作佇列)可以呼叫 CreateVoice,每隔 30 秒檢查 GetVoice,直至語音處於啟用狀態,然後將語音 ID 儲存在設定中。CreateVoice 和 DeleteVoice 共用每秒 1 個請求的限制,因此應將大量建立和刪除操作加入佇列。

維護清單

DescribeVoices 會將複製語音與 Amazon Polly 內置語音一併列出。複製語音的 Origin 設為 customer。請為每個語音儲存語音 ID、區域、語言、同意參考資料和負責人,並為每個語音指定唯一的 Name。如果 CreateVoice 呼叫逾時或傳回伺服器錯誤,該語音可能已經存在,而 SDK 的自動重試可能會建立第二個。再次嘗試前,請先在 DescribeVoices 中搜尋該名稱。

預備處理錯誤

如果超出與 DeleteVoice 共用的每秒 1 個請求限制,CreateVoice 會傳回 ThrottlingException;如果帳戶在該區域已達到複製語音配額,則會傳回 ServiceQuotaExceededException。使用仍在建立中的語音進行合成或將其刪除,會傳回 ConflictException。如果語音使用自己的 KMS 金鑰,沒有該金鑰存取權的呼叫者會收到存取遭拒錯誤。建立失敗時,StatusReason 只會提供一般訊息,因此請根據前文所述的錄音最佳做法檢查錄音,然後刪除失敗的語音並重新建立。

將權限範圍限定於語音

複製語音是 IAM 資源,因此可以授予處理服務流量的角色權限,讓其使用指定的一個語音進行合成。如果語音使用自己的 KMS 金鑰,該角色亦須有權存取該金鑰。請將 polly:CreateVoice 和 polly:DeleteVoice 留給獨立的資源配置角色使用。以下是服務角色的政策範例:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "polly:SynthesizeSpeech",
      "Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789"
    }
  ]
}

透過 aws:ResourceTag 條件,可使用同一規則一次套用至整組語音。亦請檢查現有政策:允許對所有資源 ("Resource": "*") 執行 polly:SynthesizeSpeech 的陳述式,也會涵蓋帳戶中的所有複製語音。

規劃配額和區域

每個帳戶在每個區域的初始配額為 10 個複製語音。如要申請提高配額,請聯絡您的帳戶團隊或 AWS Support。語音只存在於建立它的帳戶和區域中。如要在另一個區域或帳戶提供服務,請使用相同錄音在該區域重新建立語音,並確保説話者的同意涵蓋每個副本。

使用實際稿件進行測試

語音正式上線前,請聆聽它朗讀自己的內容:產品名稱、數字、地址,以及最長的句子。同一段文字在不同請求中生成的語音可能略有不同。對於電話問候語等固定提示詞,請只生成一次音訊,由説話者和品牌團隊核准,然後提供已儲存的檔案。如果名稱或術語讀錯,請在文字中採用不同拼法,或使用語音合成標記語言 (SSML) <phoneme> 標籤。音素標籤適用於英文、法文、意大利文、德文和西班牙文的複製語音。請參閲 支援的 SSML 標籤。

須知事項

可用性 語音複製功能按 AWS 帳戶啟用。如果你在 Amazon Polly 主控台看到「語音複製」(展開左側面板,查看是否列出「語音複製」),即表示此功能已為你的帳戶啟用。如果沒有,你可以聯絡 AWS 客戶團隊,或申請使用權限。支援的 AWS 區域與生成式引擎相同:美國東部(維吉尼亞北部)、美國西部(俄勒岡)、歐洲(法蘭克福)、歐洲(蘇黎世)、歐洲(倫敦)、亞太地區(悉尼)、亞太地區(首爾)、亞太地區(新加坡)、亞太地區(東京)、加拿大(中部),以及 AWS GovCloud (US-West)。複製語音會保存在建立它的 AWS 區域。
語言 英語、德語、西班牙語、法語、意大利語、葡萄牙語和印地語。已測試的錄音語言地區:美國英語(en-US)、德語(de-DE)、美國西班牙語(es-US)、法語(fr-FR)、意大利語(it-IT)、巴西葡萄牙語(pt-BR)和印地語(hi-IN)。這些語言的其他口音也適用,但測試較少。每種語音都會説出錄製時使用的語言。
錄音 每種語音可使用 1-10 段錄音,總時長最多 15 分鐘。建議使用 WAV 格式:單聲道、16 位元、取樣率為 24 kHz 或 44.1/48 kHz。Amazon Polly 亦接受其他音訊格式。透過主控台上載的檔案,每個檔案不得超過 5 MB。較大的檔案請使用 Amazon S3。
資料處理 建立語音後,Amazon Polly 會刪除錄音副本,亦不會使用錄音訓練 Amazon Polly 模型。Amazon Polly 只會保留合成語音所需的語音資料,並以加密方式儲存(你可以使用自己的 AWS KMS 金鑰),直至你呼叫 DeleteVoice。
建立時間 建立 TTS 語音通常需時 5-10 分鐘,並以非同步方式進行。
合成延遲 與 Amazon Polly 的生成式語音相同。
配額 每個 AWS 區域的每個帳戶初始可建立 10 個複製語音。如需提高配額,請聯絡 AWS Support。CreateVoice和DeleteVoice共用每秒 1 個請求的上限。
合成 複製語音須遵守 Amazon Polly 的生成式語音配額,包括每個請求及每項合成工作的文字長度限制。請參閲Amazon Polly 配額。
定價 建立複製語音免費。Amazon Polly 按用量收費,計算複製語音的使用費用。請參閲Amazon Polly 定價。
API 使用CreateVoice、GetVoice、DeleteVoice和DescribeVoices管理語音。使用SynthesizeSpeech和StartSpeechSynthesisTask搭配Engine="generative"來使用語音。請參閲Amazon Polly API 參考。

總結

Amazon Polly 的語音複製功能可為你的應用程式提供一種讓人熟悉的聲音:只需錄製一次,取得説話者同意後,即可透過 Amazon Polly API 使用。如要在主控台開始使用,請確認你的帳戶已啟用語音複製功能,準備好錄音及所需的同意,開啟Amazon Polly 主控台,並建立你的第一個複製語音。如果你是新客戶並希望啟用語音複製功能,請聯絡 AWS 客戶團隊,或申請使用權限。

如需開發人員指南,請參閲Amazon Polly 文件。如需定價資訊,請參閲Amazon Polly 定價頁面。如要了解更多可使用 Amazon Polly 建立的語音 AI 應用場景,包括語音複製,請查看GitHub 儲存庫。

我們期待聽聽你創作的成果。

感謝 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 借出聲音。


關於作者

Suyin Wang

Suyin Wang

Suyin 是 AWS 的資深生成式 AI 解決方案架構師。她多年來致力建立以數據為本的應用程式及機器學習應用程式,解決現實問題。她樂於協助客戶找出值得解決的問題,並建立能創造業務價值的生成式 AI 解決方案。閒暇時,她喜歡唱歌,或在廚房試做新食譜。

Jonas Rohnke

Jonas Rohnke

Jonas 是 Amazon Polly 的資深技術項目經理。他將科學、工程和產品工作結合起來,讓研究成果中的新語音能夠送到客戶手上,包括本文提及的複製語音。他喜歡簡單明瞭的計劃,也喜歡真正能讓人聽到的產品發布。工作以外,他會操控無人機在英格蘭鄉郊上空拍攝短片,也會製作辣椒油,辣度比他承認的高得多。

Nikie Xiong

Nikie Xiong

Nikie 是 Amazon Polly 的資深技術產品經理,在 AI、語音技術,以及推動創新產品從構思到推出方面,於消費者及企業市場累積了 10+ 年經驗。她具備產品設計和媒體娛樂製作背景,熱衷於打造令客戶欣喜的產品和體驗。工作以外,她會創作互動藝術,也喜歡 techno 音樂。

來源:AWS Machine Learning Blog · aws.amazon.com