如何為影片內容建立 AI 配音工具
這篇教學示範如何用 Python 和 ElevenLabs 建立影片 AI 配音流程,將新語音軌合成並配回影片。流程包括擷取原音、選擇性轉錄及翻譯、生成新語音、調整音訊長度,以及將配音與影片合併。
這篇教學示範如何用 Python 和 ElevenLabs 建立影片 AI 配音流程,將新語音軌合成並配回影片。流程包括擷取原音、選擇性轉錄及翻譯、生成新語音、調整音訊長度,以及將配音與影片合併。
Apple 新一代 Siri Remote 加入 Precision Finding,支援所有四代 Apple TV 4K 及 Apple TV HD;2015 年前的 Apple TV 型號則不相容。
ElevenLabs 可透過伺服器端 Node.js 代理接入 React 應用,將文字送至 API,再把串流 MP3 音訊傳回瀏覽器播放。文章示範建立可重用的語音按鈕,並説明如何避免在瀏覽器暴露 API key,以及選用語音複製功能。
播客創作者可運用 AI 將單一語言的腳本翻譯並轉換成多語言音訊,製作多語言集數。文章以 ElevenLabs 示範 TTS 音訊生成流程,並介紹翻譯、語音克隆及音訊修整等步驟。複製聲音時,需準備 20–30 分鐘清晰錄音,模型訓練通常需時 30–60 分鐘。
M² 是一款運用 Presage SmartSpectra SDK 讀取呼吸、脈搏及面部表情的語音伴侶,協助用戶在回覆訊息前放慢步調。它會將讀數與用戶自己的平靜基線比較,提供建議但不會讀取或發送訊息;應用程式採用 MIT 授權並公開提供,且不屬於醫療裝置。
作者實測 ChatGPT 語音功能,並測試三種 OpenAI API 路線,發現這些系統能依歌詞辨認歌曲,卻幾乎不能只憑哼唱辨認旋律。在 MTG-QBH 測試中,逐字稿路線和 gpt-audio-1.5 各辨認有歌詞歌曲 71/76 首,gpt-realtime-2.1 辨認 74 首;對 30 段無詞錄音,三者分別只辨認 0、1、1 首。
OpenAI 已在 API 提供語音模型 GPT-Live-1.1,新增待機模式,閒置 WebRTC 時段每分鐘收費 $0.02,低於啟用時的 $0.05。模型支援多語言全雙工對話;OpenAI 稱其口音、轉錄、字母與數字處理及任務完成能力有所改善,但未公佈基準分數。待機期間推理會暫停而 WebRTC 連線保持開啟,閒置逾時可設定為 5 至 60 秒。
Qwen-Audio-3.1-Realtime 提供端到端全雙工實時語音對話,支援文字與音訊輸入及輸出,以及工具調用和聯網搜尋。Flash 主打較快、成本較低,Plus 側重效果;上下文長度為 262,144 Token,音訊歷史最多 50 輪、累計 300 秒。
Qwen-Audio-ASR-Flash-Streaming 是面向低延遲、高並發即時互動的語音識別模型,透過 WebSocket 或 AOQ 長連線逐段輸出文字,RPM 為 1200。
作者將 Echo 擴展成可自行託管、以 CPU 運行的語音複製工作室,能以數秒語音樣本生成指定聲線的朗讀,並讓 3D 虛擬角色同步嘴形。它使用 Coqui TTS 的 YourTTS 多語言模型,透過常駐 Python Worker 載入模型並逐項處理工作;語音庫和最近 50 次生成記錄則存於瀏覽器 IndexedDB。
Gistsmith 讓用戶自行選擇會議筆記的語言,無論參與者以甚麼語言交談,筆記都會使用所選語言。現時應用程式支援 35 種語言的語音輸入、37 種語言的筆記和即時翻譯,以及 12 種介面語言;筆記語言設定與 Mac 介面語言分開。代價是原文措辭的語氣可能在翻譯後流失。
Nothing 預告旗下首款 AI 原生硬件設備將於 12 月 8 日亮相,採用無屏幕設計,面向日常辦公與生產力場景。預熱圖片顯示,設備配有實體按鍵及 LED 狀態指示燈,預計主打會議記錄用途。
Thinking Machines Lab 於 2026 年 11 月 20 日發佈 Inkling 2 Mini,並以 Apache 2.0 授權釋出開放權重。
一次 ASR 測試中,音訊長 541.07 秒,辨識片段的結束時間卻達 552.04 秒,超出 10.97 秒,影響字幕及配音的時間對應。排查時應比較容器時長、解碼後音訊時長及送交辨識器的音訊樣本數,並測試時間戳異常和分段映射;截斷時間戳未必能令字幕同步。根本原因仍未確認,Windows 配合 NVIDIA GPU 的長影片重測仍在進行。
開發者可用 Python、React(或原生 JavaScript)、NewsAPI 和 ElevenLabs 建立語音新聞閲讀器,擷取新聞標題並轉成音訊串流播放。教學示範以 Flask 提供 `/read` 端點,亦説明如何選擇性地用 60 秒錄音複製聲音。ElevenLabs 免費方案每月提供 5,000 個字元。
微軟向 Beta、Experimental 頻道推送多個 Windows 11 預覽版,包括 Build 26340.10032,新增 People 小工具並優化藍牙 LE Audio 在啟用麥克風時的立體聲輸出。
VoiceStudio 是 AGPL-3.0 開源的本地 AI 語音工作台,文章整理 v0.5.1 的安裝及操作流程,涵蓋語音克隆、影片配音、有聲書製作和 API 自動化。
文章示範以 Deepgram 語音轉文字、Google Cloud Translate 翻譯及 ElevenLabs 文字轉語音,構建即時語音翻譯流程,並以 Node.js/Express 後端串接各項服務。範例程式少於 200 行,另建議使用 Deepgram WebSocket 串流 API,並分別擴展語音辨識和語音合成微服務。
開發者以 SmartSpectra 建立 Baseline CogniSync,將語音轉錄片段與眨眼事件及可選的凝視觀察資料整理配對。工具亦記錄頭部及面部方向等資料供檢視和匯出,但不推斷個人意圖、誠信或認知狀態。
Voxis 是一個 AI 文字轉語音平台,可將文字轉化為自然、富表現力的語音,並提供聲音複製、自訂聲音及多項語音生成參數控制。平台以 Chatterbox Turbo TTS 作為語音生成引擎,並支援互動式音訊波形播放、Cloudflare R2 音訊儲存及管理音訊、聲音和用量統計的儀錶板。
Google Gemini 團隊與野火追蹤應用程式 Watch Duty 合作,以 AI 工具轉錄消防無線電通訊,協助加快野火警報處理。在 2026 年 7 月華盛頓州 Railroad Fire 的測試中,工具在不到 30 秒內轉錄一通幾乎無法辨認的 911 通話。導入後,字詞錯誤率下降約 15%,志願者對無線電轉錄工具的滿意度由約 35% 升至 92%。
LiveKit 發佈 Turn Detector v1.1,在相同誤打斷率下,偵測延遲較 v1 降低 15–34%,並提供可在 CPU 執行的開放權重版本 v1.1-mini。
Together AI 現已提供 Qwen3 TTS,串流時最快 97ms 即可收到首段音訊,並可透過 Serverless Inference 或專用端點使用。模型提供 9 種預設聲線,每種均支援 10 種語言;開發者可用自然語言指令調整語氣,並透過 HTTP 或 WebSocket 串流音訊。
取得 Spotify Podcast 單集逐字稿的方法,是從 Apple Podcasts 搜尋節目的 RSS feed、比對集數,再轉錄 feed 中的音訊,而非直接處理 Spotify 音訊。作者亦提供 Apify Actor 一鍵流程;文中一次實測輸出 7,324 個單詞並附時間戳,費用約 $0.19,而 Spotify 獨家節目因沒有公開 feed,無法用此方法處理。
六款值得留意的 AI 家居辦公裝置包括 Flowtica Scribe Pen($159)、Anker Soundcore Work($159)、Logitech MX Keypad($99)、Kindle Scribe Colorsoft($629)、Insta360 Link 2 Pro($249)及 Autonomous Desk Pro($599)。
ChromePilot(Audiofy)透過 BYOK 使用 gemini-2.5-live,提供免費自然 AI 語音,是文中推薦的最佳免費 BYOK TTS 擴充功能。Audiofy 支援即時串流、網頁內容過濾、即時文字高亮及 30+ 種語音;文章亦比較 Speechify、Read Aloud 和 NaturalReader 的免費限制及付費價格。
Deependra Rajput 是 Synthlane 的軟件開發工程師,負責構建 LLM 應用、AI 語音自動化、RAG 系統及可擴展後端。他將分享生產環境中的實用經驗,包括降低 LLM 延遲、組建 AI 語音智能體、應對負載的 FastAPI 模式,以及提升 RAG 回答質素。
Vipul Singh 開發了一款完全在瀏覽器內執行 OpenAI Whisper 的轉錄工具,無須上傳或註冊,檔案數量、轉錄時長及單檔長度均不設上限。工具使用瀏覽器媒體引擎解碼,按需載入 Whisper/Transformers.js,並分開顯示模型下載與轉錄進度;説話者標記依據輪次變化,並非真正按聲音身份辨識説話者。
作者比較 6 款供語音智能體使用的語音隔離 API 與模型,指出只有 Krisp Voice Isolation 和 Arctan Eigen 專為移除第二個説話者而設。
作者在 Platypush 重構本地語音助手流程,新增 microWakeWord 喚醒詞插件,並以 Silero VAD 作為主要語音活動偵測後端。在合成語音混合背景雜音的測試中,舊設定在説話結束後仍會讓對話保持開啟 6–10 秒,新流程則縮至 1.0–1.6 秒,包括設定的 conversation_end_timeout 和平滑延遲。
恩智浦透過語音處理、音訊播放與邊緣 AI 技術,為智能眼鏡打造更自然、響應迅速的對話式 AI 體驗。Conversa Voice Suite 提供自適應多麥克風波束賦形、聲學回聲消除及機器學習降噪;Essential Audio Processing(EAP)則提供可配置的音訊處理演算法。
Akko 將於今晚 20:00 開售面向氛圍編程的多功能輸入設備靈動 Key,標價 268 元。設備支援三模連接,配備 3 顆按鍵、1 個旋鈕及全向麥克風,但藍牙模式不支援收音。收音系統針對低音量優化,並適配騰訊 WorkBuddy,亦支援辦公會議控制及手機/平板遙控。
Akko 將於今晚 20:00 開售面向氛圍編程開發的多功能輸入設備靈動 Key,現標價 268 元。設備支援三模連接,配備 3 顆按鍵、1 個旋鈕及全向麥克風,藍牙模式不支援收音。靈動 Key 適配騰訊 WorkBuddy,亦支援辦公會議控制及手機、平板遙控。
FluentSprout 的免費 TEF 口語檢測會將回答轉成文字,再由大型語言模型估算 CEFR 等級,並映射為 NCLC 練習範圍。這不是官方換算或考試成績,模型判斷可能相差一個等級;檢測只讀取文字稿,因此不能直接評估口音。錄音不會保留,結果會暫存於瀏覽器,直至用戶選擇儲存。
Qwen-Audio-ASR-Flash-Streaming 是通義實驗室為低延遲、高並發即時互動場景打造的語音識別模型,模型 ID 為 qwen-audio-3.0-asr-flash-streaming,RPM 為 1200。
語音 AI 服務可透過速率限制控制與快取,減少 API 呼叫、改善延遲並遵守配額限制。文章介紹 Token Bucket、Leaky Bucket 和指數退避策略,並以 ElevenLabs TTS 每分鐘 30 次請求為例示範 Token Bucket。Python 範例會先查詢快取,未命中時呼叫 ElevenLabs 合成語音,再把音訊儲存在本機以供重用。
AI-SaaSRadar 將 ElevenLabs 與 Cartesia 的語音生成方案統一換算為每分鐘成本,兩者分別約為 0,165–0,20 $ 和 0,028–0,038 $。按文中 2026 年 11 月 20 日查得的價格,Cartesia 每分鐘約便宜 4 至 6 倍;文章亦指出,ElevenLabs 側重配音及有聲書製作,Cartesia 則提供低延遲語音串流,選擇需配合任務。
阿里雲的 Qwen-Audio-3.1-Realtime 是端到端實時全雙工語音模型,支援文字及音訊雙模態輸入與輸出、工具調用、聯網搜尋和聲音複刻。
GPT-Live-1.1 按語音工作階段時長而非 token 計費,活躍時每分鐘 $0.05,WebRTC 推理暫停時每分鐘 $0.02,按秒計費且不會進位至下一分鐘。後端模型及託管工具按各自常規費率另行收費;文中以 8 小時桌面助理為例,持續開啟並使用待命模式每月需 $237.60,在使用間隔關閉工作階段則為 $44.00,按 22 個工作日計算。
GPT-Live-1.1 按會話時間而非 token 收費,活躍時段每分鐘 $0.05、待機時段每分鐘 $0.02,並按秒計費。待機只適用於推理已暫停的 WebRTC 會話,後端模型與工具調用則按各自費率另行收費。以每天開啟 8 小時、實際交談 40 分鐘的桌面助理為例,不設待機的日費為 $24.00,啟用待機為 $10.80,使用間關閉會話則為 $2.00。