跳到正文
OpenAI News·· 2025-03-20精選AI 評分64

OpenAI 在 API 介紹新一代音訊模型

Introducing next-generation audio models in the API

AI 導讀

OpenAI 介紹 API 新一代音訊模型,文字轉語音模型可按開發者指示採用特定説話方式。例如,開發者可要求模型「像富有同理心的客服智能體那樣説話」,為語音智能體提供更多自訂空間。

推薦理由

開發者可用指示控制文字轉語音模型的説話方式,例如採用富有同理心的客服智能體語氣,讓語音智能體的表達方式有更多自訂空間。

正文 · 繁體中文

OpenAI

一系列全新的音訊模型現已向全球開發者開放,可用於打造語音代理。

更新(August 28, 2025):我們宣佈 Realtime API 正式開放使用。 在此了解更多。


在過去幾個月,我們一直致力於提升文字型智能代理(即能代表使用者獨立完成任務的系統)的智能程度、能力和實用性,期間推出了 Operator、Deep Research、Computer-Using Agents,以及配備內置工具的 Responses API 等產品。然而,要讓智能代理真正實用,人們必須能與它們進行更深入、更直觀的互動,不能只用文字,而要透過自然口語有效溝通。

今天,我們在 API 推出全新的語音轉文字和文字轉語音音訊模型,讓開發者能打造更強大、可自訂且更智能的語音代理,帶來真正的價值。我們最新的語音轉文字模型創下全新的業界最佳基準,在準確度和可靠性方面超越現有方案,尤其是在涉及口音、嘈雜環境和語速各異等具挑戰性的情況下。這些改進提升了轉錄可靠性,令模型特別適用於客戶服務中心、會議紀錄轉錄等用途。

開發者首次可以指示文字轉語音模型以特定方式說話,例如「像一位善解人意的客戶服務專員那樣說話」,為語音代理帶來更高層次的自訂能力。這讓各種量身打造的應用成為可能,從更有同理心、表達更靈活的客戶服務語音,到為創意故事體驗提供富表現力的旁白。

我們在 2022⁠ 年推出首個音訊模型,自此以來一直致力於提升這些模型的智能程度、準確度和可靠性。透過這些全新的音訊模型,開發者可在 API 內打造更準確、更穩健的語音轉文字系統,以及更富表現力、各具特色的文字轉語音聲線。

平靜

衝浪者

專業人士

中世紀騎士

真實罪案愛好者

睡前故事

深入了解我們最新的音訊模型

全新語音轉文字模型

我們推出全新的 gpt-4o-transcribe 和 gpt-4o-mini-transcribe 模型。與原版 Whisper 模型相比,這些模型的詞錯誤率有所改善,語言辨識能力和準確度亦更高。

gpt-4o-transcribe 在多個既有基準測試中的詞錯誤率(WER)表現優於現有 Whisper 模型,反映我們的語音轉文字技術取得重大進展。這些提升直接來自針對性的強化學習創新,以及使用多元、高品質音訊數據集進行的大量中期訓練。

因此,這些全新的語音轉文字模型能更好地捕捉語音細節、減少辨識錯誤,並提高轉錄可靠性,尤其是在涉及口音、嘈雜環境和語速各異等具挑戰性的情況下。這些模型現已於 語音轉文字 API⁠(會在新視窗開啟) 提供。

詞錯誤率(WER)透過計算錯誤轉錄的字詞佔參考文字稿的百分比,來衡量語音辨識模型的準確度;WER 越低越好,代表錯誤越少。我們最新的語音轉文字模型在多項基準測試中的 WER 均較低,包括 FLEURS(語音通用表徵的少樣本學習評估)——這項多語言語音基準測試使用人工轉錄的音訊樣本,涵蓋超過 100 種語言。結果顯示,這些模型的轉錄準確度更高,語言覆蓋範圍也更全面穩健。如圖所示,我們的模型在所有語言評測中均持續優於 Whisper v2 和 Whisper v3。

在 FLEURS 基準測試中,我們的模型 WER 較低,多語言表現出色。WER 越低越好,代表錯誤越少。如圖所示,我們的模型在大部分主要語言上的表現均媲美或優於其他領先模型。

全新文字轉語音模型

我們亦推出全新的 gpt-4o-mini-tts 模型,可控性更佳。開發者首次可以指示模型不但要說甚麼,還要如何表達,讓客戶服務到創意故事敘述等不同用途都能提供更個人化的體驗。模型現已於 文字轉語音 API⁠(會在新視窗開啟) 提供。請注意,這些文字轉語音模型僅提供人工合成的預設聲線;我們會監察這些聲線,確保它們始終符合合成語音預設。

模型背後的技術創新

採用真實音訊數據集進行預訓練

我們的新音訊模型以 GPT‑4o 和 GPT‑4o‑mini 架構為基礎,並在專門的音訊數據集上進行大量預訓練,這對最佳化模型表現至關重要。這種針對性做法有助深入掌握語音細節,令模型在各類音訊相關任務中表現出色。

先進的蒸餾方法

我們改良了蒸餾技術,讓知識能從規模最大的音訊模型轉移至更小、更有效率的模型。透過先進的自我對弈方法,蒸餾數據集能有效捕捉真實的對話互動模式,重現用戶與助手之間自然的互動。這有助較小型模型提供出色的對話質素和回應能力。

強化學習範式

我們的語音轉文字模型採用以強化學習(RL)為主的訓練範式,大幅提升轉錄準確度,達到業界頂尖水平。此方法顯著提高精確度並減少模型幻覺,令我們的語音轉文字方案在複雜的語音辨識情境中極具競爭力。

這些發展代表音訊建模領域的進步,結合創新方法與實用改進,以提升語音應用的效能。

API 可用情況

這些全新音訊模型現已開放予所有開發者使用;有關如何運用音訊進行開發的更多資訊,請參閱 此處⁠(會在新視窗開啟)。對於已使用文字型模型打造對話體驗的開發者,加入我們的語音轉文字和文字轉語音模型,是打造語音代理最簡單的方法。我們正推出與 Agents SDK⁠(會在新視窗開啟) 的整合,讓開發流程更簡單。對於希望打造低延遲語音轉語音體驗的開發者,我們建議使用 Realtime API 中的語音轉語音模型進行開發。

下一步

展望未來,我們計劃繼續投資提升音訊模型的智能程度和準確度,並探索讓開發者自行提供自訂聲線、打造更個人化且符合我們安全標準的體驗的方法。此外,我們正 繼續⁠ 與政策制定者、研究人員、開發者和創意工作者交流,探討合成語音帶來的挑戰與機遇。我們期待看到開發者運用這些增強的音訊能力,打造創新且富創意的應用。我們亦會投資其他模態,包括影片,讓開發者打造多模態代理體驗。

直播重播

作者

OpenAI

研究負責人

Christina Kim, Junhua Mao, Yi Shen, Yu Zhang

貢獻者

研究

Alex Paino, Bowen Cheng, Chengxu Zhuang, Chris Koch, Damian Mrowca, Erik Ritter, Jacob Menick, James Betker, Ji Lin, Jamie Kiros, Jiahui Yu, Liang Zhou, Liyu Chen, Kevin Lu, Madeline Boyd, Michael Lampe, Mike Heaton, Nanxin Chen, Nitish Keskar, Saachi Jain, Sam Toizer, Somay Jain, Tao Xu, Tomer Kaplan, Wei Han, Xiangning Chen, Ye Jia

工程

Alina Wu, Andres Garcia Garcia, Arshi Bhatnagar, Avital Oliver, Brendan Quinn, Christina Huang, David Fang, Dragos Oprica, Dominik Kundel, Edede Oiwoh, Iaroslav Tverdokhlib, Jiacheng Feng, Jay Chen, Jenia Varavva, Jordan Sitkin, Joseph Florencio, Lien Mamitsuka, Mada Aflak, Manoli Liodakis, Mark Hudnall, Noah MacCallum, Ola Okelola, Peter Bakkum, Rohan Mehta, Romain Huet, Wanning Jiang, Wayne Chang, Yilei Qian

產品

Anubha Srivastava, Jackie Shannon, Jeff Harris, Reah Miyara, Xiaolin Hao

領導層支持者

Aidan Clark, Andrew Gibiansky, David Sasaki, Kevin Weil, Liam Fedus, Mark Chen, Nick Ryder, Nick Turley, Olivier Godement, Prafulla Dhariwal, Shengjia Zhao, Shuchao Bi, Sherwin Wu, Sulman Choudhry

來源:OpenAI News · openai.com