跳到正文
OpenAI News·· 2025-08-28精選AI 評分76

OpenAI 發佈 gpt-realtime 語音對語音模型並更新 Realtime API

Introducing gpt-realtime and Realtime API updates

AI 導讀

OpenAI 發佈更先進的語音對語音模型 gpt-realtime,並為 Realtime API 加入新 API 能力。更新包括 MCP server 支援、圖像輸入及 SIP 電話呼叫支援。

推薦理由

公告同時列出語音對語音模型與 Realtime API 的更新,並點明 MCP server、圖像輸入及 SIP 電話呼叫支援,方便掌握本次功能範圍。

正文 · 繁體中文

今天,我們正式全面開放 Realtime API,並推出新功能,讓開發者和企業能夠建立可靠、可在正式環境使用的語音代理。API 現在支援遠端 MCP 伺服器、圖像輸入,以及透過會話初始協定 (SIP) 撥打電話,讓語音代理能夠存取更多工具和上下文資訊,進一步提升能力。

我們亦推出迄今最先進的語音到語音模型—gpt-realtime。新模型在遵從複雜指示、精準呼叫工具,以及生成聽起來更自然、更富表現力的語音方面都有所提升。它更善於理解系統訊息和開發者提示詞——無論是在客戶支援通話中逐字讀出免責聲明稿、覆述英數字元,還是在句子中途流暢切換語言。我們亦推出兩種全新語音 Cedar 和 Marin,兩者由今天起僅於 Realtime API 提供。

自我們去年 October 首次以公開測試版推出 Realtime API 以來,已有數以千計的開發者使用 API 開發,並協助塑造我們今天推出的改進;這些改進針對可靠性、低延遲和高品質作出優化,令語音代理能成功部署至正式環境。傳統流程會將多個模型串連起來,分別處理語音轉文字和文字轉語音;Realtime API 則透過單一模型和 API 直接處理並生成音訊。這樣可降低延遲、保留語音中的細微差異,並產生更自然、更富表現力的回應。

隆重介紹 gpt-realtime

全新的語音到語音模型—gpt-realtime—是我們目前最先進、可供正式環境使用的語音模型。我們與客戶緊密合作訓練此模型,讓它能勝任客戶支援、個人助理和教育等實際任務,並配合開發者建立和部署語音代理的方式。模型在音訊品質、智能、遵從指示和函數呼叫方面都有所提升。

音質

在真實世界部署語音代理時,自然流暢的對話至關重要。模型需要像人一樣以語調、情感和語速說話,才能帶來愉快的體驗,並鼓勵使用者持續交談。我們訓練了 gpt-realtime 以生成更高品質、聽起來更自然的語音,並遵從細緻入微的指示,例如「說話要快而專業」或「以法語口音、富同理心地說話」。

我們在 API 中推出兩種全新語音 Marin 和 Cedar,兩者在語音自然度方面的改善最為顯著。我們亦更新現有的八種語音,讓它們同樣受惠於這些改進。

語音樣本 - Marin

語音樣本 - Cedar

智能與理解能力

gpt-realtime 的智能表現更佳,亦能更準確地理解原生音訊。模型能捕捉非語言線索(例如笑聲)、在句子中途切換語言,並調整語氣(「俐落而專業」與「友善且富同理心」)。根據內部評估,模型偵測其他語言中的字母數字序列(例如電話號碼、VINs 等)也更準確,這些語言包括西班牙語、中文、日語和法語。在衡量推理能力的 Big Bench Audio 評估中,gpt-realtime 的準確率為 82.8%,勝過我們於 December 2024 推出的舊模型;舊模型的準確率為 65.6%。

這項 Big Bench Audio⁠(在新視窗中開啟) 基準測試是一個用於評估支援音訊輸入的語言模型推理能力的評估資料集。這個資料集將 Big Bench Hard 中因嚴格測試進階推理能力而被選中的問題改編至音訊領域。

遵從指示

建立語音到語音應用程式時,開發者會指示模型應如何行事,包括如何說話、在特定情況下要說甚麼,以及要做或避免做甚麼。我們集中改善模型遵從這些指示的能力,讓即使是細微指示也能更有效地影響模型。在衡量指示遵從準確度的 MultiChallenge 音訊基準測試中,gpt-realtime 的得分為 30.5%,比我們於 December 2024 推出的舊模型(得分為 20.6%)大幅提升。

MultiChallenge⁠(於新視窗開啟)評估 LLM 處理與人類多輪對話的能力。它聚焦於四類現今前沿模型難以應付的真實挑戰。這些挑戰要求模型同時結合遵從指示、上下文管理和上下文內推理能力。我們將一部分適合語音呈現的測試題目由文字轉換成語音,製作出這項評估的音訊版本。

函數呼叫

要用語音到語音模型建立具實用能力的語音代理,模型必須能在適當時機呼叫正確工具,才能在正式環境中發揮作用。我們從三方面改進函數呼叫:呼叫相關函數、在適當時機呼叫函數,以及傳入恰當的參數(從而提升準確度)。在衡量函數呼叫表現的 ComplexFuncBench 音訊評估中,gpt-realtime 的得分為 66.5%,而我們於 December 2024 推出的舊模型得分為 49.7%。

我們亦改善了 非同步函數呼叫⁠(於新視窗開啟)。長時間執行的函數呼叫不會再打斷工作階段的流程——模型在等待結果時仍可保持流暢對話。這項功能已在 gpt-realtime 中原生提供,因此開發者無須更新程式碼。

ComplexFuncBench⁠(於新視窗開啟)衡量模型處理具挑戰性的函數呼叫任務的能力。它評估模型在多步驟呼叫、推理限制或隱含參數,以及處理極長輸入等情境中的表現。我們將原始文字提示轉換成語音,為模型建立這項評估。

Realtime API 新功能

遠端 MCP 伺服器支援

只要在工作階段設定中傳入遠端 MCP 伺服器的 URL,便可在 Realtime API 工作階段啟用 MCP 支援。連線後,API 會自動為你處理工具呼叫,因此無須手動串接整合項目。

這種設定讓你輕鬆為代理擴充新功能——只需將工作階段指向另一個 MCP 伺服器,即可立即使用其中的工具。如要了解更多在 Realtime 中設定 MCP 的方法,請參閱 此指南⁠(於新視窗開啟)。

圖像輸入

圖像輸入現已在 gpt-realtime 中支援,你可以在 Realtime API 工作階段中,連同音訊或文字加入圖像、相片和螢幕截圖。現在,模型可以根據使用者實際看到的內容理解對話,讓使用者能提出「你看到甚麼?」或「讀出這張螢幕截圖中的文字」等問題。

系統不會把圖像當作即時影片串流,而會將它視為加入對話中的一張圖片。你的應用程式可以決定要與模型分享哪些圖像,以及何時分享。這樣你便能掌控模型看到甚麼,以及何時回應。

如要開始使用圖像輸入,請參閱我們的 文件⁠(於新視窗開啟)。

額外功能

我們新增了多項功能,讓 Realtime API 更易整合,在正式環境中的使用亦更靈活。

  • 會話初始協定 (SIP) 支援: 透過 Realtime API 的直接支援,可將你的應用程式連接至公共電話網絡、PBX 系統、桌面電話和其他 SIP 端點。 詳情請參閱文件。⁠(於新視窗開啟)

  • 可重用提示: 你現在可以在不同 Realtime API 工作階段之間儲存並重用提示,提示內容包括開發者訊息、工具、變數,以及使用者/助理訊息範例,就像在 Responses API 中一樣。 在文件中了解更多。⁠(於新視窗開啟)

安全與私隱

Realtime API 包含多層防護措施和緩解機制,有助防止濫用。如要了解更多安全措施和系統卡詳情,請參閱 公開測試版公告網誌⁠。我們會在 Realtime API 工作階段中運行即時分類器;如果偵測到某些對話違反有害內容準則,這些對話可能會被中止。開發者亦可輕鬆透過 Agents SDK⁠(於新視窗開啟)加入其他安全防護措施。

我們的 使用政策⁠禁止將我們服務的輸出改作其他用途或散佈,用以發送垃圾訊息、欺騙他人或達成其他有害目的。除非從上下文已顯而易見,否則開發者亦必須清楚告知終端使用者他們正在與 AI 互動。Realtime API 使用預設語音,協助防止惡意人士冒充他人。

Realtime API 全面支援 EU Data Residency⁠(於新視窗開啟),適用於以歐盟為基地的應用程式,並受我們的 企業私隱承諾⁠涵蓋。

定價與供應情況

正式全面開放的 Realtime API 及全新 gpt-realtime 模型今日起向所有開發者開放。我們正將 gpt-realtime 的價格下調 20%,比較基準為 gpt-4o-realtime-preview—$32 / 1M 音訊輸入 tokens ($0.40 的快取輸入 tokens) 及 $64 / 1M 音訊輸出 tokens (詳情請參閱 詳細定價⁠(於新視窗開啟))。我們亦新增對話上下文的精細控制功能,讓開發者可設定智能 token 上限,並一次截斷多個回合,大幅降低長時間工作階段的成本。

直播重播

來源:OpenAI News · openai.com