GPT‑Live‑1 為 API 帶來自然全雙工語音對話
Build more natural voice experiences with GPT‑Live‑1 in the API
OpenAI 將 GPT‑Live‑1 引入 API,提供自然的全雙工語音對話及更強的指令遵循能力。它亦支援自訂聲音及電話服務。
原文列出全雙工對話、指令遵循、自訂聲音及電話支援,能讓讀者迅速掌握 GPT‑Live‑1 接入 API 後涵蓋的語音能力。
我們在 API 推出 GPT‑Live‑1,為開發者提供強大而自然流暢的語音模型,用於打造支援語音的應用程式和商業工作流程。 最初於 ChatGPT 推出,GPT‑Live‑1 能同時聆聽和說話,而且如 Codex 和 ChatGPT Work 所示(於新視窗開啟),亦可將更深入的推理和操作委派給與它配合的模型和工具。
在 GPT‑Live‑1 的 API 版本中,我們着重開發新功能,讓開發者能按使用者、工作流程和目標,引導並自訂語音體驗。流暢處理插話是 GPT‑Live‑1 的核心優勢之一,現已開始帶來實際業務效益:在初步評估中,Speak 發現,GPT‑Live‑1 讓學習者在語言導師回應前有更多思考時間,與以往以輪次為基礎的系統相比,插話次數減少近80%。
GPT‑Live‑1 在 API 中的主要優勢:
處理插話:透過單一模型同時推理輸入和輸出的音訊,改善插話處理能力,避免串接式 STT–LLM–TTS 架構所帶來的延遲和不穩定交接。
推理及工具呼叫委派: GPT‑Live‑1 可以將推理和工具呼叫委派給後端文字模型,例如 GPT‑6 Astra,或第三方模型。
語氣、語速和風格: 讓開發者透過系統提示詞塑造代理的語氣、語速和對話風格。
靜默上下文管理及背景噪音處理: 更妥善處理背景噪音和靜默情況,不會打斷對話,也不會逐步把每個步驟大聲說出來。
長時間對話的可靠性: 提升長時間互動中的上下文保留能力和對話品質。
電話通訊支援: 可部署全雙工語音代理處理電話通話,應用場景涵蓋餐廳訂位至客戶支援。
試用 GPT-Live-1
開始一段對話,自然地說話。插話、大笑、改變主意——在家中,或在咖啡店或城市街道等嘈雜場所試試看。
看看它能做到甚麼
- 自然地插話。 先請它幫忙,再在它回應到一半時插話,改變問題或補充細節。
- 帶着它同行。 在戶外步行時,或在有日常背景噪音的環境中試着與它對話,看看它如何一路配合你。
- 讓互動更有趣。 大笑、猶豫、作簡短回應,或短暫跟身邊的人交談——然後繼續對話。
此示範限時開放。使用此示範,即表示你同意 OpenAI 的條款,並確認已知悉我們的私隱政策。
簡化你的語音代理架構並降低語音延遲
傳統語音代理會將語音轉文字、推理模型和文字轉語音串接起來。每次交接都會增加延遲,亦會增加失去時序、上下文或對話自然節奏的機會。開發者往往要負責協調這些階段,包括 有人打斷對話、停頓或改變方向時的處理方式。
GPT‑Live‑1 以單一模型處理聆聽和說話,簡化語音層。它能即時回應插話和簡短確認回應,同時委派更深入的推理工作給後端。這讓對話可以繼續進行,而相關工作則在背景處理。
開發者可選擇對話背後使用的模型、工具和代理框架。例如,他們可以將 GPT‑Live‑1 與 Luna 之類的模型配搭,用於排程或訂單更新等高工作量任務;而對於需要推理的複雜客戶問題,則可使用 Astra 之類的模型。這種靈活性讓開發者可按每項任務調整推理深度、速度和成本。
GPT‑Live‑1 原生提供 ASR 轉錄文字和回應文字,亦具備出色的字母和數字理解能力,並支援關鍵詞偏置。雖然 GPT‑Live‑1 並非輪次式模型,但它原生支援輪次偵測,因此開發者仍可圍繞明確的輪次邊界建構應用。
衡量全雙工的優勢
在我們的各項評測中,GPT‑Live‑1 在 Full Duplex Bench 的表現比 GPT‑Realtime‑2.1 高出 30 個百分點,並在輪流發言延遲和互動行為方面大幅改善。配合中等推理力度的 GPT‑6 Astra 使用時,它亦在 Tau3 上排名 #1;該評測用於衡量語音代理在端到端任務中的前沿智能。
評估航空、零售和電訊領域的語音客戶服務任務。Pass@1 衡量任務成功率;總分對各領域採用相同權重。
* GPT Live 後端:Astra(中等)。
評估結合知識檢索和帳戶工具的語音銀行支援服務。Pass@1 為 97 項 banking_knowledge 任務中成功完成的比例。
* GPT Live 後端:Astra(中等)。
評估停頓處理、對話輪替、插話和聆聽者的附和回應。
測試系統對背景說話聲、向他人說話、聆聽者附和回應及插話的反應。
衡量使用者說完一輪後,代理開始回覆所需的時間。
測試系統如何根據包含自然停頓、猶豫和自我修正的語音請求使用工具。Pass@1 按工具呼叫序列評分。
* GPT Live 後端:Terra(低)。
評估系統對需要使用工具、且包含停頓、猶豫和自我修正的語音請求所作的口頭回答。評分衡量答案與參考意圖的吻合程度。
* GPT Live 後端:Terra(低)。
客戶怎麼說
第 1 項,共 4 項
新增語音選項
開發者需要既切合產品、又令使用者聽起來自然的聲音。透過 GPT‑Live‑1,我們正把原本少量的即時語音選項擴展為更多不同口音、方言和語言的選擇,讓開發者有更多選擇,自訂助理的聲音。
收聽全新語音
未來數月,我們會繼續增加語音選項,並擴展語言支援。
定價及供應情況
GPT‑Live‑1 現已可透過 API 開放使用,今日起(於新視窗開啟),前端語音層每分鐘收費 $0.05。配搭符合產品需求的後端模型和代理框架,然後打造能隨工作需求擴展的語音體驗。
將 GPT-Live-1 連接至 Codex。此節錄展示應用程式如何把對話上下文傳送給 Codex,並將其答案傳回 GPT-Live-1。連線設定及委派處理均已省略。
如欲使用自訂語音,請聯絡銷售團隊,了解更多有關資格條件和申請流程的資訊。
另一種以 GPT‑Live‑1 為基礎建立語音工作流程的方法,是使用 OpenAI Presence,它利用此模型支援即時語音互動。Presence 協助企業部署可信賴的 AI 代理,讓它們能回答問題、解決問題、使用公司系統、執行獲批准的操作,並在有需要時轉交人員處理。如欲了解更多,請聯絡你的 OpenAI 客戶總監。
來源:OpenAI News · openai.com