跳到正文
Google Research·· 1 天前精選AI 評分67

Google Duplex 如何演進至可在 Gemini 中代用戶致電商戶

How Google Duplex evolved to also call businesses for you in Gemini

AI 導讀

Google 本週在 Gemini App 的 Tasks 推出 Duplex,讓 AI 智能體可代用戶致電商戶,處理預約等實際事務。文章回顧其架構由早期封閉領域模型、混合式生成模型,演進至以 Gemini 統一多模態理解、規劃及對話生成。系統亦針對電話線路噪音及低延遲對話作調校,通話開始時會表明是 Google 的自動化系統,商戶亦可選擇退出自動化來電。

推薦理由

文章梳理 Duplex 從封閉領域模型、混合架構到 Gemini 統一呼叫系統的演進,並交代即時電話場景對低延遲、語境理解及商戶控制的要求。

正文 · 繁體中文

完成餐廳訂座或預約髮型服務等任務十分耗時。即時電話對話節奏很快,而且很少按固定稿件進行。電話另一端的人幾乎甚麼都可能會説,甚至會在句子中途改變想法;人們亦經常依靠細微的語氣變化,判斷輪到誰説話。停頓多半秒,聽起來就像電話斷線;太早開口,雙方就會互相打斷。要運用 AI 以尊重對方的方式完成這些電話任務,我們必須考慮如何在單一低延遲系統中,結合高質素的語音理解、語境推理和語音合成。

近十年前,我們推出了 Google Duplex,希望應對這項挑戰。隨着基礎模型不斷進步,Duplex 架構亦持續演進,為 Google 搜尋和 Maps 等多項核心產品提供支援,讓系統能自主完成任務。本週,我們在 Tasks in Gemini App 推出 Duplex。這款個人 AI 協作工具可以協助安排現實生活中的事務,例如代用戶致電商戶,並代為處理現實生活中的要求。本文將回顧這項技術歷時十年的架構演進,瞭解它如何從早期的封閉領域模型,發展成完全以 Gemini 建構的統一技術堆疊。

從封閉領域通話到 Gemini 的 Tasks

這項技術最初只是狹窄、專門處理特定任務的系統,很快便發展成共用的對話基礎設施,並與 Google 各團隊合作建構。

COVID-19 疫情期間,商戶的營業時間和服務迅速變動,Duplex 加強了自動核實商戶資訊的工作,以確保商家資料準確。它至今仍是重要的資料來源;例如,正如我們在 2023 年分享,來自 Duplex 電話通話的商戶資訊,曾在搜尋和 Maps 上顯示超過一萬億次。

與此同時,我們與 Android 和硬件團隊合作,將這些對話模型直接帶到裝置上。自 2019 年起,我們在連續五代 Pixel 手機上推出新的 Pixel Call Assist 功能。這些模型至今仍為 Call Screen 和 Hold for Me 等功能提供支援,協助用戶過濾陌生來電,並在等候隊列結束時重新接聽,與真人客服交談。2025 年和 2026 年,基礎模型令 Google Search 和 Ask Maps 推出更廣泛的代理式通話功能,可查詢報價、產品供應情況,以及寵物美容到汽車維修等服務是否營業。

三代對話架構

過去十年,支援這些通話的技術堆疊歷經三個截然不同的階段,從度身訂造的神經網絡流程,演進至採用 Gemini 的統一架構。

1. 大型語言模型出現前的封閉領域模型

我們在現代語言模型出現之前,甚至在Transformer本身發明之前,便開始研發 Google Duplex。在早期,為確保商戶和用戶都有良好體驗,我們把 Duplex 限制在狹窄的領域,並使用匿名化、按任務分類的電話對話資料,訓練專用的循環神經網絡模型。由於沒有預訓練的世界知識,我們教導模型如何有效處理每一種特定任務。實際上,這表示每種任務都需要大量訓練數據,例如理解餐廳訂位的嚴格流程,與查詢假日營業時間的分別,以確保系統能可靠地按特定領域的邏輯運作。

2. 早期生成式模型與混合技術堆疊

隨着開放領域基礎模型逐漸成熟並投入應用,Google Duplex 也開始在正式環境中使用這些模型。例如,Duplex 在 2022 年的實時通話中使用了LaMDA。這些預訓練模型簡化了理解和常識推理,讓系統能處理意料之外的對話轉折和離題內容,同時像一般餐廳訂位一樣,以情境為依據。

然而,這些早期生成式模型的可預測性較低,有時也比現今的模型慢,因此我們建立了混合技術堆疊,將生成式模型的靈活措辭能力,與確定性的狀態追蹤及嚴格的政策防護機制結合。這有助確保用戶和商戶都有良好體驗。

3. 不受限制的任務與 Gemini 整合

隨着基礎模型日益進步,我們不再限制系統只能處理固定行業領域的任務,改為以自由文本描述任務。模型只需透過提示詞便能定義任務,讓系統可以應用到新的任務類型和細節(例如要求靠窗座位,或多一點位置放嬰兒車),以及新的商戶類別,而不必從頭建立獨立的對話模型。

我們的通話技術堆疊採用 Gemini,整合多模態理解、規劃和對話生成,讓系統能處理多重限制的要求,例如避開行事曆上的衝突安排汽車維修,並在接待員提出另一個時段時作出調整。

實時電話通訊的技術難題

即使有最先進的模型,實時電話通訊仍有一些難題,單靠在網絡等標準數據集上進行預訓練並不能解決:

  • 通話前及對話情境的語用依據,以及對現實意圖的理解:網絡上的數據並不足以呈現與繁忙商戶通話時的實際情況。近十年來處理以目標為導向的通話的經驗,讓我們的技術堆疊掌握語用慣例,甚至能在通話開始前便作出判斷。實際上,這表示根據過往對話的歷史情境,將自由文本任務與商戶配對(例如得知某個商戶在週末不接受大型團體預約),以預測任務能否順利完成。通話期間,這有助模型判斷當下適合提出甚麼問題、如何理解禮貌而含蓄的拒絕,以及如何令通話簡短而有效。
  • 嘈雜聲學環境下的亞秒級延遲:通話經壓縮的電話線路進行,背景可能有廚房器具碰撞聲、意式咖啡機聲、街道噪音及旁人交談等嘈雜聲音。我們的技術堆疊經過調校,可進行低延遲串流推理,讓回覆以自然的節奏傳達。自訂的聲學模型和對話節奏模型,協助核心 AI 系統處理背景噪音和停頓,並在適當時停止説話等。

為通話雙方而設計

Duplex 必須對接聽電話的商戶和用戶同樣好用。這個原則影響了多項設計選擇:

  • 清晰披露。每通電話一開始都會清楚説明來電者是 AI 代理,具體而言,是由 Google 致電的自動化系統。
  • 商戶掌握主導權。商戶可在 Google 商家檔案設定中選擇不接收自動來電,或在通話期間直接説「請不要再致電本店」。
  • 無需設定,亦無需適應。Duplex 透過商戶原本接聽電話的電話運作:無需安裝軟件、維護預約系統或培訓員工。無論由誰接聽,都可以像應付任何客戶一樣處理來電,即使正值繁忙時段、櫃枱前有人排隊也一樣。
  • 一次對話,多項實用資訊。一次通話收集的資料可以解答日後的多個問題,商戶便無需反覆回答相同問題。例如,Google 地圖可顯示 Duplex 收集的商戶資訊,例如歡樂時光優惠、露台座位、是否適合帶寵物、泊車提示,甚至每週問答之夜。

結語

許多日常事務、本地服務和緊急工作,仍然需要直接與他人交談,才能可靠地協調細節。將 Duplex 的功能整合至 Gemini App 中的 Tasks,是我們進一步完善這個流程的舉措。自然語音互動成為無縫整合的互動方式,Agent 可在網上 API 或預約表格等結構化數碼渠道不存在時使用。透過最新的 Gemini 4 模型,包括Gemini 4 Hydrogen和Gemini 4 Neon,Gemini 中的 Tasks 現在可支援更全面的工作流程,例如分析公用事業費單、透過Agent Payments Protocol安全處理交易,以及透過電郵和 Rich Communication Services (RCS) 與用戶協調。藉着這些功能,我們正將這項研究成果帶入新一代 AI 助理服務。

鳴謝

我們衷心感謝 Duplex 團隊,以及 Google 內所有領導和參與這段長達十年的歷程的人士。特別感謝 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster,以及團隊內許多其他成員,推動轉型至由 Gemini 驅動的通話功能,並促成 Gemini 中的 Tasks 推出。

來源:Google Research · research.google