跳到正文
阿里雲開發者社區 AI·· 6 天前AI 評分42

SmartCall 如何為 AI 呼叫中心擴展自訂端對端語音模型

SmartCall如何为 AI 呼叫中心扩展自定义端对端语音模型

AI 導讀

SmartCall 以 Adapter、Session、Listener 三個統一接口,為 AI 呼叫中心提供自訂端對端即時語音模型的插件化接入方案。接入者實作 Adapter 和 Session,即可處理廠商協議轉換、音訊收發及事件回調;框架負責採樣率轉換、打斷編排和會話管理。方案以內網 vLLM 部署 Qwen3-Omni 示範接入流程。

正文

2026-11-16 13

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: SmartCall 提出端对端实时语音模型插件化方案,通过 `Adapter`、`Session`、`Listener` 三接口抽象,一行代码即可接入任意厂商的全双工语音模型(如Qwen-Omni、GPT-4o),屏蔽协议差异,统一管理音频、事件与参数,大幅提升AI呼叫中心扩展性与实时性。(239字)

从架构设计到一行代码接入:聊聊 SmartCall 的端对端实时模型插件化方案


背景:端对端模型正在改变实时语音交互

传统的 AI 呼叫中心通常采用 ASR → LLM → TTS 的级联流水线:先识别语音转文字,再大模型思考,最后合成语音播报。每一步都有延迟,串在一起体验割裂。

而像 Qwen3-Omni、GPT-4o 这类端对端实时语音模型,直接在音频层面完成"听—想—说"的全流程,延迟压到毫秒级,还能感知语气、情绪,甚至主动打断。这才是真正自然的电话对话体验。

问题是:模型厂商那么多,协议各不同,怎么让系统轻松接入任意一个新模型?


两种模式:端对端 vs 组合编排

SmartCall 把智能体的模型配置抽象为两种模式:

模式 Provider 模型绑定 适用场景
端对端 dashscope / openai / ... 1 条 realtime Qwen-Omni、GPT-4o 等原生全双工模型
组合编排 customize 3 条(LLM + ASR + TTS) 自选模型拼装,灵活可控

本文聚焦端对端模式——只要你的模型能接收音频、输出音频,就能通过统一的插件接口接入系统。


核心架构:三板斧搞定任意模型

整个扩展体系围绕三个接口展开,职责清晰、边界分明:

┌──────────────────────────────────────────────────┐
│              编排层(电话会话生命周期)              │
│                      │                            │
│              RealtimeModelAdapter                 │
│              (适配器:工厂 + 配置)                 │
│                      │                            │
│              RealtimeModelSession                 │
│              (会话:一通电活的模型连接)             │
│                      │                            │
│              RealtimeSessionListener              │
│              (回调:事件上抛给编排层)              │
└──────────────────────────────────────────────────┘

第一板斧:RealtimeModelAdapter — 适配器

它告诉框架"我能处理哪个厂商的模型",并负责创建会话实例。核心就几件事:

  • provider():声明厂商标识(如 dashscope),框架按此自动路由
  • supports(config):同一个厂商可能有多种协议实现,比如百炼的 Audio 和 Omni 模型族会话格式不同
  • getInputSampleRate / getOutputSampleRate:声明音频格式,框架自动完成采样率转换
  • createSession(config, listener):工厂方法,每次通话创建独立的模型会话

只需实现这个接口并注册为 Spring Bean,框架启动时就会自动发现并纳入路由表。

第二板斧:RealtimeModelSession — 会话

这是一通电话中与模型的实时连接,生命周期与通话绑定。你需要实现的关键方法:

  • connect() — 建连并下发模型配置(提示词、音色、VAD 参数、工具定义等)
  • appendAudio(pcm) — 把电话那头的用户语音源源不断喂给模型
  • cancelResponse() — 用户打断时取消当前播报
  • speakText(text) / speakInstruction(instruction) — 推送文本让模型朗读(如技能播报、静默引导语)

不需要的方法用 default 抛 UnsupportedOperationException,接口已提供默认实现,按需覆写即可。

第三板斧:RealtimeSessionListener — 事件回调

模型发生的事情,通过这套回调通知编排层:

  • onUserSpeechStarted / onUserSpeechStopped — 用户起说/说完
  • onUserTranscript(text) — 用户说了什么
  • onBotAudio(pcm) — 模型输出的音频帧
  • onBotTranscript(text) — 模型说了什么
  • onResponseDone(truncated) — 本轮播报结束(含被打断)
  • onFunctionCall(request) — 模型要调工具了

你的适配器内部负责把厂商私有协议事件翻译成这些统一回调即可。


实战:接入一个自部署的 Omni 模型

以接入内网 vLLM 部署的 Qwen3-Omni 为例,整个扩展只做了两件事:

1. 写一个 Adapter

VllmOmniAdapter implements RealtimeModelAdapter
  ├── provider() → "dashscope"
  ├── getInputSampleRate() → 16000
  ├── getOutputSampleRate() → 24000
  └── createSession() → new VllmOmniSession(config, listener)

因为 vLLM 部署仍然是百炼协议(Omni Realtime V3),所以 provider 复用 dashscope,用 supports() 根据 URL 是否为百炼官方地址来区分路由。

2. 写一个 Session

VllmOmniSession implements RealtimeModelSession
  ├── connect() → WebSocket 建连 → 下发 session.update
  ├── appendAudio() → PCM 转 Base64 → 发送到 WS
  ├── 事件分发 → 把 WS 返回的 JSON 事件翻译为 Listener 回调
  └── cancelResponse / speakText → 用 Omni SDK 的 response.cancel / response.create

核心工作量在 事件分发(dispatch) 上:收到哪个 type 就回调哪个 Listener 方法,本质是一次协议翻译。

接入后的链路

Asterisk 电话  ──PCM──▶  Java 编排层  ──WS──▶  vllmomni 适配层  ──HTTP──▶  vLLM
                         ↑ 零改动                   ↑ 新增 Adapter+Session     ↑ 已有推理服务

Java 侧完全不知道模型跑在百炼云还是内网——这就是插件化的价值。


参数体系:模型的"配置模板"

除了运行时适配,系统还提供了参数模板自动推导能力。在管理后台新增模型时,系统会根据你填的 provider + type + model 自动生成可配置的参数面板:

  • 百炼 Omni 系列:turn_detection_threshold、silence_duration_ms、enable_thinking
  • CosyVoice TTS:instruction(风格指令)、seed(随机种子)、language(合成语言)
  • GPT Reasoning 系列:reasoning_effort(思考强度)

参数模板由 ModelParameterProfiles.resolve() 集中管理。你的新模型如需自定义参数,在这里注册即可,前端零改动。


总结:扩展一个模型的成本

回顾整套方案,接入一个自定义端对端模型的真实成本:

工作项 工作量 说明
实现 RealtimeModelAdapter ~30 行 声明厂商、采样率、工厂方法
实现 RealtimeModelSession ~200-400 行 核心:建连 + 事件翻译 + 音频收发
注册参数模板(可选) ~10 行/参数 让管理后台可配置模型参数
注册 Spring Bean 0 行 @Component 即可,自动发现

核心逻辑就是 建连 + 协议翻译,剩下的事情(采样率转换、打断编排、会话管理、电话挂接)框架全包。

架构上始终贯彻一个原则:厂商差异关在适配器里,编排层只看见统一接口。不管是百炼云、vLLM 自部署,还是未来接入火山引擎、DeepSeek 的实时语音——都只是在 RealtimeModelAdapter 的 List 里多一个 Bean 而已。


开源仓库:https://gitee.com/gdzWork/SmartCall

來源:阿里雲開發者社區 AI · developer.aliyun.com