跳到正文
阿里雲開發者社區 AI·· 4 天前AI 評分52

SmartCall 如何為 AI 呼叫中心自由組合 ASR、LLM、TTS 模型

SmartCall如何为 AI 呼叫中心自由组合 ASR、LLM、TTS 模型

AI 導讀

SmartCall 基於 LiveKit Agents,讓 AI 呼叫中心可自由組合 ASR、LLM、TTS,並支援各環節獨立調參、替換及內網自部署。Java 會把模型配置組成快照交給 Python Agent,由 Factory 建立 LiveKit 標準元件,音訊流則經 LiveKit Room 傳送。

正文

2026-11-18 13

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: SmartCall 基于 LiveKit Agents 实现灵活的组合编排模式,支持像搭积木一样自由拼装 ASR、LLM、TTS 组件,解耦厂商绑定,独立调参、单独替换、内网自部署,兼顾性能、可控性与合规性。(239字)

不想被端对端模型"全家桶"绑定?聊聊 SmartCall 基于 LiveKit Agents 的组合编排模式,如何像搭积木一样拼装语音管线


两种路线:全家桶 vs 自助餐

上篇我们聊了端对端模型——像 Qwen3-Omni、GPT-4o 这类原生全双工模型,一条 realtime 绑定搞定"听—想—说"全流程。但现实中你可能会想:

  • ASR 用百炼 Qwen-ASR,LLM 用 DeepSeek,TTS 用火山引擎——三件事交给三个最擅长的厂商
  • 某个环节效果不满意,单独换掉它,不用动其他两个
  • 给每个环节独立调参:ASR 断句时长、LLM 温度、TTS 语速,互不干扰

这就是 customize(组合编排)模式。是一个基于 LiveKit Agents 框架的独立 Python 进程——smart-voice-agent。


整体架构:Java 管配置,Python 跑管线,LiveKit 传音频

┌──────────────────────────────────────────────────────────┐
│  Java(SmartCall 主进程)                                  │
│  ┌─────────────┐   ┌──────────────────┐                  │
│  │ call_model   │──▶│ RealtimeConfig   │  控制通道(WS)     │
│  │ 模型目录      │   │ Mapper 装配快照   │──────────────┐    │
│  └─────────────┘   └──────────────────┘               │    │
│                                                        │    │
│  ┌─────────────┐   ┌──────────────────┐               │    │
│  │ call_agent   │──▶│ AgentModelSlots  │               │    │
│  │ 智能体配置    │   │ 校验三槽完整       │               │    │
│  └─────────────┘   └──────────────────┘               │    │
└────────────────────────────────────────────────────────┘    │
                                                              ▼
┌──────────────────────────────────────────────────────────────┐
│  smart-voice-agent(Python 独立进程)                          │
│                                                              │
│  SessionConfig(Pydantic 契约校验)                             │
│       │                                                      │
│       ▼                                                      │
│  ProviderRegistry ──▶ build_pipeline()                       │
│       │                  │       │        │                  │
│       ▼                  ▼       ▼        ▼                  │
│  (kind, provider,   STTFactory  LLMFactory  TTSFactory       │
│   adapter) 三元组        │         │         │                │
│                          ▼         ▼         ▼                │
│                      stt.STT   llm.LLM   tts.TTS              │
│                      (LiveKit Agents SDK 标准接口)              │
└──────────────────────────────────────────────────────────────┘
                                 │
                                 ▼
                        LiveKit Room
                     (音频流、事件总线)

核心思想:Java 只负责把模型配置组装成一份跨语言快照,通过 WebSocket 下发给 Python Agent。Agent 根据快照里的 (provider, adapter) 找到对应的工厂,创建 LiveKit SDK 标准的 STT / LLM / TTS 组件。音频流全部走 LiveKit Room,不经过 Java。


三层抽象:Factory → Registry → Pipeline

第一层:ProviderFactory — 一个模型一种工厂

每种 (STT / LLM / TTS) × (厂商) × (协议) 的组合,对应一个 Factory 子类。Factory 不建连接、不读凭证,只管三件事:

生命周期 方法 职责
校验 validate(config, audio) 检查认证类型、音频格式、必填参数是否对得上,不满足直接抛 ProviderConfigError
构造 create(config, resources, audio) 真正 new 出 SDK 组件,把连接池等资源登记进 PipelineResources(通话结束自动逆序释放)
预热 prewarm(component) 连接池插件在此完成鉴权建连,必须等到可验证的就绪结果,失败则阻止通话启动

三种 Factory 的产物类型由 LiveKit SDK 约束:

  • STTFactory → stt.STT(流式语音识别,输出 INTERIM_TRANSCRIPT / FINAL_TRANSCRIPT)
  • LLMFactory → llm.LLM(LLM 对话,输入 messages 输出流式文本)
  • TTSFactory → tts.TTS(语音合成,输入文本输出音频帧)

产物都是 LiveKit SDK 的标准抽象,Agent 核心逻辑不写一行 if provider == "dashscope"——完全由 Factory 屏蔽厂商差异。

第二层:ProviderRegistry — 冻结的注册表

所有 Factory 按 (kind, provider, adapter) 三元组注册到一张全局注册表里,启动时冻结:

("stt",  "aliyun",    "nls")               → AliyunSTTFactory
("stt",  "dashscope", "fun_asr_realtime")   → FunASRSTTFactory
("stt",  "dashscope", "qwen_asr_realtime")  → QwenASRSTTFactory
("tts",  "aliyun",    "nls")               → AliyunTTSFactory
("tts",  "doubao",    "seed_tts")           → DoubaoTTSFactory
("tts",  "dashscope", "cosyvoice")          → CosyVoiceTTSFactory
("tts",  "dashscope", "qwen_tts")           → QwenTTSFactory
("llm",  "openai",    "chat_completions")   → OpenAILLMFactory
("llm",  "openai",    "responses")          → OpenAILLMFactory (Responses)
("llm",  "dashscope", "generation")         → DashScopeLLMFactory
("llm",  "dashscope", "chat_completions")   → OpenAILLMFactory (兼容)
("llm",  "deepseek",  "responses")          → DeepSeekLLMFactory

注册表一旦冻结,通话期间不可更改——防止运行时注入不受信的工厂代码。

第三层:build_pipeline — 按快照装配三件套

每通 customize 电话进来,Agent 拿到 Java 下发的 SessionConfig,调用 build_pipeline():

  1. 从快照里拆出 stt / llm / tts 三个 ModelConfig
  2. 到注册表里按 (kind, config.provider, config.adapter) 找到对应的 Factory
  3. 逐个调 validate → create → prewarm
  4. 任一步失败,已构造的组件逆序释放,错误上抛
  5. 成功则返回 Pipeline(stt=..., llm=..., tts=...),交给 Agent 主循环驱动

至此,ASR 开始听、LLM 开始想、TTS 开始说——各玩各的协议,Agent 只看见统一的 LiveKit SDK 接口。


实战:三个典型扩展场景

场景一:接入新厂商的 TTS(火山引擎 SeedTTS)

已有实现可参考 apps/tts/doubao/seed_tts/:

  1. 写 Factory:继承 TTSFactory,实现 validate(校验 doubao_app 认证、voice 非空、采样率白名单)和 create(new DoubaoTTS,传入 auth、endpoint、speaker、prewarm 池大小)
  2. 写 TTS 组件:继承 tts.TTS,封装火山双向流式 WebSocket 协议,实现 synthesize() 输出 SynthesizedAudio 帧
  3. 注册:在 register_builtins() 加一行 ("tts", "doubao", "seed_tts", DoubaoTTSFactory())
  4. Java 侧:ModelProviderEnum 已有 DOUBAO,ModelAdapter 已路由 doubao → "seed_tts",无需改动

核心工作量是 TTS 组件里的 WebSocket 协议对接。Factory 和注册都是套路代码。

场景二:接入一个自部署的 ASR

比如你用 vLLM 部署了 Qwen-ASR,不走百炼云:

  1. 在 Java 的 call_model 录入:provider=dashscope, type=2, model=qwen3-asr-flash-realtime, url=你的内网 WS 地址
  2. Java 把自定义 url 写进 ModelConfig.endpoint
  3. QwenASRSTTFactory.create() 读到 endpoint 后直连你的内网,不走百炼

一行代码不用写。 QwenASRSTT 本身就支持自定义 WebSocket endpoint。

场景三:部署时扩展新厂商(不修改 Agent 源码)

如果不想改 register_builtins(),可以在 Agent 启动脚本里通过 configure_providers() 回调注入:

from apps.providers import configure_providers, ProviderRegistry, STTFactory

class MyCustomSTTFactory(STTFactory):
    ...

def register_my_plugins(registry: ProviderRegistry):
    registry.register("stt", "my_vendor", "my_protocol", MyCustomSTTFactory())

configure_providers(register_my_plugins)

Agent 收到第一条通话任务前执行,全局生效。不需要改 Agent 一行核心代码。


Java 侧的配合:模型目录 + 参数模板

Python Agent 只管"执行",模型的元信息和可配置参数仍由 Java 侧管理:

模型目录(call_model 表)

字段 意义 示例
provider 厂商标识 dashscope / deepseek / doubao
type 槽位类型 1=LLM / 2=ASR / 3=TTS
adapter 适配器标识 qwen_asr_realtime / seed_tts / generation
model 模型代码 qwen3-asr-flash-realtime / deepseek-v4-pro
url 服务地址 留空走厂商默认,填自定义地址走上文场景二
authType + authConfig 认证信息 api_key / aliyun_ak / doubao_app / none

参数模板(ModelParameterProfiles)

系统根据 (provider, type, model) 自动推导可配置参数,管理后台据此渲染面板:

槽位 适配器 典型参数
ASR qwen_asr_realtime 采样率、识别语言(25 种)、断句等待、VAD 阈值
ASR fun_asr_realtime 采样率、断句等待
TTS cosyvoice 采样率(6 档)、语速、音量、音调、风格指令、合成语言、随机种子
TTS seed_tts 采样率(4 档)、语速、响度
LLM chat_completions 温度、Top P、Top K、最大 Token、思考模式、联网搜索

这些参数通过 ModelConfig.params 传给 Python Agent,各 Factory 自行解析消费。


预生成:ASR 还没说完,LLM 就开始想

Customize 模式的一个关键优化是预生成(Preemptive Generation):利用 ASR 的中间转写结果(INTERIM_TRANSCRIPT),在用户话还没说完时就提前调 LLM。一旦最终转写和中间结果正文一致,候选回复直接复用,延迟大幅降低。

这个能力在 Agent 公共链路中实现,新增的 ASR 适配器只要遵循 LiveKit 标准的 INTERIM_TRANSCRIPT 事件就能自动接入,无需额外代码。


总结

新架构下,扩展一个模型的真实成本:

你要做的事 改哪里 典型工作量
已有适配器 + 自定义 endpoint Java call_model 录入 url 0 行代码
已有适配器 + 新模型型号 Java 参数模板注册 ~10 行
新厂商 / 新协议 实现 STTFactory / TTSFactory / LLMFactory + 对应 SDK 组件 ~200-400 行
注册到 Agent register_builtins() 一行 或 configure_providers() 回调 1 行

核心原则不变:厂商差异关在 Factory 里,Agent 只看见 LiveKit 标准接口。STT 就是 stt.STT,TTS 就是 tts.TTS,LLM 就是 llm.LLM——Agent 主循环不关心这些组件背后连的是百炼云、火山引擎,还是你 GPU 机房里自部署的 vLLM。


开源仓库:https://gitee.com/gdzWork/SmartCall

來源:阿里雲開發者社區 AI · developer.aliyun.com