跳到正文
阿里雲開發者社區 AI·· 13 天前AI 評分34

SmartCall 推出 vllmomni 開源適配層,支援 Omni 模型內網私有化部署

SmartCall 内网私有化:vllmomni 适配 Omni 模型

AI 導讀

SmartCall 推出 vllmomni 開源適配層,將 Omni 系列端到端語音模型接入內網通話鏈路,支援私有化部署及全雙工對話、即時打斷和工具調用。適配層可橋接 WebSocket 協議及雙向音訊流,並自動重採樣 8kHz 電話音訊。方案不依賴公有雲 API,通話音訊、對話和業務數據均留在內網。

正文

2026-11-09 6

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: SmartCall推出vllmomni开源适配层,专为政务、金融等强合规场景设计,实现Omni系列端到端语音大模型纯内网部署。支持全双工对话、实时打断、工具调用,音频自动适配、协议无缝桥接,数据全程不出域,能力不打折。

前言

端到端语音大模型正在重构AI客服的对话体验,但绝大多数方案深度绑定公有云API。对于政务、金融、央企等强合规场景,通话音频、客户数据一旦出网就存在合规风险;而自研适配开源端到端模型,又面临协议对接、音频适配、打断机制等一系列技术门槛。

SmartCall 针对私有化内网场景,推出 vllmomni 开源模型适配层,专门完成 Omni 系列端到端语音模型与实时通话链路的深度对接。无需依赖公有云接口,所有音频、对话、业务数据全程内网闭环,同时保留完整的全双工对话、实时打断、工具调用等核心能力。

一、为什么要专门做开源 Omni 适配

端到端模型落地不是简单接API,私有化场景下存在多层障碍:

  1. 协议不兼容:开源 Omni 模型的实时 WebSocket 协议、音频流格式、会话控制逻辑,与呼叫中心原有通话链路不匹配,直接对接需要大量改造;
  2. 音频格式断层:电话侧是标准 8kHz 16bit PCM 语音,开源模型通常有自身的采样率要求,两端不匹配会导致识别率下降、声音失真;
  3. 能力缺失:实时打断、音色控制、Function Calling 这些核心能力,需要从模型协议层到业务层全链路适配;
  4. 合规风险:调用公有云API意味着通话数据流出企业内网,无法满足数据不出域的硬性要求。

vllmomni 适配层的核心作用,就是在 SmartCall 实时会话引擎和开源 Omni 模型之间,做一层标准化的协议与能力桥接,让私有化部署的开源模型,能像公有云服务一样完整支撑AI通话业务。

二、核心技术:vllmomni 适配层设计

vllmomni 定位为模型协议适配层,对上对接 SmartCall 实时会话调度体系,对下对接本地部署的开源 Omni 模型,屏蔽模型协议差异,向上提供统一能力接口。

2.1 协议与会话适配

适配层完整封装 Omni 模型的实时 WebSocket 协议,实现全生命周期会话管理:

  • 会话建立:接收调度层请求,自动与本地 Omni 模型建立连接,下发模型参数、音色、提示词等配置;
  • 双向音频流桥接:上行接收电话侧音频流,转封装后送入模型;下行接收模型流式语音,转发回通话链路;
  • 状态同步:模型侧的语音检测、话轮切换、会话状态,实时同步回 SmartCall 会话层,保证业务逻辑一致。

2.2 音频格式自动适配

针对电话语音与模型采样率不匹配的问题,适配层内置音频处理能力:

  • 自动完成 8kHz 电话音频与模型要求采样率之间的双向重采样;
  • 统一封装为 16bit 单声道 PCM 格式,兼容不同版本开源 Omni 模型;
  • 音频帧时序对齐,避免快放、卡顿、丢字,保证通话体验。

2.3 核心能力对齐

适配层完整对齐公有云版本的核心能力,上层业务逻辑无需修改:

  1. 全双工实时对话:支持双向并行音频流,边听边说,对话自然流畅;
  2. 实时打断(Barge-in):支持用户插话打断,适配层联动模型终止当前播报,切换聆听状态;
  3. 音色控制:支持指定模型内置音色,适配不同业务场景;
  4. Function Calling:完整对接模型工具调用协议,向上接入技能编排体系,支持调用内部业务接口。

2.4 纯本地化运行

vllmomni 适配层本身为本地服务,所有数据交互均在内网完成:

  • 不调用任何公网接口、不上传任何音频数据;
  • 模型部署在企业内网服务器,适配层本地调用;
  • 通话录音、对话记录、业务数据全部留存本地,全程数据不出域。

三、全链路内网部署架构

整套方案从通信到AI能力完全本地化,整体分为三层:

1. 通话接入层

  • Asterisk 通信底座负责电话线路接入、坐席对接、外呼发起;
  • 所有通话链路在内网完成,不依赖公网中继。

2. 适配与调度层

  • vllmomni 适配层负责开源 Omni 模型的协议对接、音频适配、会话控制;
  • SmartCall 实时会话引擎负责通话编排、技能调度、工具调用、坐席干预。

3. 模型层

  • 本地部署开源 Omni 系列端到端语音大模型;
  • 可根据业务需求选择不同参数量版本,支持GPU/CPU多种部署方式。

架构优势:各层解耦,模型升级、适配层优化、业务调整互不影响;全部组件内网部署,无外部依赖。

四、能力不打折:和公有云一致的业务体验

很多私有化方案“能跑但不好用”,vllmomni 适配层在本地化的同时,完整保留了 SmartCall 的全量业务能力:

  • 智能体配置:提示词、技能、工具全部沿用原有配置,切换模型无需改业务;
  • 人工强插/强断:支持管理员实时强制转人工、强制挂断,服务质量可控;
  • 坐席转接:AI转人工、人工回切AI完整流程可用,坐席侧无感知;
  • 通话质检:录音、转写、质检全链路内网完成,满足审计要求。

简单来说:公有云版本能实现的业务能力,内网私有化方案全部都能实现,区别只在于模型运行在本地、数据不出内网。

五、部署与适用场景

部署方式

  1. 本地部署开源 Omni 端到端语音模型,确保内网可访问;
  2. 部署 vllmomni 适配服务,配置模型服务地址、采样率、音色等参数;
  3. 在 SmartCall 模型管理中新增本地 Omni 模型,指向 vllmomni 适配服务;
  4. 智能体选择对应模型,配置提示词、技能、工具,即可投入使用。

适用场景

  • 政务/金融/央企:数据不出内网、合规要求高的客服热线、政务热线;
  • 大型企业:已有内部数据中心,希望自建AI客服体系,不依赖第三方SaaS;
  • 涉密业务:通话内容敏感,不能经过公有云服务的场景。

六、方案价值

1. 合规可控

全链路数据不出内网,通话音频、客户信息、对话内容全部本地闭环,满足等保、数据安全等合规要求。

2. 成本可控

基于开源模型构建,没有按调用量、按时长的计费,业务规模越大,相比公有云方案成本优势越明显。

3. 自主可控

从呼叫中心到底层模型全部自主掌控,可根据业务需求定制优化,不受厂商排期、价格、服务限制。

4. 能力完整

不是“阉割版”私有化方案,双工对话、实时打断、工具调用、人工干预全能力保留,业务体验不打折。

总结

vllmomni 适配层的出现,补上了开源端到端语音模型落地呼叫中心的关键一块拼图。它让 SmartCall 的内网私有化不再是“只能用传统方案”,而是可以用上体验更优的端到端全双工对话,同时满足数据合规、自主可控、成本可控的核心诉求。

资源地址

⭐ Gitee 开源仓库:https://gitee.com/gdzWork/SmartCall

來源:阿里雲開發者社區 AI · developer.aliyun.com