SonicVale(音谷)小説 AI 配音部署實戰:多角色、多情緒生成流程
小说AI配音怎么实现?开源工具SonicVale(音谷)部署实战:多角色多情绪
SonicVale(音谷)的部署教學展示如何將小説文本製作成多角色、多情緒配音。平台以 LLM 拆分台詞、IndexTTS-2.0 合成語音,支援角色與情緒設定、批量生成,以及配音和字幕匯出;版本為 v1.0.6。
2026-11-22 5
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
简介: 本文详解开源AI配音平台SonicVale(音谷)的部署与实操:支持多角色、多情绪小说配音,集成LLM台词拆分与IndexTTS-2语音合成。提供整合包一键启动(新手友好)和源码部署(开发者向),涵盖配置、拆分、绑定、生成到导出全流程,并附避坑FAQ。

给小说、剧本或视频配音,过去要么逐句复制到在线工具手动生成,要么花钱找配音外包,长篇内容做下来非常耗时。开源社区给出了新的解法——本文将围绕开源 AI 配音平台 SonicVale(音谷)展开,从环境部署到生成第一段多角色配音全流程跑通。无论你是想做有声书的创作者,还是想研究 TTS 工程实现的开发者,希望都能有所收获。
整合包下载地址: https://pan.quark.cn/s/00688a03df68
本文速览
- 音谷是什么:SonicVale 是一个开源的多角色、多情绪 AI 配音平台,面向小说、剧本、视频等长文本场景,核心是 LLM 台词拆分 + IndexTTS-2 情绪合成。
- 两种部署方式:新手可直接用整合包开箱即用;开发者可选择源码部署,注意 ffmpeg 的固定路径与前后端启动顺序。
- 全流程实操:从配置 LLM 与 TTS 服务、管理音色库,到创建项目、导入章节、台词拆分、角色绑定,最终批量生成并导出配音与字幕。
- 避坑要点:ffmpeg 位置、LLM 接口选择、无显卡跑 TTS、台词拆分不准、音频二次编辑与 AGPL-3.0 商用限制,都在文末 FAQ 里集中解答。
目录
- 一、音谷是什么:多角色多情绪的 AI 配音平台
- 二、部署前的两件事
- 三、方式一:整合包启动(推荐新手)
- 四、方式二:源码部署(开发者推荐)
- 五、全流程实操:从小说文本到成品配音
- 六、避坑清单(FAQ)
- 七、总结
- 写在最后
一、音谷是什么:多角色多情绪的 AI 配音平台
音谷(SonicVale)是一个在 GitHub 开源的多角色、多情绪 AI 配音生成平台,采用 AGPL-3.0 协议,当前版本 v1.0.6,项目地址:https://github.com/xcLee001/SonicVale 。它面向小说、剧本、视频等长文本场景,核心能力包括:
- 小说 / 剧本文本导入
- 台词自动拆分(基于 LLM,支持自定义提示词)
- 多角色角色库管理,多章节共享角色与音色
- 情绪音色选择与绑定
- 基于 Index-TTS-2.0 的多情绪语音合成
- 批量任务管理与配音、字幕导出
- 音频后处理:删除片段、插入静音片段
技术栈一览:
| 层次 | 技术选型 |
|---|---|
| 前端 | Electron + Vue + Element Plus |
| 后端 | FastAPI / Python |
| LLM 接口 | 兼容 OpenAI API 协议的大模型 |
| TTS 服务 | IndexTTS-2 + 云端显卡算力方案 / 本地部署整合包 |
官方提供了 B 站效果演示视频,不熟悉的朋友可以先看效果再决定要不要部署:https://www.bilibili.com/video/BV1tSpTz6EBH/
二、部署前的两件事
2.1 基础环境
源码部署需要准备三样东西:
- Python 环境(后端运行)
- Node.js 环境(前端构建与 Electron 桌面端)
- ffmpeg.exe(音频处理依赖)
2.2 LLM 与 TTS 服务
音谷本身不内置模型,需要提前准备两类外部服务:
- LLM:任意兼容 OpenAI API 协议的大模型接口,负责台词拆分等文本理解任务;
- TTS:IndexTTS-2.0 语音合成服务。没有本地显卡也没关系,官方支持接入 Cloud Native Build 平台的 H20 显卡算力方案,有显卡的环境也可以用本地部署整合包。
三、方式一:整合包启动(推荐新手)
如果不想折腾环境,直接使用文首的整合包下载地址。包内已打包前后端与依赖,解压后按包内说明文档启动即可,省去手动配置 Python、Node.js 依赖的过程,适合只关注使用效果的创作者。
四、方式二:源码部署(开发者推荐)
4.1 克隆项目
git clone https://github.com/xcLee001/SonicVale.git
cd SonicVale
4.2 放置 ffmpeg
后端依赖 ffmpeg 做音频处理,需要先把 ffmpeg.exe 放到 app/core/ffmpeg/ffmpeg.exe 这个固定位置。官方给出的是 ffmpeg 8.0 full build,下载慢可以用备用镜像。
下载解压后,把 ffmpeg.exe 复制到对应目录:
SonicVale/
└── app/
└── core/
└── ffmpeg/
└── ffmpeg.exe ← 放这里
4.3 启动后端
pip install -r requirements.txt
uvicorn app.main:app --reload
后端是标准的 FastAPI 分层结构,职责划分清晰:
app/
├── core/ # 全局配置、TTS/LLM 引擎、ffmpeg 封装、字幕生成、异步队列
├── db/ # 数据库连接
├── models/ # ORM 模型
├── dto/ # 请求/响应验证
├── repositories/ # 数据库封装
├── services/ # 核心业务逻辑
├── routers/ # 路由接口
└── main.py # 启动入口
4.4 启动前端
cd sonicvale-front
npm install
npm run start # 会同时拉起 Electron 桌面端
看到桌面窗口弹出,部署就算完成了。
五、全流程实操:从小说文本到成品配音
5.1 配置 LLM 接口
进入「配置中心」,填入兼容 OpenAI 协议的接口地址与 API Key:

5.2 配置 TTS 服务
接着配置 IndexTTS-2 语音合成服务,支持云端 H20 显卡算力方案:

5.3 管理音色库
在音色管理界面录入和整理可用音色。绑定的音色决定角色"声音长什么样",情绪向量决定"用什么语气说",两者配合才有自然的多角色听感:

5.4 创建项目、导入章节
先创建一个配音项目,再在项目下创建章节:

把整章小说文本导入或粘贴进章节内容:

5.5 台词自动拆分
点击「LLM 拆分为台词」,模型会把整章文本按对话和旁白拆成一句句台词。如果默认拆分不符合你的文本习惯,还可以自定义提示词,适配个性化拆分需求:

5.6 角色绑定与情绪设定
在角色库中把台词绑定到具体角色,多章节共享角色音色,一次绑定全本生效。每句台词都可以单独调整:文本内容、角色归属、情绪类型、情绪强度,修改后自动保存并更新:

5.7 批量生成、编辑与导出
一键批量生成整章音频,生成后还能二次编辑——删除音频片段、插入静音片段,句子级可单独调节语速与音量,最后导出配音与字幕:

最终成品效果:

六、避坑清单(FAQ)
Q1:后端启动报错找不到 ffmpeg?
确认 ffmpeg.exe 的位置是 app/core/ffmpeg/ffmpeg.exe,注意是把 exe 文件放进该目录,不是把解压出来的整个文件夹丢进去。
Q2:LLM 接口怎么选?
只要兼容 OpenAI API 协议的服务都可以接入。台词拆分质量与模型的指令遵循能力直接相关,建议选择能力较强的模型,并在自定义提示词里明确角色命名和旁白处理规则。
Q3:没有独立显卡,能用 TTS 吗?
可以。官方方案是通过 Cloud Native Build 平台调用 H20 显卡跑 IndexTTS-2,本地部署整合包则适合有显卡的环境。
Q4:台词拆分不准确怎么办?
利用自定义提示词能力,在拆分前明确角色命名规则、旁白与对话的区分方式,复杂文本(多角色混排、系统提示音)的拆分效果会明显提升。
Q5:生成的音频还能再改吗?
可以。生成后进入音频编辑,支持删除音频片段、添加静音片段,精细调整后再生效导出。
Q6:能商用吗?
项目采用 AGPL-3.0 协议:修改后发布或以网络服务形式提供,必须同时公开修改后的源代码。另外官方免责声明明确要求仅供学习研究使用,不得克隆或模仿未经授权的声音,不得侵犯他人声音权、肖像权与著作权。
七、总结
- 音谷把「长文本 → 多角色多情绪配音」整条链路做成了桌面应用,LLM 台词拆分 + IndexTTS-2 情绪合成是核心竞争力;
- 部署有两条路:整合包开箱即用,源码部署注意 ffmpeg 的固定路径
app/core/ffmpeg/; - LLM 与 TTS 都是外挂服务:兼容 OpenAI 协议的模型 + 云端 H20 显卡算力,普通电脑也能跑完整流程;
- 台词拆分支持自定义提示词,旁白混排的复杂文本也能拆干净;
- 生成结果支持句级编辑、静音插入与字幕导出,后处理不用换工具;
- 使用时遵守 AGPL-3.0 协议与官方免责声明。
写在最后
更详细的使用文档见官方飞书教程。遇到 Bug 或功能建议,建议通过 GitHub Issues 反馈,用户交流方式也可以在仓库 README 中查看。
评论区聊聊:你最想给哪部小说配上多角色语音?
來源:阿里雲開發者社區 AI · developer.aliyun.com