阿里數字人服務：輸入文案、錄音、照片或 PPT 生成口播影片

简介： 阿里数字人服务：输入文案/录音/照片/PPT，秒生成开口说话的数字人视频。支持克隆形象、照片驱动、PPT讲解三模式，自选模板、背景、字幕与方言，按分钟计费（0.5元起）。所有参数均源自真实技术限制，非宣传口径。（240字）

数字人服务功能说明

一段文案、一份录音、一张照片、一份 PPT —— 进来；一个会开口说话的人，出去。

这份文档说明「数字人」这条产品线现在能做什么、怎么做、按什么收费、以及哪些事它做不到。所有数字都取自代码里的实际限制与计费口径，不是宣传口径。

一、能做什么

出片规格：默认沿用形象素材的分辨率（720×1280 的素材出来还是 720×1280，不放大、不补边）；只有在分屏/特写模板、换背景图、或显式指定方向时才重建画布 —— 横屏 1920×1080、竖屏 1080×1920（方向默认跟随素材，也可在模板区显式指定）。

二、三种出片方式

同一个页面里并排三种做法，区别只在「人从哪来」。

怎么选：要长期、稳定、像「同一个人」的，训一个克隆形象；只想快速试一下、或者形象就是一张宣传照，用照片档；内容本来就是 PPT，直接走 PPT 页面，讲解词可以逐页改。

三、完整流程

①  选形象        克隆形象库选一个  /  上传一张照片
②  给内容        写文案（可让 AI 从素材生成） / 上传音频 / 复用历史配音
③  选声音        公共音色库 或 自己复刻的音色（仅文案档需要）
④  选语言        中英日韩 或 五种方言（仅文案档）
⑤  套模板        新闻播报 / 课程讲解 / 产品介绍 / 政策解读 / 口播带货
⑥  换背景        原视频背景 或 上传背景图（铺满整幅画面，形象抠像后叠在上面）
⑦  开字幕        开关 + 字体/字号/配色/描边/位置
⑧  提交          四段进度实时可见 → 成片出来直接下载

每一步都可以跳过，最低要求只有「形象 + 内容」。

最快看到效果的路：形象来源切到「用一张照片」，传一张正面照，文案填 100 字左右，字幕关着，直接提交。这一单通常一分钟内能提交完，出片后觉得方向对了，再回头训正式形象。

四、形象

4.1 克隆形象（推荐）

• 素材要求：单人、静默、画面稳定，时长 20 秒到 2 分钟，MP4 / MOV，≤ 200MB。
• 训练：提交后有独立记录墙跟踪状态，完成后自动出现在「选择数字形象」下拉里，可反复使用，用一次不额外收费。
• 命名：≤ 10 个字，用于在库里区分不同形象。
• 一个账号可以训练多个形象，共用同一套音色库。

为什么要静默：训练阶段只学「这张脸和这个身体长什么样」，声音在出片时才配。素材里说话反而会让嘴部区域被当成「已经在动」的状态学进去。

4.2 照片形象

• 素材要求：JPG / PNG / WebP，≤ 10MB，清晰正面人脸，建议 16:9 横图。
• 系统会等比缩放 + 补边 / 裁切，不会拉伸变形。
• 照片管线不接收画面布局参数：模板卡片上点了只会套用它的字幕样式，分屏、特写这类构图在照片档不生效。要换构图请用克隆形象档。

4.3 形象管理

记录墙按时间倒序陈列所有克隆记录，卡片上直接显示状态与源素材。已经完成的形象点一下就带回右侧表单，不用再翻下拉列表。

五、内容：素材怎么变成稿子

「内容来源」有三个选项，决定这一单的音频从哪来。

5.1 文本生成（默认）

输入框里写文案，最长 6000 字符，支持中、日、英、韩。上限和计费是同一把尺（都数字符），所以中英文不再是两套算法：6000 字符对中文是一段约 20 分钟的长片，对英文约 1000 词（说 6 分钟左右）。超出时按钮置灰，框下会写明超了多少字符。

手边有材料的时候不用自己写 —— 文案框上方有「从素材生成口播文案」，两个入口：

这一步是先后端解析、再让大模型重写，两个动作都不在前端，也不是把文件里的字原样搬进文本框：

1. 解析成文本。后端把文件下载下来，按文件内容判断真实类型（不认后缀），再抽文字：docx 按段落、表格按单元格；pptx 逐页读，每页前标一行「第 N 页」；pdf 抽文字层；xlsx / csv 摊成「表头一行 + 每行一条」。
2. 交给大模型重新组织。抽出来的文本（每次最多带 12000 字进模型）连同写作要求一起送进模型：口语化、结论先行、事实与数字只取材料里的，写成一段能直接朗读的稿子（常见 400–1500 字）。

所以拿到的是重写稿，不是摘录：材料里的要点会被重新排序、串成有起承转合的口播，书面套话换成口头说法，页与页之间的跳跃也被抹平。

三件事值得提前知道：

• 长材料只读前面 12000 字。这是一次模型调用的正文预算，超出部分模型看不到 —— 几十页的报告建议先摘出相关章节再传，别指望它读完整本。
• 只有文字层能被读到。扫描件、纯图片版 PDF 抽不出文字，会直接提示「这份素材里读不出文字内容」，不会凭空编一篇；图表与图片里的字同样读不到。
• 旧版 Office 二进制（.doc / .ppt / .xls）读不了，会提示另存为 .docx / .pptx / .xlsx 后再传。要保留页数、每页画面和逐页讲解词，走 PPT 讲解视频（见第二节）——那条路是真正一页一页解析的。

上传即解析，几秒到十几秒出稿，稿子会直接填进下方文本框。生成的是草稿不是定稿：可以继续改，原来有稿子被覆盖的话有「恢复原稿」。解析本身不计费，只有这一次模型调用计费（与智能对话同价，失败不扣），所以按钮不会让你连点两次。

音频预览：正式提交前可以听一遍整篇配音，按合成字符数扣费（和成片配音是同一套声音）。这一档的好处是——觉得音色不对、稿子拗口，可以在这里就改掉，不用等成片出来才发现。

5.2 上传音频

自己已经录好、或用别的工具做好了配音，直接传：

• 格式 mp3 / m4a / wav / mp4
• ≤ 20MB、≤ 15 分钟
• 建议单人说话、无背景噪音

这一档不需要选声音和语言，字幕走语音识别（会多花几十秒）。

5.3 历史合成音频

从「语音合成」里生成过的音频直接挑一条来用，不用重复上传。

六、声音

6.1 音色从哪来

• 公共音色库：平台维护的一批通用音色，开箱可用。
• 自建音色：上传音频或直接录音复刻，3–10 秒干净人声即可（≤ 20MB，mp3 / wav / m4a / flac / mp4）；浏览器内直接录制上限 15 秒。
• 人声分离预处理：素材里带背景音乐也能勾上这一项，先把人声剥出来再克隆。

复刻同样进了记录墙，训练完成后可在所有数字人表单里复用。音色列表支持手动刷新（下拉右侧的刷新按钮）。

6.2 语言与方言

文本档可指定合成语言，选择只影响口音，不影响文案本身：

中英日韩（自动） · 天津话 · 四川话 · 粤语 · 上海话 · 武汉话

所谓「自动」是按稿子内容判断该用哪种语言；方言这一档是真实的口音切换，不是加语气词，最终效果以成片为准。

七、画面

7.1 七套成片模板

模板把「画面布局 + 字幕排版」整套定好，点一下就是接近成片的效果；卡片上的迷你画面就是真实站位，不是示意图。

布局是在口型渲染之后由 ffmpeg 完成的，所以选模板必须在提交时定，成片出来之后换不了。

7.2 背景与自动抠像

「画面背景」有两档：

• 原视频背景：不动素材背景，原样出片。
• 背景图：上传的这张图是整幅画面的底图——它按成片画布铺满整个画面（横屏 1920×1080 / 竖屏 1080×1920，≤ 20MB，等比放大裁满、不拉伸），形象抠掉自己的原背景后叠在它上面。它不是「数字人的一块背景板」，画面里除了形象之外的部分，看到的全是这张图。

抠像只是让形象能站上这张底图的手段，不是这个功能的目的；也正因为如此，抠像的做法不是「假定一定是标准绿」：系统会先抽帧采样画面四角，取中位数还原出这块幕布真实的颜色，再按色距做 colorkey。所以深绿、偏灰的绿、蓝幕都能抠干净，而不会出现「命令跑成功了、画面一点没变」。

两条纪律值得说清楚：

1. 判不出幕布就不抠。实景背景（办公室、白墙、街景）不会被当成幕布去挖洞——宁可少一层背景，也不给你一条抠穿了脸的片子。
2. 抠像失败返回原片。换底是附加能力，失败不该把整条成片毁掉。

7.3 成片方向与分屏规则

模板区的「成片方向」有三档：跟随形象（默认）、横屏 16:9、竖屏 9:16。同一份形象可以分别出一条竖屏片和一条横屏片——竖屏投抖音/视频号，横屏投 B 站/公众号。

方向与形象素材相同时，画面等比缩进该方向的画布，构图不变；方向与素材不同时是补边，不是裁切：画面等比缩进目标画布、空出来的地方涂画布深灰（#0F1115）。所以横屏素材做竖屏片，人是完整的，只是上下各留一条深灰边——竖屏里直接裁 9:16 会把人物两侧连肩膀一起切掉。

分屏模板会按成片方向重建画布（没指定方向时按形象素材的方向）：横屏 1920×1080、竖屏 1080×1920，深灰底 #0F1115，人物离边 90px。分屏轴也跟着画布转：

• 横屏画布 → 左右分屏：人物贴左（新闻播报）或贴右（产品介绍），人物高度铺满画布，宽度上限为画布宽的 62.5%（1200px）。
• 竖屏画布 → 上下分屏：人物贴上（新闻播报）或贴下（产品介绍），人物宽度不超过画布宽（两边各留 90px），高度上限为画布高的 62.5%（1200px）。9:16 形象缩完是 675×1200，正好占住上半屏，下半屏 720px 留给字幕/素材。

竖屏片如果沿用左右分屏，人物只有 675px 宽、两侧各 200px 深灰，手机上看是"人被挤在中间一条"、下半屏还空着——所以同一份布局在竖屏下换轴排布。这样竖屏口播出片仍是竖屏，不会被塞进 16:9 里两边黑边。

留白那侧默认是纯净深灰；如果这时还配了背景图，背景图会铺满整块画布，人物再叠在上面（换底 + 反向方向时，人物同样等比缩进、居中叠在背景上）。

7.4 通栏字幕条（band）

「资讯解读」「深度访谈」用的那条通栏字幕条：画面底部压一条实色带，带内左对齐两三行字，带左侧一根强调竖条。

它不是一套布局，而是字幕的一个样式开关（style.band 加上 bandColor / bandAccent）。这样拆开的好处很直接：

• 它和「人物在画面哪里」互不干扰，任何布局都能套——想用人贴左的分屏 + 白色字幕条，不用再新增一个布局 id；
• 布局白名单保持 4 个值（full / closeup / split-left / split-right），三个仓库各持一份的那份清单不用跟着长；
• 带的位置与文字的边距在同一个函数里算（subtitle_burn_util.band_geometry），不再需要前端存「左边距占画布宽 9.7%」这种要和 worker 对齐的魔法数。

几何全部按画面尺寸折算，横竖屏同一套比例（下面的数字是 1920×1080 / 1080×1920 的实际值）：

下沿留一道 2.5% 的缝，是两次改动的折中：最早留 3.8%（竖屏 73px）想躲开手机手势条，但人物铺满整帧压在背景上，那条缝里露出来的是人物的衣服/裙摆；于是改成贴死，结果条与画面下沿齐平、没有过渡，看着像被裁掉一截。现在取 2.5%（竖屏 48px、横屏 27px），带看得出是浮在画面上，露出的横带也还在「边缘」的尺度里。同理，带内居中要按字形墨迹算 —— 按 libass 的 em 行框配平会让字整体下沉（实测三行时上留白 108px、下留白 32px），两种偏差都已在校准里消掉（BAND_INK_*）。

三个容易踩的点：

1. 带高是按字号算的，不是纯按画面比例。窄画幅（手机竖屏素材常见 810 宽）上 22 字的预算会折成三行，只按比例给高度的话第三行会贴着带底；取「比例值」与「字号 × 4.4（三行 + 呼吸）」的较大者，三行都装得下，一两行时多出来的只是留白。
2. 文字在带内是逐句居中的。ASS 的位置是「距底多少像素」，不按行数自适应，所以每一句都按自己的行数算垂直位置写进 Dialogue 行——否则一行时贴带底、三行时顶出带外。
3. 打开字幕条后，「字幕位置」下拉不再生效，逐行底框（background）也让位：字的位置由带决定，叠一层逐行底框会变成「色带里还围着一圈更深的贴字底框」。样式弹窗里那一格会显示「随字幕条」，不会让你调了个没反应的控件。

已知取舍：带与竖条都是直角，没有圆角。ffmpeg 的 drawbox 只能画矩形，做圆角需要额外的蒙版图层，而 1080p 下 30px 的圆角收益有限——先按直角出片，需要再加。竖条的竖色可以关掉（bandAccent 给空），只留一条素色带。

八、字幕

• 默认关闭，开关一开就烧进画面像素（不是外挂字幕轨）。
• 文案从哪来：文本档直接用你输入的稿子；上传音频档没有原文，走语音识别，会多花几十秒。
• 自动断句：按字数把稿子铺到时间轴上，断点优先落在句读处，不是机械等分。折行还有三条规则：行首不放收尾标点（不会出现「说话 / ；下一句」这种孤零零的分号），英文和数字不拆开（不会把 1080 切成 1 / 080），末行不留孤字（末行只剩一两个字时，会从上一行借一两个字下来补匀，竖屏 12 字的话由「…开口说 / 话；」变成「…当场开 / 口说话；」）。中文没有词边界，长句中段仍可能断在词中间，这是已知取舍。
• 可调项：字体、字号（32 / 42 / 56，以 1080 高度为基准等比缩放）、主色、描边色与宽度、加粗、垂直位置（靠下 / 更低）、每行字数、单行还是折行。用了通栏字幕条模板时，「垂直位置」由带决定，那一格会显示「随字幕条」（见 7.4）。
• 字体只收可商用的：思源黑体、思源宋体、阿里巴巴普惠体、霞鹜文楷。方正、汉仪、微软雅黑这一类不进列表——成片是要分发给用户看的，字体授权出事是给用户埋雷。
• 三套快捷配色：白字黑边（通用）、黄字黑边（醒目）、白字加粗（口播）。改任何一项都会退出模板选中态，说明你已经在自定义了。

九、生成过程与产物

9.1 四段进度

提交之后，进度是真实的四段活，不是假进度条：

准备音频  →  准备形象  →  口型渲染  →  上传

生成未完成之前，视频展示区一直保持动画状态（不是静止的灰字），你不需要盯着屏幕猜它在不在跑。

9.2 成片

• 出来直接内嵌播放，可下载原文件、可删除记录。
• 画面比例跟随形象素材或模板画布，不会二次压缩变形。
• 音画严格对齐：合成后会校验音轨与视轨时长，不一致的产物不会交付。

9.3 记录与通知

• 底部记录墙保留所有历史单子，状态实时刷新。
• 提交按钮旁边可以订阅微信完成通知，不用守在页面上等。

十、规格与限制汇总

关于「6000」和「1000」为什么不是同一个数：两处量的根本不是一回事。「单条口播」是一段要念出来的话，英文约 1000 词、中文约 20 分钟长片，6000 是给英文留的面子；「PPT 单页」是一页幻灯片讲几分钟，用 6000 意味着一页讲 22 分钟，那不是内容多，是页面切错了 —— 所以单页给 1000，超了提示「删减或拆成两页」。两个数、加上素材的 12000 与写作目标 1500，都只在后端 ScriptLimits 与前端 utils/script-limit.ts 各写一次，其余地方一律引用。

素材改写出来的稿子超 6000 时：会退到最后一个完整句子截断，并明确提示「已截断」，不会静默吞掉后半篇，也不会让用户拿着超长稿子点提交才被拒。正常材料（一万二千字以内）改写出来一般在 1500 字上下，触发不到这条。

十一、计费

计价单位是积分，1500 积分 ≈ 1 元（以账户页展示为准）。

几条纪律：

• 先冻后结：提交时按估算冻结，渲染完成按真实成片帧数结算，多冻的部分退回。
• 失败全退：任务失败，冻结额度原路退回，不留「卡在半路的钱」。
• 成片不再另收配音费：文案档的成片价已经包含配音；只有单独点「音频预览」才按字符收费。
• 渲染前先验额度：worker 拿到音频会量真实时长再问一次够不够，不够当场停，不会占着 GPU 跑完再给你一张欠账单。

十二、它是怎么跑起来的

前端表单
   │  提交（形象 / 内容 / 声音 / 语言 / 布局 / 背景 / 字幕，逐段编码）
   ▼
业务后端  ── 建记录、冻结额度、把任务派给渲染集群
   │
   │  SSE 长连接
   ▼
渲染 worker
   ├─ 配音       按音色 + 语言合成音频（文案档）
   ├─ 口型       替换嘴部或整脸生成
   ├─ 布局       ffmpeg：full / closeup / split，按模板构图
   ├─ 抠像       采样真幕布色 → colorkey → 铺背景图
   └─ 字幕       ASS 烧录，字体由 libass 加载
   │
   ▼
回传 OSS → 按成片帧数结算 → 前端轮询到 COMPLETED，展示 + 可下载

几个设计取舍：

• 布局在字幕之前。字幕要烧在最终构图上，先烧字幕再挪人物会把字幕一起挪歪。
• 抠像与换底只吃本地文件，不会把远端 URL 直接喂给视频滤镜——网络抖动不该变成一条画面被截断的成片。
• 后处理失败不判任务失败。布局、抠像、字幕任意一环出问题，降级交付原片，而不是让你白等一场。

十三、边界：它做不到什么

说清楚这些，比堆功能更有用。

1. 不能改表情和手势。克隆形象的头部动作、神态、手势全部来自你的素材。想要「边说边比划」，得在素材里就比划。
2. 口型跟着音频走，不是跟着文字走。文案档没问题；上传音频如果本身有剪辑痕迹，口型会如实反映这些痕迹。
3. 照片档的「像」有上限。整脸生成会带来更丰富的头部动作，但也更容易在长视频里逐渐偏离原照片气质。证件照式的正面、清晰、无遮挡是底线。
4. 抠像有前提：素材背景得是纯色幕布。实景背景不抠（系统判不出就不动手），背景不均匀、打光有明显阴影的幕布也会抠不干净。
5. 声音复刻素材里有多个人说话时，分不出谁是谁。会取其中一段作为音色，之后所有稿子都用这一个声音念。要对话感，一条素材只放一个人。
6. 模板在提交时定死。布局是渲染后的后处理，成片出来之后无法更换，只能重开一单。
7. 字幕识别会有错字。上传音频档走 ASR，专业术语和人名出错是常态；文案档没有这个问题。
8. 渲染时间与时长成正比。照片档尤其慢，几分钟到几十分钟都正常，长度越长越久。急着要就先把稿子压短。

附录：常见问题

Q：我传了绿幕素材、也选了背景图，为什么没抠掉？
A：先确认「画面背景」选的是「背景图」而不是「原视频背景」——只有选背景图才会触发抠像。若已选背景图仍不生效，多半是幕布本身不是纯色（褶皱、渐变、打光不均），换个干净幕布重拍最稳。

Q：为什么我选的模板在成片里没生效？
A：布局在口型渲染之后由 ffmpeg 完成，模板随单派发。成片出来才发现选错，只能重开一单；提交前卡片上的预览就是真实站位。

Q：文案提交后还能改吗？
A：不能。文案在提交时已经合成为音频并参与口型渲染。想改就重开一单——好在上传音频档和文案档的单价一致，改稿的成本只有时间。

Q：我传了一份很长的 PDF，生成的文案只讲了开头几页？
A：素材是先解析成文本、再交给大模型重写的，进模型的正文有 12000 字预算（约十几页 A4），超出部分模型看不到。长报告先摘出要讲的那几节再传，或者拆成几份分别生成、再自己拼起来。扫描件和纯图片版 PDF 没有文字层，会直接提示读不出内容 —— 这类文件得先做 OCR 转成文字版。

Q：音色不像我？
A：素材干净度决定上限。单人、无背景音乐、无混响、3–10 秒连续说话，是最有效的四件事。素材里带背景音乐可以勾「人声分离」预处理。

Q：成片分辨率是多少？
A：默认沿用形象素材的分辨率（720×1280 的素材出片还是 720×1280，竖屏素材出竖屏成片）。分屏/特写模板、换背景图、显式指定方向这三种情况才会重建画布 —— 竖屏 1080×1920、横屏 1920×1080，方向默认跟随素材，也能在模板区手动指定。指定了与素材相反的方向时，画面是等比缩进 + 补边，不裁人。照片档以照片比例为基准，等比缩放不拉伸。

Q：能批量出片吗？
A：当前页面是单条提交。同一形象 + 同一声音可以连续下多单，共用已训练好的形象与音色，不重复收训练费。