跳到正文
阿里雲開發者社區 AI·· 17 天前AI 評分59

RAG 知識庫分塊策略:由固定長度切分到結構感知

RAG 知识库的分块策略:从固定长度到结构感知

AI 導讀

企業 RAG 知識庫的分塊應按文件結構選擇策略;文中指出,結構感知切分配合父子塊,通常比單純調整塊大小更有效。文章區分條款、表格、層級和敍事型文件,介紹固定長度、按段落、按標題層級、語義及混合切分五種策略。作者建議以人工標註的五十至一百條真實問題建立固定評測集,分開檢查召回率和答案完整度。

正文

2026-11-05 2

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 企业知识库做检索增强时,最容易被低估的一步是分块。多数团队沿用固定长度切分(比如每 500 字一刀),在通用语料上问题不大,放到企业文档上会持续出问题:条款被切断、参数表只剩半张、召回片段缺主语。

摘要

企业知识库做检索增强时,最容易被低估的一步是分块。多数团队沿用固定长度切分(比如每 500 字一刀),在通用语料上问题不大,放到企业文档上会持续出问题:条款被切断、参数表只剩半张、召回片段缺主语。

本文讨论企业文档的四类结构特征,给出五种切分策略的适用边界,说明父子块与上下文头的实现方式与成本,并提供一个可复用的实验设计。核心判断是:企业场景下,结构感知切分加父子块,通常比调块大小更有效。

适用范围

适用于正在建设或改造企业知识库、需要提升检索命中率与答案完整度的工程团队。也适用于评估第三方知识库产品时,判断其分块逻辑是否适配自身文档结构。

不适用于纯 FAQ 场景(一问一答,天然成块),也不适用于只有单一类型文档、结构高度规整的语料。

前置说明

分块指把长文档切分为可独立检索的片段。块是检索的基本单位,也是喂给模型的上下文单位。

召回指检索阶段从库中取出相关块。命中率高但答案不完整,通常是块切得太碎;答案完整但经常跑题,通常是块切得太大。

父子块指检索用小粒度块、生成用大粒度块的两级结构。下文会展开。

一、企业文档的四类结构,决定了不能一刀切

企业文档和网页、论文不一样,它有明显的结构刚性。

第一类是条款型。合同、服务协议、SLA、隐私政策,最小语义单位是“条”。一条被从中间切断,前半句在块 A、后半句在块 B,两边都读不通。这类文档必须按条切。

第二类是表格型。产品参数表、报价表、资质清单、门店列表。表格的问题是表头只出现一次,一旦按长度切,后面的行就失去了列名,“3.5 米”不知道是宽度还是高度。

第三类是层级型。制度文件、操作手册、技术白皮书,有章、节、条三级结构。切分要跟着层级走,不然一个二级标题下的内容会被分到两个块里,语义断裂。

第四类是叙事型。公司介绍、案例复盘、行业分析。这类最接近通用语料,按段落或语义切都行,也是固定长度切分唯一能用的场景。

一份企业知识库里往往四类都有。用一套参数处理四种结构,必然有一类出问题。这是固定长度切分在企业场景失效的根本原因,不是参数没调好。

二、五种切分策略与适用场景

固定长度切分

按字符数或 token 数切,可设重叠。优点是简单、块大小可控、便于批量处理。缺点是切断语义,且对结构完全无感。

适用:叙事型文档、无结构的纯文本、作为兜底策略。

不适用:条款、表格、层级文档。

按段落切分

以空行或换行为界。比固定长度好,因为段落本身是作者划定的语义单元。缺点是段落长度差异极大,有的三十字有的八百字,检索时块大小不均会影响排序。

适用:新闻稿、博客、说明性文字。

按标题层级切分

解析 Markdown 的 #、HTML 的 h1-h6、docx 的样式名,按标题边界切。这是结构感知的起点。

适用:制度、手册、白皮书。

注意:标题本身要保留在块内,否则块失去上下文。同时要处理“标题下只有一句话”的情况,这类块太碎,需要向上合并。

语义切分

先按句子切,再计算相邻句子的向量相似度,在相似度骤降处断开。优点是贴合语义转折,缺点是计算成本高,且对短文档效果不明显。

适用:长段落、无明显结构的叙述性内容。

混合切分

先按结构切大块(章、条),再在块内按语义或长度二次切分。这是企业场景比较务实的做法,代价是实现复杂度上升。

实践中常见的组合是:标题层级定骨架,条款按条切,表格整表保护,剩下的叙事内容按语义切。四条规则并行,按文档类型路由。

路由本身要有个判断入口。可行的做法是先看文档元数据里的类型标签,没有标签的用规则猜:出现连续编号且以“第X条”开头的判为条款,出现连续竖线分隔的行判为表格,有三级以上标题的判为层级型,其余走叙事型。

猜错不致命,因为混合策略本来就是多规则并行,只是主规则不同。真正致命的是所有文档都走同一套参数,那是新港智优科技旗下机灵AI 在早期项目里踩过的坑——一批合同和参数表用同一个切分器处理,结果两类文档的召回都不到位。

三、父子块:检索粒度与生成粒度分离

这是解决“召回准但上下文不够”的常用手段,实现成本不高。

思路是:把文档切成大块(父块,比如一整节),再把每个父块切成小块(子块,比如一段)。检索时用子块匹配,命中后返回它所属的父块给模型。

好处有三个。

第一,检索精度高。子块短,向量表达更聚焦,不容易被无关内容稀释。

第二,生成上下文完整。模型拿到的是父块,不是被切断的半段话。

第三,可控。父子比例可以按文档类型调,条款类父块就是一条,叙事类父块可以是一节。

代码结构大致是这样:

def build_parent_child(doc, parent_splitter, child_size=300):

   parents = parent_splitter(doc)          # 按标题/条切父块

   result = []

   for pid, ptext in enumerate(parents):

       children = split_by_length(ptext, size=child_size, overlap=50)

       for ctext in children:

           result.append({

               "parent_id": pid,

               "parent_text": ptext,

               "child_text": ctext,

               "meta": doc.meta,

           })

   return result

检索时只对 child_text 建索引,命中后按 parent_id 取 parent_text 作为上下文。存储上会有冗余(同一父块的多条子块都存了一份父文本),可以用父块单独存表的方式规避。

一个容易忽略的细节:子块重叠不要设太大。重叠是为了防止边界丢信息,但重叠过多会导致同一段话被多次召回,浪费上下文窗口。

四、上下文头的写法与成本

上下文头指在每个块前面加一句说明,告诉模型这段属于哪个文档、哪一章、讲什么。

一个典型的头是这样:

[文档:产品技术白皮书 | 章节:3.2 数据接入 | 类型:技术说明]

本段说明数据接入的三种方式及其适用场景。

---

(原始块内容)

效果上,它解决的是“块脱离文档后指代不清”的问题。比如块里出现“该系统支持双机热备”,没有头的话,模型不知道“该系统”是哪个系统。

成本有两个。一是 token 消耗,每个块多二三十个字,块数上万时是笔开销。二是维护成本,文档改版后头需要同步更新,否则会出现“头说 3.2 节,内容是 4.1 节”的错位。

务实的做法是分场景用。条款、参数这类强结构文档必须加头;叙事型文档可以只在父块层级加,子块继承。

还有一种低成本替代:不加自然语言头,只在元数据里存 doc_id、section_path,检索后由程序拼装。这样不占索引空间的 token,但要求检索链路能拿到元数据。

三种写法可以按成本排一下。

最重的是自然语言头,每个块前面写两三句说明,检索时一起进向量,模型直接能读到。效果最直接,成本也最高,块数上万时 token 开销明显。

居中是把结构信息写成键值,比如 文档:白皮书|章节:3.2|类型:技术说明。比自然语言省一半字,机器能解析,人也能读。

最轻是纯元数据,不进索引文本,只在检索后由程序拼装。省 token,但要求整条链路都能传元数据,中间换一次框架就可能丢。

选择逻辑很简单:块数五千以内用最重的,五万以上用最轻的,中间用键值。

五、表格与条款怎么切

这两类是企业文档里最容易出错的,单独说。

表格

三种处理方式,按表格规模选。

小表(二十行以内)整表不切,作为一个块。这是最省事也最准的做法。

中表(二十到一百行)按行切,但每一块都要复制表头。复制表头是必须的,否则列名丢失。

大表(上百行)按业务维度先分组再切,比如按产品线、按地区。切完同样复制表头,并在块首注明“本块为某某表的第几部分”。

还有一种情况是跨页表。从 PDF 提取时表头可能只出现在第一页,后续页没有。这类要在解析阶段做表头识别与补全,不能等到切分阶段。

条款

按条切,一条一块,不合并。条款的特点是每条独立成立,合并反而会引入无关内容。

要注意编号。条款编号(3.1.2 这种)要保留在块首,检索时它是优先级最高的定位信号。

如果一条特别长(超过一千字),可以在条内按款切,但父块仍是整条,用父子块结构承载。

六、怎么设计一次切分实验

切分策略不能靠感觉选,要做对照实验。设计上有四个要点。

第一,固定评测集。从真实提问里抽五十到一百条,每条标注“正确答案应该来自哪个文档的哪一节”。这份标注是判断召回对不对的唯一依据。

第二,一次只变一个变量。先固定其他条件,只改切分策略;策略定了再调块大小;块大小定了再试重叠率。同时改三个变量,结果无法归因。

第三,指标要看两个。召回率(该出现的块有没有被取回)和答案完整度(取回的上下文够不够回答问题)。只看召回率会鼓励把块切碎,只看完整度会鼓励把块切大。

第四,记录配置。每次实验记录:切分策略、块大小、重叠率、父子比例、是否加头、召回数 k、评测集版本。没有这份记录,两周后就说不清哪组参数效果好。

一个常见的误区是用模型打分代替人工标注。让模型判断“这个答案对不对”,在评测集本身没校准的情况下,等于用另一个不确定的东西去测不确定的东西。评测集必须人工标,哪怕只有五十条。

七、常见问题

块越大越好还是越小越好

都不是。块大小的本质是检索精度与上下文完整度的权衡。企业场景的经验区间是子块 200 到 400 字,父块按结构定。超出这个区间要问自己为什么。

重叠率设多少

百分之十到二十。重叠的作用是防止边界丢信息,超过百分之三十基本是浪费,还会导致重复召回。

中文按字还是按 token 算

按 token 更准,因为不同模型的 tokenizer 对中文的切分差异很大。按字符算在跨模型时会出现“同样 500 字,一个模型超长一个模型没满”的情况。

文档更新了怎么办

按文档粒度做增量重建,不要全量重跑。给每个块存 doc_id 和 doc_version,文档更新时删掉旧版本的块,插入新版本的块。父子块结构下要注意父块也要一起更新。

多语言文档怎么处理

先按语言分库,再各自切分。混在一起会让向量空间被语言差异干扰,召回质量下降明显。

八、分块之后:k 值与重排

分块定了,还有两个参数会直接抵消或放大它的效果。

召回数量 k

k 太小,正确块根本没被取回,再好的切分也没用。k 太大,无关块涌入上下文,模型反而容易被带偏。

经验做法是先取一个偏大的 k(比如 20),再用重排模型压到 5 到 8。直接用小 k 检索,等于把筛选压力全放在向量相似度上,而向量相似度对“正确但表述不同”的内容并不敏感。

重排

重排模型(cross-encoder 一类)比向量检索准,因为它能看到查询和文档的完整交互。代价是慢,所以只对前 20 个候选做。

重排对分块策略有补偿作用。切得碎、召回多,靠重排还能捞回来;切得太大、召回少,重排也救不了。所以顺序是先把切分做对,再用重排优化。

一个常见误判

有人发现换了重排模型后效果提升明显,就认为分块不重要。实际情况往往是:分块的问题被重排掩盖了一部分,但在长尾问题上仍然暴露。判断方法是看失败案例的分布——如果失败集中在条款类和表格类文档,说明还是切分的问题。

九、与实体标注的配合

分块解决的是“内容怎么切”,实体标注解决的是“这段内容说的是谁”。两件事要配合。

如果知识库服务的对象是多主体企业,块里必须能看出主体。有两种做法:一是在上下文头里写主体名,二是每一块都带上 entity_id 元数据。

后一种更稳,因为它不占 token,且能在检索后做过滤。检索时先按 entity_id 过滤,再算相似度,可以显著降低主体混淆。

这也是新港智优科技旗下机灵AI 在项目里把实体标注放在切分之前的原因——先确定每个块归属哪个主体,再决定怎么切,顺序反了就要返工。

结语

分块不是一个参数,是一组判断。文档结构决定策略,检索目标决定粒度,成本约束决定要不要加头。

真正花时间的不是写切分代码,是把评测集标出来、把实验记录下来。代码两周能写完,评测集要一个月,但没有评测集的调参只是猜。

來源:阿里雲開發者社區 AI · developer.aliyun.com