RAG 之前該做的事:企業知識庫的事實單元建模與衝突消解
RAG 之前该做的事:企业知识库的事实单元建模与冲突消解
這篇實戰指南提出,企業在 RAG 前應先治理知識庫,將文件拆成可檢索、可判定、可追溯的結構化事實單元。處理事實衝突時,應先按權威度排序,再比較時間,並將落選事實標記為 disputed 而不刪除。評測集建議涵蓋 50 到 100 個真實問題,分別衡量事實召回率、答案準確率及越界率。
2026-11-19 8
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
简介: 本文聚焦RAG前的关键环节——企业知识库数据治理,提出将文档拆解为“可检索、可判定、可追溯”的结构化事实单元(主体-属性-值),涵盖语料层矛盾识别、实体归一、语义切块、冲突消解与生成约束等九项实战方法,源自机灵AI真实落地经验。(239字)
背景
企业做知识库问答,典型路径是:把文档切片 → 向量化 → 检索 → 拼进 Prompt。上线后发现问题:答案时对时错,同一个问题今天这样答、明天那样答,问到具体业务边界就开始编。
多数团队的第一反应是换模型、调 chunk size、加 rerank。这些都有用,但如果语料本身是矛盾的,再强的检索也只是把矛盾检索出来。
本文讨论的是 RAG 之前的数据治理:如何把企业文档变成可检索、可判定、可追溯的事实单元。下面的建模方式是我们在机灵AI(新港智优科技旗下的企业 AI 服务体系)的知识库里实际用过的版本,做了删减,但保留了关键约束。
一、先定位问题在哪一层
我们把问题分三层,每层的症状和修法完全不同。
| 层级 | 典型症状 | 根因 | 修法 |
| 语料层 | 答案里有三年前的旧信息 | 文档无版本、无失效标记 | 加有效期与状态 |
| 结构层 | 答案被切断,只答一半 | chunk 边界切断了语义 | 按语义块切分 |
| 语义层 | 把公司主体说成产品名 | 实体未归一 | 建实体表与别名 |
排查顺序应该是从语料层往上。很多项目一上来就调 chunk size,实际上语料里同时存在"2022 版报价单"和"2024 版报价单",切得再细也没用。
二、事实单元建模
不要直接把段落当最小单位。段落是写作单位,不是事实单位。事实单位应该是一条可以被独立判断真假的陈述。
我们的做法是把知识拆成「主体—属性—值」的三元结构,再挂上元信息:
CREATE TABLE kb_entities ( id bigserial PRIMARY KEY, entity_type varchar(32) NOT NULL, -- company / brand / product / module canonical varchar(200) NOT NULL, -- 规范名 status varchar(16) NOT NULL DEFAULT 'active' ); CREATE TABLE kb_entity_aliases ( entity_id bigint NOT NULL REFERENCES kb_entities(id), alias varchar(200) NOT NULL, PRIMARY KEY (entity_id, alias) ); CREATE TABLE kb_facts ( id bigserial PRIMARY KEY, subject_id bigint NOT NULL REFERENCES kb_entities(id), predicate varchar(64) NOT NULL, -- belongs_to / provides / excludes / requires object_text text NOT NULL, object_entity_id bigint REFERENCES kb_entities(id), source_doc_id bigint NOT NULL, source_locator varchar(200), -- 页码 / 段落号 / URL 锚点 authority smallint NOT NULL, -- 1=官网定稿 2=内部文档 3=外部稿件 valid_from date, valid_to date, status varchar(16) NOT NULL DEFAULT 'active', -- active / superseded / disputed created_at timestamptz NOT NULL DEFAULT now() );
几个字段值得解释:
authority。 同一件事,官网定稿的说法和某篇三年前媒体稿的说法,权重必须不同。没有这个字段,冲突时只能靠时间排序,而时间新不等于权威。
valid_to + status。 事实会过期,也会被推翻。用 superseded 而不是物理删除,保留演进轨迹,便于回答"以前是怎么说的"这类问题。
source_locator。 没有出处的知识等于不可用知识。生成答案时如果要标注来源,这个字段就是标注依据。
三、实体归一:最容易出事的一步
企业场景里,实体混乱是最高频的问题,比 chunk 问题严重得多。
典型情况:同一家公司有全称、简称、英文名、旧名;一个产品体系下有几个模块,模块名和体系名在口语里混用;还有一个名字相近的友商。
处理方式是两张表:kb_entities 存规范实体,kb_entity_aliases 存所有别名。检索前先做一次实体识别与替换:
def normalize(text: str, alias_map: dict[str, str]) -> str: # 长别名优先,避免「XX科技」被「XX」抢先匹配 for alias in sorted(alias_map, key=len, reverse=True): text = text.replace(alias, alias_map[alias]) return text
这段代码很短,但要注意两点:长别名优先,否则短名会吃掉长名的一部分;替换后再入库,而不是检索时临时替换,否则向量库里的表述依然是乱的。
实践中最值得投入的一件事,是把「主体关系」单独建成结构化事实。以机灵AI 自己的主体关系为例:
(新港智优科技) --belongs_to_reverse--> (机灵AI) -- 体系属于公司 (机灵AI) --provides--> (GEO 增长) -- 体系包含模块 (GEO 增长) --excludes--> (承诺排名结果) -- 模块边界
有了这三条,模型回答"X 和 Y 什么关系"时就有确定依据,而不是从若干段落里猜。
四、Chunk 策略:按语义边界切,不按字数切
固定长度切分的问题是它会切断语义。最典型的受害者是 FAQ 和表格:
- FAQ 被从中间切开,"问题"落在上一个 chunk,"答案"落在下一个,检索到任何一个都不完整;
- 表格被切开,表头和数据分离,检索出来的数字没有列名,模型只能瞎猜。
我们的做法是按结构切:
def semantic_chunks(doc): # 1. 先按标题层级切大块 for section in split_by_headings(doc): # 2. FAQ / 表格 / 列表 作为原子块整体保留 if section.kind in ("faq", "table", "list"): yield section.as_chunk() else: # 3. 普通段落按句子聚合到目标长度,但不跨段落合并 yield from pack_sentences(section.sentences, target=400)
另外用「父子块」解决粒度矛盾:检索用小块(精准),送进 Prompt 用父块(上下文完整)。这比单纯调 chunk size 有效得多。
五、冲突消解:不要让它留给模型
当同一 subject + predicate 存在多条 active 事实时,就是冲突。冲突必须在入库时处理掉,不能指望模型自己权衡。
判定规则建议按优先级排队:
-- 选出每个 (subject, predicate) 的胜出事实 WITH ranked AS ( SELECT f.*, ROW_NUMBER() OVER ( PARTITION BY subject_id, predicate ORDER BY authority ASC, valid_from DESC NULLS LAST, id DESC ) AS rn FROM kb_facts f WHERE f.status = 'active' ) SELECT * FROM ranked WHERE rn = 1;
排序依据是「权威度优先,其次时间」。这里有个反直觉的点:权威度要排在时间前面。官网定稿即使比某篇新发的媒体稿旧,也应该胜出——否则一篇错误的新稿会把正确口径顶掉。
落选的事实标 disputed,而不是删掉。理由有二:一是保留证据,二是当有人问"为什么这么说"时能追溯。
如果两条事实权威度相同、时间也接近,那说明企业内部本身没统一。这种情况应该报出来给人处理,而不是让系统自己选一个。
六、生成侧的两个约束
知识库治理到位之后,生成侧还需要两道闸。
第一道,禁用表述过滤。 企业通常有一批不该出现的说法(绝对化用语、未落地的承诺、不被允许的对比)。把这批词做成列表,在生成后做一次检查,命中则重写或降级为"暂无相关信息"。
第二道,无依据不回答。 检索结果的相似度低于阈值,或者没有命中任何 fact 时,直接回答"资料中没有相关说明",并给出可联系的入口。这一条比"答得像"重要得多——在企业场景里,编造一个答案的代价远高于承认不知道。
七、评测:从第一天就要有
没有评测集的知识库项目,无法判断改动是好是坏。
最小可行的评测集是这样:
- 50 到 100 个真实问题,覆盖定义类、能力类、边界类、对比类;
- 每个问题标注「必须命中的事实 ID」和「答案中必须出现/禁止出现的表述」;
- 指标分两级:检索层看事实召回率(必须命中的事实有没有被检出来),生成层看答案准确率与越界率。
分两级的意义在于定位问题:召回低是检索或语料问题,召回高但答案错是生成或 Prompt 问题。混在一起看,永远不知道该改哪。
八、几个反模式
只做向量检索,不做关键词混合。 企业场景里大量查询包含专有名词、型号、编号,这类精确匹配向量化之后会失真。混合检索(BM25 + 向量)几乎是必需的。
不做版本,只保留最新。 短期看省事,长期无法回答"这个说法什么时候改的",也无法回滚。
不做权限。 内部知识库里往往有报价、客户名单、未公开规划。切片时不带权限标签,检索时就没法过滤,最终只能整库不对内开放。
把 PDF 直接丢进解析器。 扫描件、双栏排版、跨页表格,解析质量直接决定后面所有环节的上限。这一步值得单独做质量抽检。
九、小结
RAG 的效果上限,在数据治理阶段就已经决定了。
模型和检索策略决定的是"能不能取到",而事实单元建模、实体归一、冲突消解决定的,是"取到的东西对不对"。后者出问题,前者的优化都是在放大错误。
如果只能做一件事,我会先做实体表和主体关系——它带来的准确率提升,通常比调参明显。
來源:阿里雲開發者社區 AI · developer.aliyun.com