跳到正文
阿里雲開發者社區 AI·· 6 天前AI 評分55

RAG 檢索未命中時,如何用閾值與拒答機制攔截模型編造答案

手把手教你:RAG 答一半开始编,检索阈值与拒答机制实操|AI工程师踩坑实录·第8篇

AI 導讀

作者以本機 CPU 搭建 RAG 實驗,展示檢索未命中時模型會從不相關上下文拼湊看似合理的答案,並以檢索閾值和拒答提示詞設置兩道防線。實驗使用 bge-small-zh-v1.5 檢索及 Qwen2.5-0.5B-Instruct 本地推理,庫外問題最高相似度為 0.519,設定 0.55 閾值後被攔截;庫內問題得分 0.877,正常作答不受影響。

正文

2026-11-16 6

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 本文是《AI工程师踩坑实录》第8篇,直击RAG最危险幻觉:检索未命中时,模型用无关上下文名词拼凑“看似正确”的假答案(如虚构PyTorch 3.0特性)。全程CPU本地复现,提出双闸门解法——检索分数阈值拦截+强制拒答提示词,兼顾确定性与鲁棒性。配套实验脚本已开源。

本文是《AI工程师踩坑实录》系列第 8 篇。检索没命中,模型不说不知道,直接编一个像模像样的答案——比答错更危险,因为它看起来是对的。这一篇用一个本地小模型在本机完整复现「编造现场」,再给出两道闸门的实操修法。全程 CPU 推理,无网络调用。
本篇配套的 RAG 拒答对照实验脚本放在公Z号。

先看一段真实的模型输出,材料来自本机。

PyTorch 3.0 新增了数据加载、训练优化器等新特性,并且引入了新的函数,如 forward_hook 和 torch.version.cuda。与 2.x 相比,PyTorch 3.0 更加注重 GPU 独立运行时的支持,以及对 CUDA 版本的要求更加严格……

说得头头是道。问题在于,知识库里压根没有 PyTorch 3.0 的任何内容,这段「特性清单」是模型现场编的。更讽刺的是,编造的原料全部来自检索上下文——它把不相干资料里的名词东拼西凑,包装成了答案。

这就是 RAG 落地里最招人恨的坑,答一半开始编。今天把它完整复现,再钉上两道闸门。

一、实验设置,全本地,CPU 可跑

搭建一个最小 RAG。知识库放 7 段技术知识(就是本系列前几篇的内容摘要,CUDA 版本、DataLoader 卡死、loss 变 NaN、标签错位这些),检索用 bge-small-zh-v1.5 算余弦相似度,生成用 Qwen2.5-0.5B-Instruct 本地推理,全部在这台笔记本的 CPU 上跑通。

两个测试问题。库内问题,「nvidia-smi 右上角的 CUDA Version 代表什么」,知识库里确实有。库外问题,「PyTorch 3.0 新增了哪些重要特性」,知识库里绝对没有。

先看检索环节的真实分数。

拒答对照实验完整输出

库内问题,最高相似度 0.877,命中正确段落。库外问题,最高相似度 0.519,命中的是一段讲 DataLoader 的内容,跟 PyTorch 3.0 毫无关系。

注意这个 0.519。它不高,但也不算低。这是幻觉的高发温床,后面细讲。

二、场景 A,裸 RAG,模型当场开编

所谓裸 RAG,就是生产环境里最常见的写法,检索 top-3 塞进提示词,跟一句「请根据以下资料回答问题」,没有任何拒答约束。

真实输出在上面那张图里。模型编了一段 PyTorch 3.0 的「特性」,里面 forward_hook、torch.version.cuda 这些词都来自检索塞给它的那三段资料。

拆一下它的作案手法。检索返回的三段资料里没有答案,但提示词要求它「根据资料回答」,它又不愿意输出「我不知道」(指令里没让它这么说),于是它做了最符合指令的事——把资料里的名词重新组织,包装成一段看起来像答案的话。

每个成分都能在资料里找到出处,但拼出来的事实整体是假的。这就是为什么这种幻觉特别难防,逐句检查语法没问题,核对名词也有来源,只有拿着真知识对照才露馅。

三、场景 B,两道闸门,一个让它闭嘴

修法分两层,对应两类失效。

闸门一,检索阈值,在模型开口之前拦。检索最高分低于阈值,直接返回「知识库中没有相关信息」,根本不进模型。这次实测里库外问题最高分 0.519,阈值设 0.55,正好拦下。库内问题 0.877,畅通无阻,正常作答不受影响。

检索分数与阈值的关系

闸门二,提示词规则,兜住漏网的。阈值只能挡住分数低的,总有分数过线但内容不含答案的漏网之鱼(比如库里有一段泛泛而谈的内容,分数 0.6,但就是不回答你问的那个点)。所以生成侧的提示词里必须写死一条,资料与问题无关或没有答案时,直接回答不知道,禁止编造。

两道闸门缺一不可,只设阈值挡不住灰色地带上方的漏网者,只写提示词挡不住小模型的「不自觉」。

两道闸门机制图

四、阈值怎么定,别拍脑袋

0.55 这个数不是标准答案,它是我这份 7 段小知识库上的实测分界。库内命中 0.877,库外最高 0.519,中点往上一点就是合理阈值。

正规做法是拿一批标注好的问答对跑一遍,把「该答的」和「不该答的」两组分数分布画出来,找两坨分布之间的谷底。库越大、内容越杂,这个分界越要自己量,抄别人的阈值等于没设。

另外阈值宁可偏高。误拒答的代价是用户多问一句或者换个问法,幻觉的代价是用户拿着假答案去做决策。前者烦人,后者要命。

五、常见问题 3 连

1. 我用的模型比 0.5B 大得多,还需要这两道闸门吗?

要。大模型指令遵循更好,遇到明确写了「不知道就说不知道」的提示词,大多会老实。但生产里提示词经常很长、被各种系统提示稀释,规则被淹没的情况很常见。闸门一(阈值)完全不依赖模型自觉,它是确定性的,这也是它值钱的地方。

2. 除了拒答,还有哪些压幻觉的手段?

按性价比排。强制引用(要求每句答案标注来自哪段资料,标不出就删),这是最硬的一招,用户可以点开原文核对。自省式二次校验(生成后再问模型一次「上述内容是否全部来自资料」,不一致就重答或拒答)。降低生成温度,减少自由发挥。核心思想都一样,让答案的可信度可以验证,而不是祈祷模型自觉。

3. 拒答太多会不会影响体验?

会,所以知识库质量才是根本。拒答机制是安全网,不是遮羞布。如果你的系统十问八拒,问题不在阈值,在知识库覆盖面和切块质量(这又是另一个大坑,top-k 与切块策略,够写两篇了)。

六、本篇小结

  1. 幻觉高发在检索分数的灰色地带(本次实测 0.519),分数不低但内容不含答案,模型拿资料名词拼假答案。
  2. 两道闸门,阈值在模型开口前拦(确定性),提示词规则兜漏网(概率性),缺一不可。
  3. 阈值用自己的问答对实测分布来定,宁高勿低,误拒答的代价远小于幻觉。

本篇坑卡片

字段 内容
坑名 RAG 检索未命中时模型编造答案,且原料来自不相干的检索上下文
现象原文 问 PyTorch 3.0 特性(库外),模型输出编造的特性清单,含 forward_hook 等资料名词
环境 Win11 + CPU,Qwen2.5-0.5B-Instruct(本地),bge-small-zh-v1.5,transformers 5.22.1
复现步骤 7 段知识库 → 库外问题检索最高分 0.519(资料不相干)→ 裸 RAG 无拒答约束 → 模型编造 → 加阈值 0.55 + 拒答规则 → 正确拒答,库内问题 0.877 不受影响
根因 检索分数处于灰色地带(不低但不含答案),提示词又要求「根据资料回答」,模型以资料名词拼凑答案
解法 闸门一:检索阈值低于分界直接拒答不进模型;闸门二:提示词写死「无答案就说不知道,禁止编造」
避坑建议 阈值用标注问答对的分数分布实测确定,宁高勿低;生产加强制引用
可信度 本机验证
版本时间戳 2026-11-06,Qwen2.5-0.5B-Instruct + bge-small-zh-v1.5
关联坑 第 7 篇数据泄漏(同为"评估与真实效果的鸿沟")

专栏导航

篇次 主题 状态
1 nvidia-smi 显示的 CUDA 版本到底是不是你装的那个 ✅
2 torch.cuda.is_available() 一直是 False,一条命令定位断点 ✅
3 标签和图像没对齐,模型一直在学噪声 ✅
4 loss 变 NaN,用 hook 逐层定位 ✅
5 DataLoader 卡死在第一个 batch,Windows 多进程的坑 ✅
6 装了两套 CUDA 还在串,PATH 与优先级的真相 ✅
7 数据泄漏:预处理做在了划分之前 ✅
8 RAG 答一半开始编,检索阈值与拒答机制实操 ✅(本篇)
9 随机种子都设了,结果还是不可复现 排期中
10 相似度全是 0.9:向量没归一化 排期中
11 开了混合精度就 NaN,GradScaler 到底在做什么 排期中
12 loss 不降反升,先别怀疑模型结构 排期中
13 训练降验证不降:先查数据再谈正则 排期中

下一篇预告,《随机种子都设了,结果还是不可复现》。同一份代码两次跑出不同指标,汇报时说不清哪个数是真的。下一篇把 Python、NumPy、框架、CUDA 四层随机源逐个固定,演示漏一层的后果。


版权说明,本文编造现场与拒答对照均来自本人真机复现,专栏读者可学习使用,禁止转售或整篇搬运。

來源:阿里雲開發者社區 AI · developer.aliyun.com