跳到正文
DEV Community· goodlords·· 15 小時前AI 評分60

mycs 扁平問答流程:先發布,才讓模型讀取

问答是扁平的:先发布,再让模型看见

AI 導讀

mycs 以扁平問答整理知識庫,只有正式發布的條目才會進入模型的候選清單,答覆再由程式核對是否有原文依據。同一組 13 道題中,完全正確的題目由 7 道增至智譜版本的 10 道,再在 Qwen3.6 上增至 11 道;年假例子則由程式按已有 8 天、新增 15 天及上限 30 天算出 23 天。

正文

前两篇都假设库里已经有「已上线」的问答。这一篇写它们怎么进来,以及答复怎样才算有依据。

第一篇把证据放在知识旁边:一条事实要能指回原文。这里没有再做一层向量检索去「找回证据」。一条问答的答案就是它自己的证据。编号是地址,正文是引用。

草稿看不见,发布才算数

导入或新建的问答先是草稿。问答页只读已上线的条目。星河这本现在是草稿 0、已上线 35。没点「正式发布」之前,问同样的问题会像库是空的。

一条问答可以单独改。下面是礼品那条:单次每人不超过 2000 新台币,不能造成义务或利益冲突,禁止现金、现金等价物。状态选已上线,保存之后才会进入勾选。

编辑一条已上线问答

整本手册不是一条条手敲的。批量导入认这种文本:

Q1:工资一般什么时候发到账?
A1:工资按月发放,一般次月 5 个自然日内发放;遇银行假日,提前至前一个工作日发放。

问题和答案都可以跨行,一直写到下一题。导入进去仍是草稿,要点「正式发布」才进问答。

按 Q、A 批量导入,先落成草稿

旧的「### Q1」加「答:」也能解析。给外部模型整理材料时,提示要求它按 Q数字 / A数字 输出。整理结果和导入器读的是同一种文本。早期有一次用了另一套标题格式,解析结果是 0 行,库是空的,问答就一律拒答。格式对齐之后,这个问题才消失。

六本库的条数在列表里就能看见,已上线的才会被勾选读到。

只有已上线的条数进入问答

提示必须和程序发出去的 JSON 一致

勾选那一次,程序放进用户消息的字段是 question、document_title、entries、enumerative_query、composite_query、max_picks。每条 entry 只有编号、标题、摘要。没有「这是第几批」,也没有「请返回 done」。

提示如果还在说「父章节」「叶子」「后面还有几批」,模型会按一个不存在的目录作答。我们把这些句子从给模型的提示里拿掉了。分批是程序的事,模型只对眼前这份列表负责。

多件事的问题另有一段补充:每一件事都要有一条对得上的问答,不要只留最显眼的那条。这段补充之前会和「通常 1~3 条」叠在一起。离职这种一题里有年假、报销、电脑的问题,模型就只留下归还资产。多件事时不再附上那句普通上限。枚举题仍保留自己的上限说明,普通单题仍是通常 1 到 3 条。

作答提示也改过一句曾经帮倒忙的话。原先写:问题提到但原文没写的,单独说未检索到。发薪那题的正文已经写了银行假日提前发放,模型还是补了一句「未检索到银行放假怎么处理」。两句放在一起,就是自己打自己。

现在的要求是三条:

  1. 这件事原文已经回答了,按原文写完,不要再补未检索到。只有这件事在原文里完全没有着落,才单独写未检索到。
  2. 题目里已经给出的事实,拿去对照原文的条件。条件已经满足,就按原文的允许或禁止下结论。礼品那条禁止造成利益冲突。客户已经要求「优先考虑」,就写成不能接受,不要改成「如果没有冲突就可以收」。
  3. 不要先写一条原文没有的做法,再用未检索到把这条做法收回。离职里的「应结清年假」就是这种句子:原文没有折算,模型先写义务,再补一句没找到。

提示每调用读一次文件,不在进程里缓存。改 config/prompts.txt 之后,下一问就是新句子,不用为了提示重启。换模型仍要重启,因为模型名在进程启动时读。

核对是规则,不是再问一次模型

早期的核对只要「勾到了至少一条」就通过。权游的铁王座少写了宝剑,面板上仍是通过。星河上,礼品被答成可以收、离职被补上一句结清年假,也是通过。年假答成 7 天的那次,结论和依据对不上,核对同样放过。

现在多了三项,仍然不调用模型:

检查 拦住什么 放过什么
结论被收回 前面已经写出原文里的事实,后面又说未检索到同一件事 另一件事确实没有条文。金额题说「没有看到报销上限」可以留
义务没有依据 先写必须、应当、原则上,再用未检索到把这句收回 原文里本来就有的「原则上提前 30 日」
禁止被说成许可 原文是不能造成利益冲突,结论写成「如果没有就可以接受」 结论里仍然写着不能接受

空召回仍然失败。年终奖因此不会被说成有依据。句子按句号、问号、叹号和分号切开。模型用分号把「应结清」和「未检索到」粘在一句里时,早期切不开,核对会放过;补上分号之后,这句被拦住。

这三项也会误伤。Qwen3.6 把离职答对了:提前通知、报销、归还资产都在,年假写成「未检索到离职时怎么处理」,没有编结清。核对仍失败,因为「未检索到」那句和前面的通知都有「离职」两个字。拦住写反的结论,比放过它更值得。误伤要再收紧匹配,而不是退回「有条目就算过」。这一条还没改。

有上限的数量,让程序算

年假题是:已经结转 8 天,刚满一个工作年,最多还有多少天。原文是满一年 15 天,结转上限 30 天。8+15=23,没有顶到 30。

这条题在三个阶段的结论不一样:

阶段 结论 原因
手册还是章节树 7 天 漏了当时的结转上限那一节,核对仍通过
改成扁平问答,只靠提示 30 天 勾到了 15 天和 30 天上限,模型把上限当成他的余额
程序算出结果再写进结论 23 天 已有 8、新增 15、上限 30,取较小值

提示里已经写了「已有加新增,且不得超过上限,结论只写这一个数」。智谱仍写 30。于是不再指望它心算。

程序从问题里取「已经、已有、结转了」后面的数,从正文里取「享有、每满」后面的新增和「上限、最多、不超过」后面的上限。三种都恰好一个、单位都是天,才算 min(已有+新增, 上限)。这个数交给撰写和改写。答复的结论里如果没有这个数,就用算出来的句子换掉结论,依据段保留。已经写成 23 的草稿不会再被改一遍。

数字只来自问题和原文。问题里没有已有数量,或者正文里新增和上限对不上同一种单位,就不算,仍交给模型。8 加 15、上限若是 20,结果是 20,不会报出超过上限的和。

这道题因此稳定写成 23 天。Qwen3.6 上它耗时 12.3 秒,模型调用 4 次:勾选、撰写、以及数量放进上下文之后的改写。日志里能看到已有 8、新增 15、上限 30、结果 23。

改完之后,13 题变成什么样

同一套星河题,三次跑法叠在一起看,改动落在哪一目了然。

题 改提示前的智谱 改提示、数量和核对后的智谱 Qwen3.6
发薪,银行假日 写对了,又补未检索到 不再自相矛盾 通过
结转 8 天后再满一年 结论写成 30 天 程序改成 23 天 23 天
1800 礼品,要求优先考虑 改成可以接受 按禁止写 不能接受
绩效目标能否改 勾到举报那一条 仍勾 1.34,并编理由 勾回 1.19,仍缺评估周期
笔记本丢失 空召回 仍空 2 小时内上报
离职三件事 只留归还,并写结清 仍编结清,核对改为失败 通知、报销、归还都在,没有结清
年终奖 拒答 拒答 拒答

完全正确从 7 道到 10 道,再在 Qwen3.6 上到 11 道。智谱剩下的 3 道错,两道是勾选不听提示,一道是作答仍编义务。换模型补上了勾选,作答上的「必须」还在,所以离职是部分正确。

核对在 Qwen3.6 这轮是 11/13。年终奖空召回失败,这是预期。离职那道事实是对的,被「离职」两个字误伤,这是要再收的。

还没做、但已经想清楚的

模型不听提示的时候,程序仍能在它交卷之后动手,不必再加一轮对话:

  • 勾回来的编号,摘要和问题对不上,就丢掉。1.34 的摘要是举报,问题是绩效,这条不该留下。
  • 模型返回空数组时,问题里的「笔记本」和摘要里的「设备」若是上下位,本地可以留住这条,再送去作答。这和「向量当主检索」不是一件事。
  • 核对失败时,把那句没有依据的义务从给用户的文字里拿掉,而不是整段打回。

这三件都还没写进主路径。向量短名单也没有。35 到 100 条问答,标题和摘要一次放进上下文,在 256K 的窗口里很宽裕。慢和错都不来自「窗口装不下」。

慢来自小模型读完这份列表。错来自模型没有按摘要里的那句话勾,或者作答时补了原文没有的义务。换一个更听话的模型,笔记本和设备、离职的三件事,不用改检索架构也能对上。提示和核对仍然要在,因为换模型之前,这些错会直接出现在用户看到的句子里。

代码在 github.com/zealot2002/mycs:

做什么 哪里
提示,每次调用重读 config/prompts.txt
多件事不再叠普通条数上限 src/mycs/planning/flat_faq.py
已有数量加上限 src/mycs/skills/capped_quantity.py
规则核对 src/mycs/verifier.py
发布后才进入问答 frontend/src/views/KnowledgeDetailView.vue

上一篇是 三个模型,只改一个变量。系列从 RAG 的终点不是检索,而是知识 开始。

來源:DEV Community · dev.to