Agent 評測指標如何選、如何計算？

简介： 本文系统解析AI时代Agent测评的四大类核心指标（判定、检索、相似、行为），直击准确率“骗人”等常见误区，用大白话讲清每个指标的计算逻辑、适用场景与坑点，并提供可落地的选指标三步法和避坑清单，助你科学评估Agent质量。

AI 时代，Agent 正在成规模走进产品，客服机器人、编程助手、知识库问答，背后都是 Agent 在替用户干活。Agent 好不好用，光靠人拍脑袋说不清，要想准确评估 Agent 质量，就需要一套算得清的指标体系。

这篇围绕两个问题展开，Agent 测评指标具体有哪些，这些指标该怎么算。

比如拿内容审核来说，一百条待判数据，九十九条正常，一条违规。Agent 什么都不看，全部判正常，准确率 99%，数据很好看。但那条唯一的违规，就这么放出去了。风控、故障检测也是同样的数据形态，要抓的坏样本只占很少一部分，什么都不做的 Agent 反而拿最高分。

指标会骗人，这篇把 Agent 测评里常用的指标捋一遍，讲清楚每个指标量的是什么、大白话怎么算，又在什么情况下会坑你。

本篇内容抽自「AI 进化社」付费教程的测评指标篇，这篇只保留选指标的大体思路，公式推导简单聊一下，教程里会有完整版。

先搭框架，指标分四类

市面上的指标名词几十个，准确率、召回率、F1、ROUGE、MRR、NDCG，新手一上来容易晕。企业测评真正常用的是四类，每类各管一摊问题，一张表就能框住。

指标分类	管什么	代表指标	典型场景
判定类	有标准答案，判对错	准确率、精确率、召回率、F1	意图识别、内容审核、该不该转人工
检索类	考排序，该找到的排第几	命中率、MRR	RAG 的检索层
相似类	答案不唯一，比像不像	精确匹配、ROUGE、语义相似度	问答、摘要、内容生成
行为类	不看内容，看跑得怎么样	通过率、波动、P95 时延、成本	所有任务的公共项

选指标的第一原则其实就一句话，先看你的任务能不能判对错。

能判对错（意图对不对、违规判得准不准），用判定类。
答案开放没有唯一写法（客服回复、报告），用相似类做粗筛，细判交给下一篇的 LLM 评分器。
RAG 应用先拆成检索层和生成层分开算。
行为类指标不用选，所有任务都该带上。

判定类：准确率、精确率、召回率、F1

这一类是传统机器学习留下的老资产，在大模型测评里依然是最硬的一块，凡是能把输出判成对错的场景都用得上。

判定类的四个常用指标用的是同一套底层逻辑，全部都可以从一张四格表里算出来，先把这张表看懂，后面的指标就都好懂了。

正类

判定类指标有个前置概念，正类。

就是你这次测评要抓的那个类别。测内容审核，违规是正类。测该不该转人工，该转是正类。测幻觉，有幻觉是正类。

注意正类是你自己定的，同一批数据把正类换掉，所有指标的含义跟着变，所以出报告时要写清楚「正类是什么」。

正类定了，每条数据的判定结果只会落进四个格子。拿商场安检抓小偷打比方，一百个人过检，结果无非抓对了、漏掉了、冤枉了、放得对。判定类所有指标，全是这四个格子的不同除法，记住这四个中文词，比记 TP、FP 那堆缩写管用。

	安检员报警	安检员放行
真是小偷	抓对了（TP）	漏掉了（FN）
其实是顾客	冤枉了（FP）	放得对（TN）

准确率把四个格子全算进去，整体判对的比例，开头那个 99% 就是它出的。

精确率只盯报警那批。十次报警里几次是真的，它管误报。转人工场景精确率 66.7%，意味着客服每接三通转接电话，就有一通是 AI 大惊小怪白转的，人力实打实被耗掉。凡是 AI 一锤定音的动作，自动下架、自动拦截、自动转人工，精确率当主指标。

召回率只盯真小偷。十个真小偷抓住几个，它管漏报。风控、有害内容、医疗风险提示，漏放一条的代价远大于误杀十条，这些场景召回率当主指标，做内容安全的团队普遍把违规召回的门槛定在 95% 以上。

这两个指标天生互相拉扯。判定收得严，误报少但漏得多，放得松，抓得全但冤枉也多，没有两头都赢的档位。用之前先回答一个业务问题，你的场景里误报和漏报哪个更疼。自动动作类误报更疼，风险漏放类漏报更疼。

说不清哪边更疼，或者两边都要，看 F1。

它是精确率和召回率的调和平均，性格是偏爱短板。精确率 0.90、召回率 0.10 的模型，普通平均给 0.50 的体面分，F1 只给 0.18，偏科被狠狠拽下来。风控场景里这种十个坏人抓住一个的模型，本就不该拿到及格分。

两个提醒。两边代价明显不对称，别死守 F1，把更疼的那边定成主指标，F1 退居参考。报 F1 时把精确率召回率并排列出来，0.72 可能来自 0.9 配 0.6，也可能来自 0.75 配 0.69，修法完全不同，一个合成数字说不清偏科偏在哪边。

检索类，RAG 的答案好坏一半在检索

RAG 是国内企业落地最多的大模型应用形态。用户提问后，系统先从知识库里检索出一批片段，按相关度排好序，把前几条塞给大模型照着作答。资料没找到，模型再强也只能瞎编，而模型瞎编正是幻觉的直接来源，所以答案好坏的一半，在检索这一步。

检索指标最常用两个，搭着用。

命中率@K 回答有没有。一百个问题里，多少个能在前 K 条里找到正确资料。它的盲区也在这，只答有无，排第 1 和排第 5 在它眼里一样。

MRR 回答排多前。标准片段排得越靠前得分越高，第 1 名满分，第 2 名一半，没召回零分。

两个数搭着看能分诊。命中率高、MRR 低，资料找得到但总沉底，病在排序，加一层重排序通常就能治，不用动检索本身。命中率和 MRR 一起低，才是检索的问题，回头查切分和向量。

有条铁律得单独强调，K 必须跟着系统的真实行为走。应用只把前 3 条喂给模型，就该用命中率@3 来评。有人图分数好看，应用取 3、评测用 @10，资料排第 8 也被记成命中，指标说命中了，模型根本没看到这条资料，纸面命中，线上照样答不出。

相似类：答案不唯一时怎么比

在讲之前，先看一个判定类和检索类都接不住的场景。

用户问「买的鞋想退，第 9 天了还能退吗」，测评集里标了参考答案「超过 7 天需人工审核，审核入口在我的订单页」。AI 实际回复「超过七天要走人工审核，您在订单页发起就可以」。

这条回复判对还是判错？没有唯一结论可以比对（判定类用不上），也不涉及知识库检索排名（检索类用不上），手里只有一段参考答案，唯一的办法是拿回复和参考答案比「像不像」。相似类指标就是干这个的。

这一类还有一个总原则，只做粗筛。它负责把明显跑偏的回复捞出来，边界情况交给下一篇的 LLM 评分器。

比像不像有三个层次。精确匹配要求逐字相等，适合订单号、金额、日期这种天然唯一写法的字段，放到别的场景它见谁杀谁。ROUGE 看字面重叠，参考答案里的要点，回复覆盖了几成。语义相似度把两段话各编码成向量，看方向夹角，意思越近方向越近。

「七天」和「7 天」是一个意思，ROUGE 按字面算不给分，好答案被冤枉。「可以退货」和「不可以退货」六个字里五个一样，向量几乎重合，语义相似度照样 0.85，意思完全相反。堆满政策词但一句没回答问题的回复，和参考答案用词高度重合，三个指标全给体面分。

所以相似类只能粗筛，负责把明显跑偏的捞出来，边界情况交给规则断言和 LLM 评分器。相似度量的是说得像不像，量不了说得对不对，把 ROUGE 和余弦分数写进上线门禁，方向性、否决类、风险类的语句就会从眼皮底下溜过去。

行为类，不看内容看运行

这一类不判内容好坏，测的是任务跑得怎么样，任何任务都该配几项，对应上一篇维度里的非功能质量。

先说一个好消息，这一类的采集成本几乎为零。

通过率、时延、Token 成本，全是跑测评时顺手记录的事，不用专门采集、全自动，唯一的例外是安全违规数要加一道人工抽检。

单次通过叫运气，通过率才叫规律。同一批评测集连跑 5 到 10 轮，每轮记一个通过率。五轮跑出 95%、60%、85%、70%、90%，平均 80%，这个平均数先别急着报，波动 35 个点说明系统里藏着不稳定因素，采样随机、环境抖动、缓存命中差异都有可能，这时候查波动来源比提分更重要。

性能看 P95，别看平均。平均时延 2 秒听着不错，100 条里 5 条要 20 秒，那 5 个用户已经在骂了，平均数把这事捂得严严实实。平均值会被长尾拉平，分位数让长尾现形，汇报性能永远带着 P95。

安全违规数不算比例，直接计数，门禁是必须等于 0，出现 1 次当轮测评不过。机器扫敏感词和内容安全分类器之外，红线样本每周人工抽一批，机器认不出变体写法和隐晦表达，安全这事不能只信机器。

选指标三步，拆任务、领指标、组指标卡

一个真实的 AI 应用从来不止一种任务。电商智能客服同时干着政策问答、该不该转人工、违规拦截三件事，性能成本安全又是所有任务共享的公共项。

指标选择的第一步就是把应用拆成子任务，然后每个子任务去下面的表里领自己的指标组合。

任务类型	主指标	辅助指标	门禁建议
意图识别、内容审核	更疼那边（精确率或召回率）	F1、每类分开报	违规类召回不低于 95%
RAG 问答（检索层）	命中率@5、MRR	Recall@K	命中率@5 不低于 90%
RAG 问答（生成层）	忠实度（第六篇讲）	语义相似度粗筛	幻觉红线零容忍
开放式生成	LLM 评分（第五篇讲）	ROUGE、语义相似度	粗筛低分进人工复核
执行类 Agent	多次运行通过率	波动、轨迹指标（第七篇讲）	P0 通过率 100%
所有任务公共项	P95 时延、成本、安全违规数	—	安全等于 0，一票否决

两条纪律。一个子任务只立一个主指标，两边都重要就按哪个更疼选边，或者用 F1，并列两个主指标等于没有。门禁宁少勿多，第一版三五条硬门禁就够，门禁越多越没人看。

领完的指标组装成一张指标卡，测什么、主指标、门禁线、当前值、数据来源五列。第一轮跑完把当前值填上，那就是基线，以后所有改进都和基线比。每条门禁线要和业务方过一遍再定，P95 卡 8 秒还是 3 秒，成本线定 5 分还是 1 毛，取决于业务能接受什么，别测试自己拍。

还有一个容易漏的动作，指标自己也要校准。上线前抽 10 到 20 条，人工先逐条判对错，再让指标算一遍，两份结论摆一起比。有分歧的条目逐条查原因，多半出在判定标准有歧义或阈值定歪了。指标和评分器一样会出错，粗筛线是校准出来的，不是拍脑袋拍的。

一份避坑清单

把全篇的坑归成六条，出报告前对照扫一眼。

数据里违规占比连一成都不到，准确率再高都没意义，去看召回
拿 ROUGE 给同义改写打分，它只认字面，换个说法分就掉，当参考线就好
余弦 0.85 就认定答对了，可以退货和不可以退货，相似度也是 0.85
跑一次通过率 90% 就宣布系统稳定，概率系统跑一次说明不了任何事，至少五轮起
汇报性能张口就是平均时延，100 条里 5 条卡 20 秒，平均值看不出来，P95 才看得见
报告里只有一个总分，总分涨两个点，没人知道哪里涨的哪里跌的，分维度报

指标的价值，在于告诉你往哪修。精确率低，方向是收紧判定，转人工前先跟用户确认一句。

召回率低，方向是放宽判定，把「叫你们领导出来」「再这样我就卸载了」这类同义表达补进触发条件。修完把漏掉的样本回流进测评集，下轮回归专门盯它们，修没修好，让数据说了算。