跳到正文
阿里雲開發者社區 AI·· 6 小時前AI 評分44

概率不是結論:把 AI 判斷接入測試的責任線

概率不是结论:把 AI 判断接进测试的责任线

AI 導讀

Jev 是面向測試自動化決策判斷的輕量級模型,按元素表輸出是非、評分、單選及定位結果與概率分佈。概率只作證據,測試程式以 pytest 斷言和閾值決定是否通過,讓判據可配置、可審計及可重現。Jev 負責判斷,LLM 負責生成;元素表限制模型只能選擇頁面上已觀測到的控件。

正文

2026-11-22 6

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: Jev 是专为测试自动化中的**决策判断**设计的轻量级模型,不生成文本,而是基于元素表对是非、评分、单选、定位四类题型输出结构化结果与概率分布。它将“该不该重试”“点哪个按钮”等高频判断交由一次前向计算完成,与语言模型分工协作——生成归LLM,决策归Jev。概率仅作证据,断言与阈值由测试代码显式控制,确保可审计、可复现、可配置。

测试自动化里有一类工作,不是生成代码,也不是把话说完。

该不该重试、下一步点哪个按钮、这一步算不算通过。这些工作要的是一个判断,而且最好是带确信程度的判断——不是一段新生成的文字。

Jev 就是为这类工作做的决策模型。它输入当前状态和事先写好的题目,返回结构化结果和概率分布。题型只有四类:是非、评分、单选、定位。请求结束时,调用方拿到的是固定结构加概率,可以直接交给后面的程序。

把它接进 Web UI 自动化,真正值得看的不是它多快多便宜,是它逼着你把一条线划清楚:谁给判断,谁下结论。

判断和生成,是两种不同计算
日常大模型按人类语言优化,输出是一段能继续往下说的文本,一个字一个字往外吐。计算机真正要执行的,往往是类型已经定死的结果:是或否、第几档、选 A 还是选 B。

用卡尼曼的说法,通用模型走的是系统二——长文本、逻辑链、反复斟酌。而软件流程里大量的判断属于系统一:高频、轻、不需要长篇回答。这次失败该不该重试、要不要触发告警、这条数据归哪一类。业内一个估计是这类判断占智能体循环的九成五。

用系统二去做系统一的活,是当前智能体又慢又贵的一个主因。Jev 的位置就是补上这段:一次前向计算,直接输出判定概率,不做逐字生成。

image.png

两者是协作,不是替代。一条链路里,生成交给语言模型,判断交给决策模型。要填进输入框的句子让语言模型写,点哪个框、做哪种操作由决策模型定。

概率只当证据,断言留在代码里
这是整套设计里最该被测试开发看住的一条。

Jev 返回的是"选了谁、有多确信"。它不会宣布"我觉得这一步通过了"。通过与否由测试代码里的 pytest 断言和阈值决定。

核心在于:概率是证据,不是结论。模型交出候选和确信度,拍板的是调用方写的规则。

这条线一旦模糊,测试就变了味。如果让模型自己宣布通过,判据就藏在模型的判断里——不可配置、不可审计、换了版本说不清为什么结论变了。测试的可信基础是判据显式、可复现,把判据外包给一个概率输出,等于把门禁交给了不可解释的东西。

实际上这和人工评审一个道理:证据摆出来,结论由有权限的人签。模型负责把证据备齐,不负责签字。

阈值放在代码里还有个实际好处:可以随风险调。关键路径把阈值设高,宁可多报;边角页面设低一点,减少误报。同一个模型输出,不同阈值适配不同场景——这正是判据该有的形态。

image.png

元素表是边界,模型不能编元素
一步操作怎么转起来,职责分得很干净。

框架让浏览器打开页面,读出当前可见的输入框和按钮。 observe 把这些控件收成一张元素表:序号、角色、标签、当前值,以及它能做的操作。决策模型只能从这张表里选序号,不能自己编一个页面上不存在的元素。

本质上是给模型的判断划了输入域。它能选择,不能创造。页面上有二十八个控件,它就在二十八个里做选择题——这比让它对着一段自由文本猜"该点哪里"可靠得多。

对测试开发来说,这个约束的意义在于可复现。候选集是确定的,输入是确定的,模型的输出才有讨论的基础。失败时你能回答"它当时看到的是哪张表",而不是面对一句含糊的"模型觉得该点这里"。

元素表也决定了能力的天花板。表里看不见的东西——没有名字的图标、画布上的图形——这道选择题就出不来。边界不在模型,在观测。

报告三层,对应结论、证据和复盘
Allure 报告里同一步操作会留下三层记录,设计得很清楚。

image.png

参数表给人看结论,概率给阈值当证据,原文给失败时复盘。三层从粗到细,从结论往下翻,才能核对模型到底看了什么。

核心在于:只有参数表不够。它告诉你模型选了第 12 号元素,不告诉你第 12 号是不是明显优于其他候选。概率这一层让阈值有了依据——选中项 0.9 和选中项 0.35,虽然动作一样,可信程度完全不同。

原文这一层更关键。元素表有没有漏控件、模型是不是在一份过期页面上做的选择,只能回到请求原文对。这和缺陷报告必须有复现步骤是同一个要求:结论要能追到当时的现场,否则失败一次就白一次。

三种方案,差别在页面变化由谁承担
页面会变,这是 UI 自动化一直要解决的问题。三条路线的答案不同。

固化脚本那条路——用语言模型读页面、生成操作过程,然后录成脚本反复执行。生成之后成本低、跑得快。代价在维护期:按钮文案、结构、路径一变,定位就失效,得把语言模型叫回来重新探索。页面越常变,这笔"生成一次、执行很多次"的账越难算平。

每步重选那条路——每一步都对着最新的元素表重新做选择题。按钮文案、位置、层级变了,只要它还在表里,下一次运行不用改脚本。成本从维护期挪到了运行期,单次判断很便宜,但每次都要判一次。

视觉那条路——游戏和部分 PC 端没有可用的 DOM,元素定位做不了。用视觉模型识别截图,能看见布局和图标,费用和延迟按"每一步都要看图"算,是三条里最贵的。

image.png

核心在于:三条路线的分界不是先进不先进,是页面变化的成本由谁承担、在哪个阶段付。选型的依据是页面变化频率和观测条件,不是模型能力强弱。

责任线划清楚,工具才敢用
拿这套东西做测试,判断环节确实被压缩了:不用人来盯每一步点哪里。

但压缩的是执行,不是责任。断言还在代码里,阈值还是人定的,报告还得有人看概率层是否合理,失败还得有人回到原文核对。

实际上这正是测试开发该守的位置。工具把"选谁"这件事做得又快又便宜,但"什么算通过""这个阈值能不能放行""这次失败是不是误报"——这些判断没有因为模型变聪明就转移。

回到那句最该记住的话:概率是证据,不是结论。你的自动化里,模型给出的判断和最终放行之间,有没有一条明确的线?
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

來源:阿里雲開發者社區 AI · developer.aliyun.com