跳到正文
阿里雲開發者社區 AI·· 16 小時前AI 評分45

摸路用 AI,守路用腳本:測試中的確定性應由誰負責

摸路用 AI,守路用脚本:测试里的确定性该站在哪

AI 導讀

測試流程應由 AI 負責探索、由腳本負責回歸守護;Mika 是 AI 操作手機的產品,Droidline 則是由程式碼驅動手機的介面。AI 探索所得路徑須由人判斷、補上斷言並固化成可重複執行的腳本,不能直接視作可進入 CI 的回歸用例。Mika 為 v0.1.x,Droidline 自述仍為 0.1,兩者仍處早期,定位是補位工具而非替代方案。

正文

2026-11-21 10

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 本文对比Mika(AI自主操作手机)与Droidline(代码驱动接口),厘清AI在测试中的定位:回归需确定性,属脚本职责;探索重覆盖,AI优势显著。强调“AI发现、脚本守护”的分层实践,明确AI是补位工具,非替代方案。

回归脚本又红了一片,原因是产品把"提交订单"改成了"确认下单"。

改选择器、加重试、写 data-testid,这套动作闭着眼都能做。干久了会默认一件事——界面自动化就是人写规则,机器照着执行。

然后出现一个叫 Mika 的东西:你说一句话,它自己看屏、找按钮、点下去。第一反应不是惊叹,是怀疑——不写脚本,按钮改名了它怎么办?

这个问题问错了。真正该问的是:按钮改名了,你的脚本红不红。

这两个东西不是一类,差别在 AI 站在哪
先把对象分清,不然整篇都是糊涂账。

Mika 是装在手机上的一个 App。你说"30 美元以内、4.5 星以上的充电器",它翻App、挑一个加购物车、结账前停下来问你。中间怎么判断全交给模型——它把界面整理成带编号的元素,模型自己决定点哪儿,读不出来的自绘界面才靠图像补。

Droidline 反过来。它本体是"手机能被代码一行行驱动":写一行、动一下,不判断、不猜测,找不到就报错。AI 来了也只是又一个发号施令的客户端,不是主角。它把同一棵控件树交给你,按字段匹配,点哪儿是你写死在脚本里的。

image.png

核心在于那句区分:Mika 是"AI 会操作手机",Droidline 是"手机能被操作,AI 可以来操作"。前者是产品,后者是接口。

一个把判断交给模型,一个把判断交给人。这个分岔往下决定了各自能进测试流程的哪一段。

回归要的是"红了一定是代码变了"
测试最怕的不是红,是不知道为什么红。

回归的价值建立在一条因果上:这次红了,一定是被测的东西变了,不是执行环境抖了、不是模型今天状态不好。守住这条因果,套件才值得信任,红了大家才会停下来看。

这条因果恰恰要求确定性。同一条用例,同一份输入,每次走同一条路径、得到同一个结果——模型做不到这个。你让它每次跑同一条用例,它可能每次走出不同路径;界面稍微一变,它换法子绕过去,用例还是绿的,而它绕过的那个变化可能正是 bug。

Droidline 那种"界面改版我得改脚本",听着是缺点,实际上就是回归要的性质。红了说明脚本和实现对不上,得有人去看是实现对了还是脚本该更新。一直绿着才可怕——那意味着没人知道它到底在验什么。

所以回归的位置不留给 AI。它属于写死的、可重复的、进了 CI 天天跑的脚本。

image.png

探索要的是覆盖,AI 比人快
不是所有测试任务都要确定性。有一类问题恰恰相反:你不知道那里会不会坏,只想知道它现在到底怎么走。

比如一个没人写过脚本的边角页面,"改版之后这个入口还能不能进得去"。写脚本不划算,手点十遍又烦。说一句话让 AI 走一遍,比手点快。它碰到登录、验证码、支付会停下来交给你,纯图像、没有元素树的界面它照样能点——这条是代码驱动做不到的,后者只能退到坐标硬点。

再看一类更容易被放过的:脚本不报错、断言不报错、用例绿着,功能其实没生效。Mika 有个机制值得挪过来——每个动作做完重新读一遍界面,看文字有没有进去、页面有没有变,不急着报成功。核心在于判断靠界面证据,不靠模型自述。这句话能用到所有 AI 功能上:别信它说"我做完了",看它留下了什么可核对的痕迹。

这些工作的共性是:目标是发现,不是证明。发现阶段慢一点、飘一点可以接受,因为本来就在未知里摸索。

中间那道桥现在还得人搭
最值得学的不是"AI 能操作手机",是它没打算让 AI 一直干活。

先让 AI 把没人写过脚本的角落摸一遍,把走过的路固化成能天天跑的脚本。Mika 会把做完的任务存成 skill,下次更快更稳;对"这个 bug 怎么复现"这种事尤其有用——你走一遍,它记住了,下次照着再来。

这就是分层:AI 负责发现,脚本负责守住。摸路用 AI,守路用脚本。

核心在于两阶段的产物形态不同。AI 探索的产物是一次性的路径,价值在"这次走通了";脚本的产物是可重复的执行体,价值在"以后每次都这么走"。从前者到后者不是自动完成的——AI 探出来的路径要人判断哪些值得固化、断言怎么写、敏感数据怎么剥掉、异常分支怎么补。中间这道桥现在还得人搭。

谁要以为"AI 探完自动进回归",把这两个阶段连成一根管道,得到的只是一堆飘的用例进不了 CI,或者一堆看似绿着实际没人懂的脚本。

它给不了什么,比能给什么更重要
把边界写清,位置才摆得正。

它不生成测试脚本。你要的是能进代码库的 Playwright 或 Appium 代码,它给不了——它自己就是个产品,不是测试框架。

它进不了 CI。跑在真机上,依赖模型调用,慢、不稳、还要花钱。500 条用例的回归它跑不动。

它做不了精确断言。它能告诉你"我点了,屏幕上变了",做不了"余额从 100 变成 90"这种字段级校验。

还有两条现实约束:自动操作第三方 App 可能违反服务条款,公司测试账号要谨慎;它需要 shell 权限,设备若有 MDM 管控这步可能过不去。

所以它的位置是补位,不是替代。补那些"写脚本不划算、人点又太费时"的缝——临时验一个入口、核对一次改动到底生效没有、把一次人工探索留下可复现的记录、跨 App 串一条流程、当个定时冒烟。

实际上判断一句工具该不该进流程,看它在失效时的表现最直接。它发现不了的东西,你不能假装发现了;它守不住的确定性,你不能让它去守。

两个都还在 0.x,别急着塞进流程
Mika 是 v0.1.x,Droidline 自述还在 0.1,真机验证才刚开始。版本早期意味着接口、行为、稳定性都还在变——今天探出来的路径,下个版本未必走得通。

先用它们跑跑自己的日常,摸清脾气,再想能不能用到工作里。这不是保守,是因为测试流程本身需要稳定:一个连自己都在变的工具,守不了别人的回归。

回头看开头那个问题,答案已经变了。不是"按钮改名了 AI 怎么办",是"按钮改名了,你的脚本红不红"。红了说明还有人在守;一直绿着,才是该慌的时候。

你们团队现在是怎么分工的——脚本守主流程、AI 补边角,还是反过来?有没有试过把 AI 探出来的一次性操作,固化成能天天跑的脚本?
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

來源:阿里雲開發者社區 AI · developer.aliyun.com