跳到正文
阿里雲開發者社區 AI·· 2 小時前AI 評分46

Playwright MCP 與 CLI + Skills:同樣執行瀏覽器測試,Token 消耗為何不同?

Playwright MCP vs CLI + Skills:同样执行浏览器测试,Token 消耗为什么不同?

AI 導讀

Playwright MCP 與 CLI + Skills 的實測顯示,後者任務結束時的上下文規模略低,但兩者差距不大。相同商城任務各執行三次,MCP 約為 48K~50K Token,CLI + Skills 約為 45K~48K Token;這些數字不代表實際 Token 總消耗,也不能用來判斷速度。

正文

2026-10-24 9

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 本文对比Playwright MCP与CLI+Skills两种AI浏览器自动化方案,聚焦Token消耗、执行效率与任务成功率。通过实测分析指出:CLI+Skills略省Token(45K–48K vs 48K–50K),但差距缩小;选择应兼顾场景——探索式测试适配MCP,编程Agent协同推荐CLI+Skills。

现在用 AI 做 Web 自动化测试,已经不是什么新鲜事了。

过去需要测试工程师手写脚本,现在给 AI Agent 一段需求,它就能打开浏览器、定位元素、填写表单,甚至完成整个业务流程。

但用得多了,问题也来了。

明明只是测试一个登录功能,AI 却反复读取页面、查找按钮,有时十几次操作才能完成任务。

这些操作不仅影响执行速度,还会消耗 Token。

Playwright MCP 和 Playwright CLI + Skills 都可以让 AI 操作浏览器。同样的测试任务,究竟哪一种消耗更少、执行更快?

我们从实际操作过程来看。

目录
一、为什么浏览器自动化开始关注 Token 消耗

二、MCP 和 CLI + Skills 有什么区别

三、Token 究竟消耗在哪里

四、实际评测数据说明了什么

五、如何在测试项目中开展对比评测

六、测试团队应该如何选择

一、AI 测试跑得越多,Token 成本越明显
传统 Playwright 自动化,由测试人员编写脚本,程序按照既定步骤执行。

AI Agent 的操作方式有所不同。

例如,要求 AI 完成一个登录测试,它可能经历以下过程:

每一步可能涉及 AI 与浏览器工具之间的信息交互。

这里需要解释一下 Token。

可以简单理解为:AI 每次读取内容、分析信息和生成回答,都会产生一定的 Token 消耗。

比如,一个页面包含大量按钮、菜单、表格。如果 AI 每次操作后都重新读取整页内容,就可能产生较多的输入 Token。

测试任务越复杂,这类开销越容易积累。

二、MCP 和 CLI + Skills 到底有什么区别?
两种方案都能控制浏览器,主要区别在于 AI 如何使用这些能力。

Playwright MCP

通过标准化工具接口,让 AI 调用浏览器操作。

例如,AI 需要点击登录按钮,就调用对应的浏览器点击工具。

Playwright CLI + Skills

AI 通过命令行操作浏览器。Skills 提供工具使用说明,让 AI 知道有哪些命令、什么时候使用。

例如:

playwright-cli open https://example.com

playwright-cli snapshot

playwright-cli click e15
第一条命令打开页面,第二条获取页面结构,第三条点击对应元素。

两种方案的基本区别如下:

对比项目
Playwright MCP
CLI + Skills
操作方式
调用 MCP 工具
执行命令行
工具说明
MCP 工具定义
Skills 文档与命令帮助
页面信息
快照或资源引用
页面快照文件
适用场景
探索式浏览器操作
编程 Agent 与工程项目协作
Playwright 官方文档也把 CLI 作为面向编程 Agent 的浏览器自动化方案。

三、Token 消耗主要发生在哪些地方?
假设 AI 要完成一个购物车测试:

打开商品页面、搜索商品、加入购物车,最后检查金额。

整个过程可能出现三类额外消耗。

  1. 读取工具说明

AI 需要了解有哪些工具可以使用,以及应该如何调用。

早期部分 MCP 客户端会一次加载大量工具定义,造成额外开销。现在一些客户端已经支持按需加载。

  1. 反复读取页面

点击商品以后,AI 需要知道页面发生了什么变化。

如果每次都读取完整页面,返回的信息可能很长。

目前两种方案都可以利用快照文件或资源引用减少不必要的上下文内容,具体取决于工具和客户端版本。

  1. 操作失败后重新尝试

例如,AI 找不到购物车按钮,重新读取页面,再次定位,然后重新点击。

如果连续失败三次,就会产生额外的交互和分析成本。

因此,评估 Token 消耗时,只需要记住:

一次测试的 Token 消耗,来自工具准备、页面信息读取、AI 分析,以及失败后的重复操作。

还有一个容易忽略的细节:工具调用次数少,不一定意味着 Token 消耗低。一次返回几千行页面内容,也可能比多次简短调用更费 Token。

四、实际评测数据说明了什么?
2026 年 7 月,Checkly 发布了一组 Playwright MCP 与 CLI + Skills 的对比结果。

测试使用相同的商城任务,要求 AI 搜索商品、进入详情页、加入购物车并核对金额。

两种方案分别执行三次。

评测方案
任务结束时的上下文规模
Playwright MCP
约 48K~50K Token
CLI + Skills
约 45K~48K Token
从这组数据看,CLI + Skills 略低,但差距并没有想象中那么大。

这里的数字是任务结束时的上下文规模,不能直接理解为实际花费的 Token 总量,更不能据此判断哪种方案速度更快。

而且每种方案只有三次执行,样本还比较少。

这组数据说明,随着工具按需加载和页面快照处理方式的改进,过去 MCP 一定更耗 Token 的判断,已经不能直接套用到所有环境。

五、如何自己做一次对比评测?
如果团队正在使用 AI Agent 做浏览器测试,可以选择一个熟悉的业务功能进行对比。

例如,电商购物车测试。

分别让 MCP 和 CLI + Skills 执行相同任务:

评测时重点记录四个指标:

指标
通俗解释
Token 消耗
完成任务用了多少 AI 计算资源
工具调用次数
AI 操作了多少次工具
执行时间
从开始测试到结束用了多久
任务成功率
最终有没有正确完成业务验证
这里建议把同一个场景重复执行多次,同时固定模型、浏览器版本和测试环境。

如果某个方案执行速度很快,却经常找错按钮,反复重试,那么它的综合效率可能更低。

还需要记录每次失败的原因,例如页面信息不足、元素定位失败,还是业务断言没有通过。

测试执行效率,最终要看完成一条有效测试任务需要多少时间和资源。

六、测试团队应该如何选择?
如果团队主要使用 AI 探索页面、分析页面结构,或者需要与其他 MCP 工具协同,可以考虑 Playwright MCP。

如果团队已经使用 Claude Code、Copilot 等编程 Agent,希望把浏览器操作与代码修改、测试脚本生成结合起来,CLI + Skills 是值得评估的选择。

对于已经稳定的回归测试,仍然建议使用 Playwright 等自动化框架执行固定脚本,避免每次都让大模型重新判断相同操作。

后续如果要建设 AI 自动化测试平台,可以进一步把工具调用次数、Token 消耗、任务成功率和失败重试情况纳入执行报告。

这样既能判断测试任务是否完成,也能找出消耗资源最多的环节。

例如,同一个登录测试连续执行十次,如果 Agent 每次都要重新寻找登录按钮,就需要检查页面定位方式和操作流程,而不能只关注模型本身。

当 AI Agent 逐渐进入日常测试工作,测试工程师除了会使用工具,也需要了解工具背后的执行过程和资源消耗。

如果你们团队准备引入 AI 浏览器自动化,会优先选择 Token 消耗更低的方案,还是执行成功率更高、故障更容易排查的方案?

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

來源:阿里雲開發者社區 AI · developer.aliyun.com