跳到正文
阿里雲開發者社區 AI·· 15 小時前AI 評分52

Keploy 錄製真實流量作測試:基準從何而來,可信到哪一步

录真实流量做测试:基准从哪来,可信到哪一步

AI 導讀

Keploy 透過 eBPF 在內核層錄製真實流量,自動生成 API 測試用例及依賴 Mock,並以回放結果對照錄製快照檢查回歸。回放比對可檢查行為有否偏離錄製基線,卻不能判斷原有行為是否正確;真實流量也未必涵蓋邊界情況。文中指出 test-gen 可透過 AI Agent 參照錄製資料及 Swagger、OpenAPI 文件補充用例,錄製資料放入 Git 前須先脱敏。

正文

2026-11-21 10

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: Keploy 通过 eBPF 在内核层录制真实流量,自动生成接口用例与全栈依赖(DB/缓存/消息队列)Mock,实现零侵入、低维护的回归测试。基准源于真实交互,而非人工断言,大幅提升环境就绪效率与测试可信度。

给一个已有服务补接口测试,写断言花不了多少时间。真正卡住的是环境。

一个接口背后挂着数据库、缓存、支付、消息队列。要在本地把它跑通,得逐项搭依赖、逐项做 Mock。服务一多,Mock 的维护成本会超过业务代码本身。测试没写几条,时间全花在让环境能跑起来。

keploy 把这件事反过来:不写用例,先把业务正常跑一遍,把真实流量录下来,用例和 Mock 一起自动生成。回放时依赖不用起,数据库查询也用录好的数据顶。

值得拆的不是这个工具,是它换掉的那个前提——测试基准从人写的期望,变成了真实发生过的一次交互。

本质是测试输入换了来源
传统接口测试的输入是人构造的:请求参数照文档写,期望响应照需求写。这里有个隐含成本,你得先把"什么是对的答案"想清楚、写出来。

录制的思路是把这一步省掉。应用在真实依赖上正常跑,进出的请求、响应、背后的数据库查询,全部记下来,一边生成用例文件,一边生成 Mock 文件。回放时把录下来的请求重发,应用的新响应跟录制的响应比对,对得上算过。

核心在于:基准不再是人写的期望,是上次真实发生的一次结果。省掉的不只是写用例的时间,是"先把正确答案定义出来"这件事。

怎么做到的。录制用 record 把应用挂起来,应用照常启动、照常被访问,代码一行不改,SDK 一个不装。回放用 test 重放,加 --delay 给启动留时间。产物直接进 CI。

抓包位置决定改造成本
流量录制回放不是新概念,这类工具早就有。keploy 的差别在抓包位置——它在网络层用 eBPF 抓内核里流过的流量。

实际上这个位置决定两件事。一是接入成本:不用在应用里埋点、不用装 SDK,任何语言写的服务都能挂上去。二是对被测对象的扰动:插桩会改变调用链,eBPF 在内核层抓包,应用感知不到,测的还是原来那个行为。

这一点对测试很关键。观测手段如果改变了被测行为,测出来的结论就不可信。抓包位置越靠近内核、越不侵入应用,录制到的越接近生产里真实发生的样子。

内核层抓包
流量与查询一并记录
image.png

依赖被重新划到被测边界之外
多数 Mock 工具只管 HTTP 接口,数据库和队列要另外想办法。keploy 录的粒度更深:Postgres、MySQL、MongoDB、Redis 的查询,Kafka、RabbitMQ 的消息,gRPC、GraphQL 的调用,都跟着请求一起录下来。官方叫 infra virtualization,基础设施虚拟化。

解决了什么。测试环境里那一整套依赖,用录制数据顶替。本地不用装数据库和中间件,回归不再被环境卡住——录一次,之后随时回放。

核心在于被测边界的重新划分。原本数据库、支付、队列是测试前必须先备齐的前提,现在它们变成可回放的快照,从前提挪到了产物里。环境从一句"要搭起来",变成一段"录下来就能重放"的数据。

快照对比能证明什么,不能证明什么
这是整套思路最该讲清的地方。回放的判定是快照对比:新响应和录制响应一致就通过。

你能据此得出的结论是——这次改动没有让行为偏离上次录制的基线。这是回归测试能回答的问题,而且回答得很直接:任何偏离都会报差异。

你不能据此得出的结论是——业务是对的。基准来自上次真实流量,如果上次的行为本身错了,快照会把这个错误一起固化下来,之后每次回放都"通过"。快照对比能守住"别变",守不住"变对"。

实际上这不是工具的缺陷,是测试预言机的固有限制。基准来自哪里,结论就只能到哪一步。用真实流量当基准,好处是不用人工定义答案,代价是答案的天花板就是录制那一次的水平。

所以这类测试的定位很清楚:它擅长守回归,不擅长发现需求理解错了。发现后者还得靠人写断言、靠评审、靠探索。

噪声要剔除,敏感数据要脱敏
快照对比有个绕不开的问题:时间戳、随机 ID、自增主键这类字段每次都变,直接比对会大面积失败。

keploy 给的办法是 templatize 和 normalize,把这些字段参数化,让它们不参与逐值比对。核心在于把不该比的字段从对比域里剔除——断言的精度不取决于比了多少字段,取决于比的是不是该比的字段。第一次回放大面积挂,先查这类字段,多半不是真回归。

另一个问题是录制流量里带着账号、手机号这类敏感信息。sanitize 用来脱敏,进 Git 之前必须过一遍。真实流量当用例,好处是真实,风险也是真实——生产数据会跟着快照一起进仓库。

image.png

真实流量是基线,不是全部覆盖
录制拿到的是正常路径的样本——用户怎么点、系统怎么跑,录下来就是什么。边界值、缺字段、类型错误、调用顺序颠倒,这些在生产流量里未必出现。

test-gen 用 AI Agent 从已有录制和 Swagger、OpenAPI 文档里找问题,补成新用例,相当于在真实流量的底子上加一层机器生成的边角用例。

这里的分工值得看:真实流量负责提供可信的基线,AI 负责扩展分布之外的输入。前者保证测的是真实发生过的行为,后者补上流量覆盖不到的边角。两类输入来源不同,解决的问题也不同。

同一份录制产物,两类人看的覆盖率也不一样。开发者看语句覆盖和分支覆盖,测试看接口结构覆盖和业务场景覆盖。官方把这两类视角拆开讲,是承认了覆盖在不同岗位手里含义不同——一个数不可能同时回答这两个问题。

边界写在明处
几个限制得说清。核心 CLI 是 Apache-2.0 开源,Mock Registry、时间冻结、Console 控制台挂在官方云服务下,要用到那部分得看付费方案。README 喊的 90% 覆盖率没法核验,它自己挂出来的 75% 也只能当参考。作者写明完整生产项目还没跑过,首次接入建议先拿本地小服务练手。

这些边界写在明处,比"开箱即用、覆盖率 90%"的口径更值得信。工具能不能信,一部分取决于它把自己做不到什么讲清楚没有。

工具本身可用可不用。流量就是用例、依赖可以用录制数据顶替,这套做法不装 keploy 也成立。拿录制回放的眼光去看自己项目,多半能找出几处可以省掉的重复劳动。

回到最开始那个判断:当测试基准不再是人写的期望,有个问题得先回答——你现在写的接口测试,断言里的期望响应,有多少是真正定义出来的正确答案,有多少只是照着当前实现抄下来的快照?
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

來源:阿里雲開發者社區 AI · developer.aliyun.com