使用ATGen
新建、编辑、执行测试任务
- 进入测试计划服务,单击导航栏 。
- 选择“接口自动化”页签,在页面右上方单击“智能生成”。
- 单击“新建测试任务”,输入任务名称,单击“确定”,进入新建任务页面。
- 根据需要完成以下执行配置,单击“保存”完成测试任务的创建。
配置类型
配置项
说明
基本信息
任务名称
可以修改新建测试任务时的任务名称。
策略配置
导入API定义文件
用户可以从本地上传符合OpenAPI(Swagger)2.0/3.0规范的yaml格式文件,如果是多个文件,请压缩成zip文件进行上传。用户不导入API定义文件也可以保存测试任务,但无法执行该任务。
执行策略
用户可以设置最大执行时间。
接口参数组合覆盖度量策略
默认选择“2-wise”。
接口参数组合覆盖度量统计范围
用户可以在enum、maxValue、minValue、maxlength、minLength、example、arr-empty、arr-non-empty、boolean中勾选需要统计的参数取值范围。
环境配置
鉴权类型
默认选择为“无鉴权”。
服务地址
用户输入被测试的服务的访问地址。
证书上传
用户输入服务地址后,单击打开上传按钮,从本地上传https证书。
QPS
用户输入被测试服务能支撑的最大请求/每秒。
关联标签
用户将上传的yaml关联到对应的被测服务。
请求头配置
输入请求头名称并赋值
用户输入请求头的名称和值,单击“+”可以添加请求头,单击可以删除请求头。
- 页面展示根据yaml文件全自动挖掘生成的接口操作上下文依赖图(ODG图),图中的边代表接口间操作上下文的依赖,图中的节点代表具体的接口操作。
- 单击页面右上方“高级搜索”可以按API名称、接口类型查找对应的接口节点。
- 单击页面右上方“高级搜索”可以按API名称、接口类型查找对应的接口节点。
- 单击接口节点间的边,可以查看自动生成的两大类的上下文依赖操作,包括对同一对象的CRUD增删改查依赖和接口间参数传递依赖。
单击页面右上方“所有边”,可以查看该接口文件的所有依赖关系。用户可以搜索、新增、置换、删掉依赖关系。
置换操作不可恢复,请谨慎操作。
- 单击任一接口节点,可以查看、修改接口的基本信息。
- 选择“依赖关系”页签,可以查看该接口节点的相关依赖节点,根据需要可完成以下操作,单击“保存”完成配置。
序号
操作
说明
1
添加依赖接口节点
单击,在下拉栏中选择需要添加的节点。
2
切换当前接口节点
单击当前节点名称,可以在下拉栏中选择并切换到其他接口节点。
3
勾选查看接口节点
用户可以查看勾选的接口节点与当前节点的依赖信息,多个勾选时页面展示用户最后勾选的节点的依赖信息。
4
设置依赖边置信度
单击下拉栏,可以选择高或低的依赖边置信度。
5
设置出差-入参依赖
单击下拉栏,可以重新设置出参参数、入参参数。
单击+,新增出参-入参依赖。单击,删除对应的出参-入参依赖。
6
删除接口节点
单击可以删除当前接口节点。
7
批量删除接口节点
勾选多个接口节点,单击“删除”,可以批量删除接口节点。
- 接口节点和依赖关系确认后,单击页面右上方“执行”,任务会在用户设置的执行时间内完成。ODG图左侧展示已覆盖的节点和边。
复制任务
- 进入测试任务,单击页面右上方“复制”。
- 在弹框中输入要复制任务的名称,可以选择以下接口依赖图来源。
- 复制任务图:在下拉栏中复制其他测试任务对当前依赖图进行覆盖。
- 继承基线图:在下拉栏中勾选需要覆盖当前任务的基线图。
- 稍后上传:任务列表会生成一个与当前任务配置信息一致的任务,生成的任务yaml文件为空。
- 单击“保存”完成复制任务。
基线化ODG图
ATGen支持对ODG图进行基线化沉淀,便于后续回归测试任务、兼容性测试复用。
- 在“ODG图”页面中,单击右上方“基线化”。
- 在弹框中的下拉栏,可以输入“基线图名称”进行新建基线,也可以在下拉栏中选择并合入到其他基线。
- 返回任务列表页面,单击页面右上方“基线图”,页面展示已经创建的基线图。
统计报告
在自动遍历图执行的同时,测试结果统计报告会动态刷新,报告内容全面,实时分析API的覆盖率、有效性、请求的成功率和序列成功率,还能清晰地看到接口请求响应码分布和测试序列长度分布的情况,以及13种参数实例化取值生成方法的分布覆盖。
执行详情
用户可以根据接口间的调用链路、链路的长度和链路的执行结果查看用例的执行详情,也可以对该条调用链提交工作项。
- 选择“执行详情”页签,页面展示调用链的执行列表。
- 单击“requestID”,可以查看当前调用链详情。
在详情页面中,单击调用的接口节点,可以查看对应接口的基本信息。
- 返回“执行详情”页面,在上方搜索栏中可以根据operationID、requestID、序列长度、序列结果找到对应的调用链。
- 单击操作列中的,可以为对应的调用链新建问题单。
单击页面右上边“切换接口视图”,页面展示所有执行的接口节点列表。在上方搜索栏中可以根据URL、响应码、序列长度、序列结果找到对应的接口节点。
覆盖详情
ATGen支持统计和可视化所有自主生成的测试序列实例中,接口参数取值的2-wise组合覆盖率。
- 选择“覆盖详情”页签,页面展示所有覆盖接口的详情列表。
- 单击接口左侧,可以将“默认值的组合覆盖详情”下载到本地。
聚类分析
ATGen支持对执行结果进行分层聚类,包括对执行成功的测试链路和失败的链路分布进行聚类,通过状态码、错误接口、直接依赖、错误类型层层递进分类。
- 选择“聚类分析”页签,页面展示不同执行结果类型的聚类结果。
- 展开对应的状态码,可在同类的成功或失败执行结果中抽检确认单个实例的执行详情。
- 单击,可以为失败的执行实例新建问题单。勾选多个实例,可以批量为实例提交问题单。