认证测试须知
- 认证测试包含的功能测试、性能测试、安全测试、可靠性测试、集成测试已上架用例模板，请根据产品实际选择并编辑后使用，使用操作请参见设计测试用例文档。
- 认证测试基于“解决方案工作台”操作完成，点击解决方案工作台访问链接访问，建议使用Chrome浏览器访问。解决方案工作台是一个支撑伙伴快速进行解决方案构建和验证的自助化工具平台，更多关于解决方案工作台的介绍参考什么是解决方案工作台。
- 如您历史未在其他平台填写过“测试需求导入材料”，则本次需要完成“产品认证测试需求导入材料”相关内容的填写，在需求创建时需要作为附件上传
华为云认证测试内容与要求
本文档包含联营商品、先进云软件两种认证测试场景，测试内容包含功能测试、性能测试、安全测试、可靠性测试、集成测试，认证测试总体要求见下表。在执行测试用例过程中，如有执行结果不满足测试要求的情况，需要进行相关功能开发或整改。
|
测试项 |
测试要求 |
|
|---|---|---|
|
功能测试 |
业务功能测试 |
1）测试用例必须与功能清单对应，要求100%覆盖2级功能下的核心按钮。 2）测试用例需要有详细的操作步骤说明。 3）测试用例需要有主场景的端到端场景测试用例。 4）如涉及硬件商品，需要伙伴自行提供硬件产品作为独立设备的产品说明书及质量检测报告（第三方或自测报告），功能测试报告（如有需提供）。 |
|
服务控制性测试 |
1）License 快到期提醒。 2）License 严重过期，系统不可用。 3）License 续费，系统可正常使用，原数据不删除。 |
|
|
可维护性测试 |
1）集中事件管理平台检查。 2）统一日志管理系统检查。 3）监控告警管理机制检查。 4）证书过期告警功能检查。 |
|
|
性能测试 |
1）选取3-5个基本核心功能点，根据当前使用的资源规格确定压力负载（如100并发用户），进行持续并发测试（5-10分钟）。 2）选取2-4个系统核心的混合业务场景，进行持续并发测试（0.5-2小时）。 3）选一个场景做疲劳压测（持续4-6小时）。 4）如涉及硬件商品，则选取3-4个硬件业务场景进行0.5-2小时的持续并发测试，体现硬件商品性能指标，如：摄像头硬件商品体现摄像头视频流的分辨率、支持视频接入并发路数等。 |
|
|
安全测试 |
手工安全测试用例 |
1）执行33条手工安全测试用例。 2）API商品使用token或者动态签名方式认证，手工用例中的会话、密码相关用例不涉及。 |
|
WEB 扫描 |
1）基于解决方案工作台，完成安全自动化扫描用例（安全自动化用例可通过“验证中心”使用用例模板或“向导式需求与用例生成”功能创建）。 2）修复要求请参考扫描结果与修复建议。 |
|
|
主机扫描 |
||
|
二进制扫描 |
||
|
可靠性测试 |
1）根据可靠性要求表（SaaS可靠性要求、License可靠性要求），部署高可用测试环境（数据高可用、应用高可用、安全服务）及数据备份。 2）根据可靠性要求表设计可靠性验证用例，需要测试各故障点的服务。 3）API商品对应的后端服务可靠性要求跟SaaS的可靠性要求保持一致。 |
|
|
集成测试 |
1）结合方案架构图，对方案中涉及到的华为云服务进行集成路径的连通性测试，确保核心业务场景中的业务流、数据流与所依赖的华为云服务能够端到端打通。 覆盖所有涉及到的云服务及集成路径。 2）如涉及硬件商品，需选取3-6个解决方案核心业务场景，进行业务流、数据流的连通性测试。 |
|
- 涉及硬件商品，只需关注上表的功能测试、性能测试、集成测试硬件商品相关要求。
认证测试可靠性要求
可靠性要求级别是根据软件系统的重要性对软件可靠性的要求进行分类和划分，请根据应用系统的重要程度或如下RTO、RPO要求判断评估可靠性级别。
|
可靠性要求级别 |
恢复时间目标（Recovery Time Objectives (RTO)） |
恢复点目标（Recovery Point Objective(RPO)） |
|---|---|---|
|
中 |
2小时<RTO<12小时 |
RPO 异步分钟级 |
|
高 |
RTO<2小时 |
RPO 同步秒级 |
|
说明 |
当业务发生中断后，将业务恢复到正常所需要的时间，如灾难发生在下午14点且RTO是2小时，灾备系统要在下午16点前将业务恢复到可接受的服务级别。 |
可接受的数据丢失量，如灾难发生在下午14点且RPO是2小时，则业务丢失的数据量是在2小时内（12-14点之间）产生的数据。 |
认证测试的可靠性要求按照部署形式分为 SaaS 和 License 两大类，对应的可靠性要求分别如下表所示。
- SaaS可靠性要求
|
可靠性要求项 |
中 |
高 |
说明 |
||
|---|---|---|---|---|---|
|
数据高可用 （必选） |
分布式 |
√ |
数据库集群或主备。使用华为云数据库服务的分布式或主备模式，也可以使用ECS自建分布式、主备数据库，自建时架构图ECS图标需文字体现部署的是什么数据库，并体现集群或主备关系。 |
||
|
主备 |
√ |
||||
|
数据备份 |
√ |
√ |
华为云数据库开启自动备份策略，自建时需体现数据备份存储位置。 |
||
|
应用高可用 |
集群 |
单可用区 |
√ |
1、使用CCE集群或自建ECS集群（部署相同应用的ECS两台以上）。 2、使用到中间件（如 Redis）不管使用华为高阶服务或自建都需要在架构图体现，中间件也需主备/集群。 |
|
|
跨可用区 |
√ |
||||
|
数据备份 |
√ |
√ |
1、CCE/CCI等容器部署+CBR（华为云备份-云服务器备份）。 2、弹性云服务器+CBR（华为云备份-云服务器备份）。 |
||
|
安全服务 |
主机安全 |
√ |
√ |
华为云主机安全服务（HSS），企业版，一台云服务器（ECS）需对应一个HSS。 |
|
|
DDoS防护 |
√ |
√ |
测试环境可使用华为云Anti-DDoS流量清洗服务；生产上架要求使用DDOS-高防-BGP Pro。 |
||
|
WAF |
√ |
√ |
测试环境可申请入门版资源进行测试，生产上架要求如下： 中等级：WAF 标准版 高等级：WAF专业版 注：API商品通过APIG发布不涉及。 |
||
|
堡垒机 |
√ |
√ |
华为云堡垒机服务，测试时使用最小规格即可：10主机规格，可自建。 |
||
|
系统日志、审计日志 |
√ |
√ |
支持操作日志、安全日志、系统日志三种类型日志的记录及日志审计。 1、操作日志，记录操作人员对系统的操作信息，如用户增删改资源信息等。 2、安全日志，记录涉及系统安全方面的操作和运行信息，如用户登入、用户正常登出、用户锁定、用户/角色增删改以及系统安全配置变更等。 3、系统日志，记录系统运行过程中后台服务对用户资源进行操作时记录的日志，如自动锁定用户、系统定时器定期清理用户数据等。 4、测试用例中有检查，不要求一定使用华为云服务。 |
||
- License 商品可靠性要求
|
可靠性要求项 |
中 |
高 |
说明 |
||
|---|---|---|---|---|---|
|
数据高可用 （必选） |
分布式 |
数据库集群或主备。使用华为云数据库服务的分布式或主备模式，也可以使用ECS自建分布式/主备数据库，自建时架构图ECS图标需文字体现部署的是什么数据库，并体现集群或主备关系。 |
|||
|
主备 |
√ |
√ |
|||
|
数据备份 |
√ |
√ |
华为云数据库开启自动备份策略，自建时需体现数据备份存储位置。 |
||
|
应用高可用 |
集群 |
单可用区 |
√ |
1、使用CCE集群或自建ECS集群（部署相同应用的ECS两台以上）。 2、使用到中间件（如Redis）不管使用华为高阶服务或自建都需要在架构图体现，中间件也需主备或集群。 3、License可靠性要求级别为中时，允许单机部署但须集成监控告警服务，可使用华为云服务CES、AOM，也可以使用第三方或者自建监控告警服务。 4、License可靠性级别为高，应用高可用满足集群或者主备其中一种。 |
|
|
跨可用区 |
|||||
|
主备 |
√ |
||||
|
数据备份 |
√ |
√ |
CCE/CCI等容器部署+CBR（华为云备份-云服务器备份） 或弹性云服务器+CBR（华为云备份-云服务器备份）。 |
||
|
安全服务 |
主机安全 |
√ |
√ |
华为云主机安全服务（HSS），企业版，一台云服务器（ECS）需对应一个HSS。 |
|
|
DDoS防护 |
√ |
√ |
华为云Anti-DDoS流量清洗服务。 |
||
|
堡垒机 |
√ |
√ |
1、资源属于客户租户的情况无需配置；资源由ISV统一运维的情况需配置堡垒机。 2、华为云堡垒机服务，测试时使用最小规格即可：10主机规格，可自建。 |
||
|
系统日志、审计日志 |
√ |
√ |
支持操作日志、安全日志、系统日志三种类型日志的记录。 1、操作日志，记录操作人员对系统的操作信息，如用户增删改资源信息等。 2、安全日志，记录涉及系统安全方面的操作和运行信息，如用户登入、用户正常登出、用户锁定、用户/角色增删改以及系统安全配置变更等。 3、系统日志，记录系统运行过程中后台服务对用户资源进行操作时记录的日志，如自动锁定用户、系统定时器定期清理用户数据等。 4、测试用例中有检查，不要求一定使用华为云服务。 |
||
认证测试工作计划参考
为了保证认证测试高效快速完成，请提前安排研发人力投入，支持测试和问题修复。请在认证测试开始前理解测试流程并制定合理的计划，以下测试工作计划仅供参考。
|
测试阶段 |
工作内容 |
计划开始时间* |
计划结束时间* |
测试责任人* |
参考工作量（人天） |
说明 |
|
|
准备阶段 |
注册、设计方案、创建测试需求、制定测试计划 |
示例：2023-9-1 |
示例：2023-9-1 |
XXX |
1 |
1.部署架构设计需满足认证测试可靠性要求。 2.测试资源选择满足测试需求的最小规格。 |
|
|
设计测试用例 |
示例：2023-9-4 |
示例：2023-9-5 |
XXX |
1-2 |
创建需求时，使用“向导式需求与用例生成”功能，自动生成用例。 |
||
|
购买华为云资源并自行部署测试环境 |
示例：2023-9-6 |
示例：2023-9-7 |
XXX |
1-2 |
按设计好的方案购买华为云资源并自行部署测试环境 |
||
|
执行阶段 |
安全测试 |
二进制包扫描（不依赖部署环境） |
示例：2023-9-8 |
示例：2023-9-8 |
XXX |
0.5 |
|
|
WEB扫描 |
XXX |
||||||
|
主机扫描 |
XXX |
||||||
|
门槛手工用例 |
示例：2023-9-11 |
示例：2023-9-12 |
XXX |
2 |
|||
|
可靠性测试（门槛用例） |
示例：2023-9-13 |
示例：2023-9-13 |
XXX |
1 |
|||
|
性能测试 |
示例：2023-9-14 |
示例：2023-9-14 |
XXX |
1 |
|||
|
功能测试 |
功能点测试 |
示例：2023-9-8 |
示例：2023-9-14 |
XXX |
50个用例/人天，根据产品实际情况评估。 |
||
|
服务控制测试 |
示例：2023-9-8 |
示例：2023-9-14 |
XXX |
||||
|
可维护性测试 |
示例：2023-9-8 |
示例：2023-9-14 |
XXX |
||||
|
集成测试 |
示例：2023-9-8 |
示例：2023-9-14 |
XXX |
||||
|
问题闭环 |
问题清单闭环 |
示例：2023-9-8 |
示例：2023-9-14 |
XXX |
/ |
|
|
用户角色介绍
- 解决方案工作台角色
解决方案工作台角色，分为企业管理员和普通用户。
- 企业管理员：企业管理员拥有运营中心的相关权限，可以在运营中心管理本企业的用户，还可以进行本企业报表的查看、自定义验证效率分析等运营管理操作。
- 普通用户：包含项目经理、架构师、测试工程师，用于标记该人员的能力模型。
- 解决方案工作台空间角色
解决方案工作台空间角色，指解决方案工作台用户在具体的某个解决方案工作台空间内的角色，空间之间相互隔离，某个空间内的角色不影响其他空间。
- 管理员：空间管理员，可以对本空间内的成员进行管理。
- 项目经理：管理空间、空间成员、测试计划制定、方案/需求/用例/报告审核等。
- 架构师：在解决方案工作台上进行解决方案注册、设计与审核，测试需求创建，测试问题处理等。
- 测试工程师：测试用例设计、执行，测试资源开通，测试问题处理，测试报告生成等。
- 访客：在邀请用户进入空间时可设置该用户为访客角色，访客角色用户在该空间内仅支持查看，不允许任何编辑操作。
更多关于解决方案工作台的角色介绍请参考用户访问权限，您可以参考设置本企业企业管理员添加用户、为用户设置角色。
