概述
随着传统IT基础设施运维向云服务运维方式的转变，传统的运维手段面临服务间调用复杂、应用迭代速度快、海量运维对象、复杂系统非线性等挑战。业务的停机都会给公司带来巨大的经济损失和声誉影响。
在运维过程中引入混沌工程，通过定期进行演练的方式，可以在现网问题发生前识别系统的薄弱点（软件Bug、方案设计不足之处、故障恢复流程卡点等），及早发现系统可用性的问题进行解决，持续提升应用韧性，建立运维信心。对于无法避免的场景（硬件故障、服务器异常下电、网络设备单板故障等）通过提前制定快速恢复应急预案进行应对。
COC混沌演练为用户提供一站式的自动化演练能力，覆盖从风险识别、应急预案管理、故障注入到复盘改进的端到端演练流程。承载华为云SRE在混沌演练上多年的最佳实践，使客户能对云上应用主动地进行风险识别、消减和风险验证，持续提升云应用的韧性。
镜像与武器版本支持声明
COC混沌演练目前已支持弹性云服务器（ECS）、裸金属服务器（BMS）和Flexus应用服务器L实例（FlexusL）三种探针类武器的攻击对象，并提供了相应的资源类武器和网络类武器供用户演练使用。其中，探针类武器包括体验类、主机资源、主机进程、主机网络模块中的武器。通过集成武器模块和功能，用户可以更准确地模拟真实环境故障，及早发现系统可用性等问题，持续提升应用韧性。
以下是ECS、BMS和FlexusL各镜像版本与支持的探针类武器声明：
CentOS 6.10镜像及以下版本，因系统缺少探针包运行所必要的共享库（GLIBC_2.14和GLIBCXX_3.4.15）不支持部分探针类武器。
ECS各镜像版本支持的探针类武器如表1所示。
|
武器 |
支持的镜像版本 |
备注 |
|
|---|---|---|---|
|
体验类 |
小试牛刀 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
主机资源 |
CPU使用率加压 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
内存使用率加压 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
|
磁盘使用率加压 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
|
磁盘IO加压 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
|
主机进程 |
进程号耗尽 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
EulerOS镜像进程号耗尽，可能触发保护机制导致内核重启，导致演练失败 |
|
杀进程/持续杀进程 |
CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 |
- |
|
BMS各镜像版本支持的探针类武器如表2所示。
|
武器 |
支持的镜像版本 |
|
|---|---|---|
|
体验类 |
小试牛刀 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
主机资源 |
CPU使用率加压 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
内存使用率加压 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
磁盘使用率加压 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
磁盘IO加压 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
主机进程 |
进程号耗尽 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
杀进程/持续杀进程 |
CentOS 7.4、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
主机网络 |
网络延迟 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
网络丢包 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
网络错包 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
网络包重复 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
网络包乱序 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
网络中断 |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
网卡down |
CentOS 7.3、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3 |
|
|
篡改DNS域名解析 |
CentOS 6.9、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3、EulerOS 2.9 |
|
|
端口占用 |
CentOS 6.9、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3、EulerOS 2.9 |
|
|
整机断网 |
CentOS 6.9、CentOS 7.9、Ubuntu16、Ubuntu 1804、EulerOS 2.3、EulerOS 2.9 |
|
FlexusL各镜像版本支持的探针类武器如表3所示。
|
武器 |
支持的镜像版本 |
|
|---|---|---|
|
体验类 |
小试牛刀 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
主机资源 |
CPU使用率加压 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
内存使用率加压 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
磁盘使用率加压 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
磁盘IO加压 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
主机进程 |
进程号耗尽 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
杀进程/持续杀进程 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
主机网络 |
网络延迟 |
CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
网络丢包 |
CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
网络错包 |
CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
网络包重复 |
CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
网络包乱序 |
CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
网络中断 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
网卡down |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
篡改DNS域名解析 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
端口占用 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
|
整机断网 |
CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |
|
