# 混沌演练概述 随着传统IT基础设施运维向云服务运维方式的转变，传统的运维手段面临服务间调用复杂、应用迭代速度快、海量运维对象、复杂系统非线性等挑战。业务的停机都会给公司带来巨大的经济损失和声誉影响。 在运维过程中引入混沌工程，通过定期进行演练的方式，可以在现网问题发生前识别系统的薄弱点（软件Bug、方案设计不足之处、故障恢复流程卡点等），及早发现系统可用性的问题进行解决，持续提升应用韧性，建立运维信心。对于无法避免的场景（硬件故障、网络设备单板故障等）通过提前制定快速恢复[应急预案](https://support.huaweicloud.com/usermanual-coc/coc_um_07_02_02.html)进行应对。 COC混沌演练为用户提供一站式的自动化演练能力，覆盖从风险识别、应急预案管理、故障注入到复盘改进的端到端演练流程。承载华为云SRE在混沌演练上多年的最佳实践，使客户能对云上应用主动地进行风险识别、消减和风险验证，持续提升云应用的韧性。 #### 前提条件 已开通"故障演练"套餐，具体计费情况请参考[计费说明](https://support.huaweicloud.com/price-coc/coc_pro_07_03.html)。 #### 操作流程 混沌演练操作流程： 第一步：您可以对应用可能发生的故障点进行分析，通过描述故障发生的条件、故障发生的现象、客户影响等字段[创建故障模式](https://support.huaweicloud.com/usermanual-coc/coc_um_07_01_02.html#coc_um_07_01_02__section37381255193814)。 第二步：[创建演练规划](https://support.huaweicloud.com/usermanual-coc/coc_um_07_01_04.html#coc_um_07_01_04__section1643822285215)时您可以指定执行人和计划演练时间，执行人通过接单来创建演练任务，演练任务关联故障模式和区域。 第三步：您也可跳过前两步直接[创建新的演练任务](https://support.huaweicloud.com/usermanual-coc/coc_um_07_01_05.html)，在演练任务列表管理启动混沌演练任务、查看演练记录等。 #### 混沌演练功能介绍视频 #### 镜像与武器版本支持声明 混沌演练目前已支持弹性云服务器（ECS）、裸金属服务器（BMS）和Flexus应用服务器L实例（FlexusL）探针类武器的攻击对象，并提供了相应的资源类武器和网络类武器供用户演练使用。其中，探针类武器包括体验类、主机资源、主机进程、主机网络模块中的武器。通过集成武器模块和功能，用户可以更准确地模拟真实环境故障，及早发现系统可用性等问题，持续提升应用韧性。 以下是ECS、BMS和FlexusL各镜像版本与支持的探针类武器声明： ![](https://support.huaweicloud.com/usermanual-coc/public_sys-resources/caution_3.0-zh-cn.png) CentOS 6.10镜像及以下版本，因系统缺少探针包运行所必要的共享库（GLIBC_2.14和GLIBCXX_3.4.15）不支持部分探针类武器。 ECS各镜像版本支持的探针类武器如[表1]所示。 表1弹性云服务器与武器兼容性列表 | 武器 || 支持的镜像版本 | 备注 | |:---|---|:---|:---| | 体验类 | 小试牛刀 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机资源 | CPU使用率加压 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机资源 | 内存使用率加压 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机资源 | 磁盘使用率加压 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机资源 | 磁盘IO加压 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机进程 | 进程号耗尽 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | EulerOS镜像进程号耗尽，可能触发保护机制导致内核重启，导致演练失败 | | 主机进程 | 杀进程/持续杀进程 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络延迟 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络丢包 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络错包 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络包重复 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络包乱序 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络中断 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网卡down | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | 配置"网卡down"武器可能导致uniagent下线，从而接收不到uniagent信息，页面显示失败 | | 主机网络 | 篡改DNS域名解析 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 端口占用 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 整机断网 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | 配置"整机断网"武器可能导致uniagent下线，从而接收不到uniagent信息，页面显示失败 | | 主机网络 | 网卡带宽限速 | CentOS 7.2、CentOS 7.6、CentOS 7.9、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | | 主机网络 | 网络连接耗尽 | CentOS 7.2、CentOS 7.6、CentOS 7.9、CentOS 8.2、Ubuntu16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、EulerOS 2.2、EulerOS 2.5、EulerOS 2.9、EulerOS 2.10、Debian 8.2.0、Debian 8.8.0、Debian 9.0.0、Debian 11.1.0、Huawei Cloud EulerOS 2.0 | - | BMS各镜像版本支持的探针类武器如[表2]所示。 表2裸金属服务器镜像与武器兼容性列表 | 武器 || 支持的镜像版本 | |:---|---|:---| | 体验类 | 小试牛刀 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机资源 | CPU使用率加压 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机资源 | 内存使用率加压 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机资源 | 磁盘使用率加压 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机资源 | 磁盘IO加压 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机进程 | 进程号耗尽 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机进程 | 杀进程/持续杀进程 | CentOS 7.4、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络延迟 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络丢包 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络错包 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络包重复 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络包乱序 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网络中断 | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 网卡down | CentOS 7.3、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3 | | 主机网络 | 篡改DNS域名解析 | CentOS 6.9、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3、EulerOS 2.9 | | 主机网络 | 端口占用 | CentOS 6.9、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3、EulerOS 2.9 | | 主机网络 | 整机断网 | CentOS 6.9、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3、EulerOS 2.9 | | 主机网络 | 网卡带宽限速 | CentOS 6.9、CentOS 7.4、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3、EulerOS 2.9 | | 主机网络 | 网络连接耗尽 | CentOS 7.4、CentOS 7.9、Ubuntu 16.04、Ubuntu 18.04、EulerOS 2.3、EulerOS 2.9 | FlexusL各镜像版本支持的探针类武器如[表3]所示。 表3Flexus应用服务器L实例镜像与武器兼容性列表 | 武器 || 支持的镜像版本 | |:---|---|:---| | 体验类 | 小试牛刀 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机资源 | CPU使用率加压 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机资源 | 内存使用率加压 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机资源 | 磁盘使用率加压 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机资源 | 磁盘IO加压 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机进程 | 进程号耗尽 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机进程 | 杀进程/持续杀进程 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络延迟 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络丢包 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络错包 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络包重复 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络包乱序 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络中断 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网卡down | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 篡改DNS域名解析 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 端口占用 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 整机断网 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网卡带宽限速 | CentOS 7.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 | | 主机网络 | 网络连接耗尽 | CentOS 7.2、CentOS 8.2、Ubuntu 16.04、Ubuntu 22.04、EulerOS 2.0、Debian 8.2、Debian 11.1.0 |