标准化故障管理

实践场景

某智能客服运维人员在处理事件/告警时，事件处理闭环低效，无标准化事故处理流程、无明确故障恢复协同作战阵型、无应急响应预案。同类型故障场景重复出现，无运维经验沉淀，确定性故障场景无法自动恢复。存在多种级别的告警，处理告警缺乏规范性流程且处理效率较低。需要建立标准化的事件流程，实现规范性处理。

解决方案

端到端事件流程：明确标准化事件处理流程，通过WarRoom实现多运维兵种协同作战，通过响应预案提升事件处理效率；

图1 标准化故障管理

COC通过设置流转规则，将原始告警清洗为事件单或告警单，帮助用户进行统一的告警管理。当原始告警命中流转规则时，创建事件/告警，并根据排班管理通知对应责任人。责任人可对告警进行处理或转事件，定位恢复后，清除告警。对于无法清除的告警，可以转事件进行升级或启动WarRoom处理。形成规范性告警处理流程，避免告警处理异常。

标准化事件处理流程包含以下步骤：

集成管理接入原始告警数据；
配置流转规则，对告警进行清洗处理；
在通知管理中，根据通知场景配置通知模板，选择通知对象以及通知方式；
集成告警中对告警进行处理或转事件处理；
事件中心处理转事件的告警，可进行转发、升降级、启动WarRoom处理；

前提条件

已在应用管理中创建应用分组；

已在人员管理中添加人员信息；

已在排班管理中创建排班；

步骤一：集成管理接入原始告警数据

登录COC。
在左侧导航栏选择“事件管理>集成管理”，进入集成管理配置页面。
在集成管理配置页面根据业务需要选择要接入的接入源，单击“接入集成”按钮进入新增集成页面。
图2 接入集成
在接入集成页面，复制订阅终端URL地址。
图3 订阅终端URL
进入消息通知服务（SMN）＞主题＞创建主题，订阅中添加订阅，协议选择HTTPS，并填写复制的终端URL，并请求订阅。
图4 添加订阅
进入云监控服务（CES） > 创建告警规则 > 在规则中发送通知中选择的主题。
图5 创建告警
返回云运维中心＞接入集成，单击确认集成，完成配置
图6 确认集成

步骤二：创建流转规则，清洗原始告警数据

登录COC。
在左侧导航栏选择“事件管理>流转规则”页签，进入流转规则配置页面。
在流转规则列表上方，单击“新增规则”按钮进入新增流转规则页面。
图7 新增流转规则
根据页面提示，输入规则名称、应用名称等基本信息。
在触发规则部分，选择触发类型，触发规则的数据源下拉选择监控源，并根据相应的监控源的字段的键，配置相应的条件及满足条件的值。
图8 触发规则
可在流转规则中配置对应事件或告警的响应预案，可选择已有的脚本和作业作为预案。
图9 响应预案
在分派规则部分，选择分派的对象，最后单击下方的“提交”按钮，完成流转规则的创建。
图10 分派规则

步骤三：通知管理配置通知场景、通知对象、通知方式

登录COC。
在左侧导航栏选择基础配置>通知管理进入通知管理页面，单击页签中的创建通知，进入创建通知页面。
图11 创建通知

填写创建通知的配置信息，填写完成后单击保存；创建通知的名词解释参考表2。

图12 保存通知

表1 通知名词解释
名词	是否必填	单选/多选	说明
通知名称	是	/	通知实例的通知名称，列表可根据通知名称进行模糊搜索；
通知类型	是	单选	事件通知通知的第一层分类，按照应用类型进行分类；
通知模板	是	可多选	通知的内容模板，由系统内置，不同通知类型关联出的模板列表不同，选择某一个模板后，鼠标悬浮会显示
通知范围	是	可多选	选择某一个服务，举例：当选择A服务时，事件单中出现的也是A服务时，不考虑其他匹配规则的情况下，该订阅实例生效，会根据该订阅实例发送通知；
通知对象	是	排班下场景单选，场景下角色可多选；个人可多选；	该处为设置需要通知的对象。设置为排班时，通知模块会自动获取当前排班下人的列表，给对应的人发送通知；设置为个人时，直接会给对应的人发送通知；
通知规则	/	/	举例：如A规则设置了a值，若事件单中A规则对应的是a值，不考虑其他匹配规则的情况下，该订阅实例生效，会根据该订阅实例发送通知；相反，若事件单中A规则对应的是b值，该订阅实例不生效，则不会根据该订阅实例发送通知。
通知规则-级别	非必填	可多选	选择事件单的等级，分别为 P1-P5共五个级别(事件单级别解释参考事件级别)
通知规则-事件类别	非必填	可多选	选择事件单的类别，有多个值供选择
通知规则-来源	非必填	可多选	选择事件单的来源，人工创建为在事件单中心创建事件单，流转创建为流转过程中产生的事件单
通知规则-区域	非必填	可多选	选择事件单的区域，多个区域可选
通知方式	必填	可多选	选择通知的渠道