在监控服务快速配置异常检测任务
异常检测基于运维领域的数据的历史特征,对其未来的走向进行预测。一旦当前实际数据和预测值偏差到一定程度,则认为发生异常,会生成告警并上报至告警系统。
异常检测的能力是基于指标仓库、MPPDB数据库及异常检测服务所构建的。指标仓库定义了数据的来源和数据的计算方式。MPPDB数据库用来检测过程中的数据进行存储。而异常检测服务提供了异常检测的计算调度及告警能力。所以异常检测的前提条件是配置了相关指标,并分配了MPPDB及异常检测集群(初始化监控服务会自动分配集群)。
异常检测算法分为两种,固定阈值算法和动态阈值算法。
- 固定阈值算法就是简单设置上限或者下限值。一旦数据超过上限或是低于下限则发生异常。如图1黄色部分超过阈值线3,则数据异常。
- 动态阈值算法会通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。如图2黄色部分,实际值和预测值相差过大,认为数据异常。
本章节介绍如何使用快速配置功能一步创建异常检测任务。
快速配置异常检测任务
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“异常检测”页面。
- 单击“快速配置”,进入任务基础信息快速配置页面。
- 配置任务参数,参数说明如表1所示。
表1 配置任务参数说明 参数名称
参数说明
指标
选择指标仓库的指标。
任务名称
根据所选指标自动生成,可以自定义任务名称,只能包含字母、数字、下划线。
告警名
根据所选指标自动生成,可以自定义告警名。
异常检测生成的告警会展示在告警列表中,并展示告警名字段“AlertName”。
数据源类型
默认显示所选指标所属的数据源类型,不可修改。
告警级别
设置告警级别,与告警模块级别相对应。
描述
输入任务描述。
维度列表
来自于指标的逻辑实体上的维度,选择异常检测需要对哪些维度做检测。
ALL维度列表
选择需要过滤的维度。
维度过滤设置
只关注维度部分取值时,可以设置该参数对维度取值进行过滤。
指标类型
指标的类型,针对指标的定义进行选择。
算法类型
选择异常检测算法,支持固定阈值和动态阈值。
- 固定阈值:简单设置上限或者下限值。一旦数据超过上限或是低于下限则发生异常。
- 动态阈值:通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。当实际值和预测值相差过大,认为异常。
上限
当算法类型选择固定阈值时,需要设置上限。
下限
当算法类型选择固定阈值时,需要设置下限。
预估维度数
当算法类型选择固定阈值时,可以预估维度数量。
- 配置完成后,单击“保存”,弹出任务状态窗口,如图3所示,按照异常检测任务模块生成一个完整的异常检查任务,自动创建训练数据表,并且参数均为默认参数。
- 任务配置完成后该任务会显示在任务列表,单击任务所在行“操作”列的“基础”,单击“字段配置”,参考表5修改基础数据,获取维度值。
- 参考步骤四:配置训练模型配置异常检测算法模型,并进行模型训练。
训练的汇聚任务可以选择左侧导航栏“AI辅助诊断 > 任务配置”,选择“异常检测 > 汇聚任务管理”查看。