使用监控服务进行主机运维监控
AppStage运维中心支持将华为云主机接入主机管理服务(VMS)进行统一管理,并使用监控服务(ServiceInsight)的日志、监控和告警功能对主机进行运维监控。
本章节以Linux主机为例介绍如何使用监控服务进行主机运维监控的操作。
- 日志:完成主机日志接入,将日志接入监控服务中,接入后可以在“日志检索”页面查看已接入日志,具体操作请参见查看已接入日志。
- 监控:完成主机监控接入,为主机绑定监控模板,根据监控模板定义的插件采集主机监控数据,监控数据接入后可以在“虚机报表”页面查看,具体操作请参见查看虚机报表。
- 告警:完成主机告警配置,定义告警上报内容,然后可以在“告警列表”页面查看并处理已上报告警,具体操作请参见查看并处理告警。
主机日志接入
- 创建日志项目。
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的“日志 > 日志接入”。
- 在“日志接入”页面,选择左侧导航栏的“日志项目”,单击“创建日志项目”。
- 自定义日志项目名称并输入日志项目描述,单击“创建”。
- 创建日志空间
- 在“日志接入”页面,选择左侧导航栏的“日志空间”。
- 单击“申请实时日志空间”。
- 配置实时日志空间信息,参数说明如表1所示,配置完成后,单击“下一步”。
- 配置实时日志字段信息,参数说明如表2所示,配置完成后,单击“下一步”。
表2 实时日志字段信息参数说明 参数名称
参数说明
自定义字段
勾选需要接入的日志字段,包括通用字段、容器字段和虚机字段。
新增自定义环境变量
如需添加自定义环境变量,请选择环境变量名,然后单击“添加”。虚机暂无可选自定义环境变量。
清洗规则
选择日志清洗规则。
请优先使用算子清洗模式采样,通过配置解析脚本将原始日志清洗为业务需要的日志字段,算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样,不需要清洗的场景。
日志样例
输入日志样例。
解析脚本
配置解析脚本,将日志样例清洗为字段显示。
说明:配置解析脚本时字段命名不支持使用中划线“-”,支持使用下划线“_”。
清洗字段
配置解析脚本后单击“配置解析脚本”,自动生成清洗字段,查看字段是否符合预期。
开启汇聚
选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇集。
开启后需要配置汇集相关参数。
汇聚粒度
开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。
汇聚时间戳
仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。
时间戳格式
选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。
汇聚维度
结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。
汇聚度量
设置对日志字段以COUNT、SUM、MAX、MIN进行度量。
原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。
输出原始日志
选择是否需要输出原始日志。如果打开输出原始日志,原始日志也会上报。
- 日志字段确认,确认日志字段配置是否达到预期,达到预期后可单击“下一步”。
- 申请日志空间共享,如果需要其他自有服务共用这个空间进行日志下发和日志检索,可以添加共享服务。配置完成后,单击“保存”。
- 创建日志采集配置。
- 在“日志接入”页面,选择左侧导航栏的“日志采集配置”。
- 单击“创建日志采集配置”。
- 配置日志采集参数,配置完成后,单击“确定”。
表3 日志采集配置参数说明 参数名称
参数说明
日志项目
选择已创建的日志项目,相同服务的不同日志使用同一个日志项目。
日志空间
选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式,采集的日志须满足对应格式。
配置名称
自定义日志采集配置名称。
配置类型
选择日志采集配置类型,建议选择“FILEBEAT”。
日志类型
输入采集日志类型。
日志路径
填写实际日志路径,可使用通配符进行匹配。
说明:- 接入容器日志需要根据通配符匹配完成。
- 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件,会导致filebeat进程异常。
日志TPS
TPS表示单实例每秒日志条数,请准确填写,用于推荐资源自动计算。
- 如果采集路径是单个日志,则按照单个日志单台机器(pod)的TPS值填写,且按照高峰期计算。
- 如果采集路径配置了通配符,则将采集的日志TPS累加,累加计算高峰期单台机器(pod)的TPS,建议按近期业务增长预期填写。
日志模式
选择日志采集模式,是单行模式还是多行模式。
是否支持软连接
当填写的日志路径为链接路径时,需要开启支持软连接。
首行正则表达式
日志模式选择多行模式时,需要输入首行正则表达式。
日志提取规则
根据填写的配置参数会自动生成提取规则。
- 创建日志配置下发任务。
- 在“日志接入”页面,选择左侧导航栏的“任务管理”。
- 单击页面右上角的“新建任务”。
- 配置任务参数,参数说明如表4所示,配置完成后,单击“确定”。
- 在任务列表中查看已创建的任务,单击任务所在行“操作”列的“执行”。
主机监控接入
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 。
- 单击“新建”,进入“新建模板”页面。
- 输入模板名称、选择模板类型、输入模板版本,也可为模板添加说明。
- 单击“已选中插件的具体详情”后的。
- 在“选择插件”页面单击需选择插件后的或。表示可以选择多次,表示只能选择一次。
- 关闭“选择插件”页面,在“新建模板”页面可以对已选择的插件参数进行编辑,单击已选插件名称后的,如图1所示。
- 在“配置参数”页面编辑插件参数,编辑完成后单击“确定”。
- 配置完成后,在“新建模板”页面单击“确定”。
- 选择左侧导航栏的 。
- 在主机列表,单击待绑定主机所在行“操作”列的“配置监控”。
- 勾选模板后单击,单击“确定”。
主机告警配置
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 。
- 单击“统一告警定义”,进入告警定义页面。
- 单击“创建”。
- 配置AIOps规则参数,参数说明如表5所示,配置完成后,单击“确定”。
表5 AIOps规则参数说明 参数名称
参数说明
指标来源
选择告警的指标来源“AIOps”。
告警定义名称
自定义告警定义的名称。
级别
选择该规则生成告警的级别。
告警类型
选择告警类型,上报的告警会显示类型信息,可根据类型筛选查看告警。
指标
选择在指标仓库已创建的指标,创建指标请参见在运维中心指标仓库创建指标。
维度列表
来自于指标的逻辑实体上的维度,选择异常检测需要对哪些维度做检测。
ALL维度列表
选择需要过滤的维度。
维度过滤设置
只关注维度部分取值时,可以设置该参数对维度取值进行过滤。
指标类型
选择指标类型。
算法类型
选择固定阈值或动态阈值,固定类型还需要设置阈值的上限、下限和预估维度数。