CES指标接入监控服务
云监控服务CES可以收集云服务内置监控指标的数据,可以通过监控这些指标来跟踪对应云服务状态。AppStage运维中心支持将CES收集的监控指标数据采集到运维中心监控服务中进行管理,可以参考支持监控的服务列表查看CES当前已支持的监控指标。
选择服务后首次使用监控服务,会初始化数据,生成一个Kafka的Topic,采集到的指标数据会保存在该Topic中。在CES页面的“模板”页签,单击“一键生成”,会自动创建ClickHouse表、导流任务及指标,可以使用指标开发业务报表,具体操作请参见接入CES指标并生成业务报表。
- 创建采集指标模板:根据模板选择的实例和指标采集对应的CES数据。
- 创建自定义采集指标:支持创建自定义采集指标,可以指定账号区域下具体的监控指标。
- 补数据:如果发现实例的指标数据出现漏采的情况,可以使用补数据功能将漏采的指标数据重新采集。因为CES的指标只能保留2天,所以支持采集近2天内的数据。
- 查看系统预置模板:初始化数据时,会根据账号下已有的数据库资源,生成对应的系统预置模板,并按照这些模板采集数据库监控指标,保存在自动生成的Topic中,您可以查看系统预置模板。
前提条件
- 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
- 已购买并配置相应的华为云资源,如ECS、VPN、OBS等。
创建采集指标模板
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
- 单击“创建”。
- 选择实例,勾选需要采集指标数据的云服务实例,单击,然后单击“下一步”,如图1所示。
- 选择指标,勾选需要采集的指标,单击,然后单击“确定”。
创建完成后,会根据所选实例及指标生成对应的模板数据,显示在模板列表中。
如果生成的模板数量与勾选的指标数量不一致,请确认所选指标是否已购买对应云服务实例并完成相应配置,具体请参见对应的云服务。
创建自定义采集指标
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
- 单击“自定义”,切换至“自定义”页签。
- 单击“创建”,进入“自定义创建”页面。
- 配置自定义采集指标参数。
- 可以单击列表上方的“添加”,添加多条指标数据,一次最多添加500条,参数说明如表1所示。
- 可以单击列表上方的“点击下载模板”,下载导入模板,在表格中完善指标数据,参数说明如表1所示,然后单击“导入”,批量导入指标数据,一次最多导入500条,同时导入文件大小不能超过5MB。
表1 自定义采集指标参数说明 参数名称
参数说明
账号
需要采集指标的资源所属的账号。
账号需要关联服务,可以在“服务环境配置 > 服务关联”页面查看已关联账号或者关联新的账号。
区域
需要采集指标的资源所在的区域。
如果选择不到对应区域,可以在“服务环境配置 > 账号列表”页面,单击对应账号后的“编辑”,然后单击“确定”,自动刷新所选账号下的区域信息。
命名空间
输入需要采集指标所属的命名空间,查看方式如查看监控指标数据所示。
指标名称
需要采集的指标,查看方式如查看监控指标数据所示。
维度
需要采集的指标维度,查看方式如查看监控指标数据所示。
单个添加时可以单击,开始编辑维度,输入维度的名称(Key)和值(Value),维度最多只能添加三条,编辑完成后单击“确定”。
- (可选)单击“操作”列的“测试”,可测试对应行的指标数据是否配置正确,如不正确可以单击“操作”列的“删除”,删除对应行指标数据。
- 配置完成后单击“确定”。
补数据
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
或者单击“自定义”,切换至“自定义”页签。
- 单击需要补数据的指标所在行“操作”列的“补数据”。
- 选择需要补数据的时间,单击“确定”。
查看系统预置模板
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
- 单击“系统预置”,切换至“系统预置”页签。
在该页签下查看已生成的系统预置模板。
编辑Topic获取数据结构
- 进入AppStage运维中心。
- 在顶部导航栏选择服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > Kafka”,进入Kafka页面。
- 在列表中找到保存指标数据的Topic,单击该Topic所在行的“编辑”。
- 在编辑页面,数据格式定义中单击“从最新位置获取数据格式”或“从最早位置获取数据格式”,如图2所示。可以获取到数据结构,数据字段说明如表2所示,然后单击“确定”。
表2 CES数据字段说明 字段名
字段说明
dimensions
采集指标的维度信息
instance
实例名称
instanceId
实例ID
metricName
指标名称
metricValue
指标值
namespace
命名空间
nodeId
节点ID
nodeName
节点名称
serviceId
AppStage的服务ID
timestamp
时间戳
unit
指标单位
dim1_key、dim1_value
dim2_key、dim2_value
dim3_key、dim3_value
dim4_key、dim4_value
dim5_key、dim5_value
预留5组键值对,用来存储采集到的多维度的数据
查看监控指标数据
以采集弹性云服务器的监控指标为例,查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。
- 在支持监控的服务列表页面查看对应的监控指标参考文档。
- 在参考文档中查看命名空间,弹性云服务器对应的命名空间为“SYS.ECS”。
- 查看监控指标的指标ID和测量对象(维度),例如监控指标CPU使用率的指标ID为“cpu_util”,测量对象为“云服务器”。
- 查看维度的Key和Value,云服务器维度的Key和Value分别为instance_id和云服务器ID。