更新时间:2024-11-21 GMT+08:00
分享

CES指标接入监控服务

云监控服务CES可以收集云服务内置监控指标的数据,可以通过监控这些指标来跟踪对应云服务状态。AppStage运维中心支持将CES收集的监控指标数据采集到运维中心监控服务中进行管理,可以参考支持监控的服务列表查看CES当前已支持的监控指标。

选择服务后首次使用监控服务,会初始化数据,生成一个Kafka的Topic,采集到的指标数据会保存在该Topic中。在CES页面的“模板”页签,单击“一键生成”,会自动创建ClickHouse表、导流任务及指标,可以使用指标开发业务报表,具体操作请参见接入CES指标并生成业务报表

  • 创建采集指标模板:根据模板选择的实例和指标采集对应的CES数据。
  • 创建自定义采集指标:支持创建自定义采集指标,可以指定账号区域下具体的监控指标。
  • 补数据:如果发现实例的指标数据出现漏采的情况,可以使用补数据功能将漏采的指标数据重新采集。因为CES的指标只能保留2天,所以支持采集近2天内的数据。
  • 查看系统预置模板:初始化数据时,会根据账号下已有的数据库资源,生成对应的系统预置模板,并按照这些模板采集数据库监控指标,保存在自动生成的Topic中,您可以查看系统预置模板。

前提条件

  • 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限
  • 已购买并配置相应的华为云资源,如ECS、VPN、OBS等。

创建采集指标模板

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“创建”。
  4. 选择实例,勾选需要采集指标数据的云服务实例,单击,然后单击“下一步”,如图1所示。

    图1 选择实例

  5. 选择指标,勾选需要采集的指标,单击,然后单击“确定”。

    创建完成后,会根据所选实例及指标生成对应的模板数据,显示在模板列表中。

    如果生成的模板数量与勾选的指标数量不一致,请确认所选指标是否已购买对应云服务实例并完成相应配置,具体请参见对应的云服务。

创建自定义采集指标

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“自定义”,切换至“自定义”页签。
  4. 单击“创建”,进入“自定义创建”页面。
  5. 配置自定义采集指标参数。

    • 可以单击列表上方的“添加”,添加多条指标数据,一次最多添加500条,参数说明如表1所示。
    • 可以单击列表上方的“点击下载模板”,下载导入模板,在表格中完善指标数据,参数说明如表1所示,然后单击“导入”,批量导入指标数据,一次最多导入500条,同时导入文件大小不能超过5MB。
    表1 自定义采集指标参数说明

    参数名称

    参数说明

    账号

    需要采集指标的资源所属的账号。

    账号需要关联服务,可以在“服务环境配置 > 服务关联”页面查看已关联账号或者关联新的账号。

    区域

    需要采集指标的资源所在的区域。

    如果选择不到对应区域,可以在“服务环境配置 > 账号列表”页面,单击对应账号后的“编辑”,然后单击“确定”,自动刷新所选账号下的区域信息。

    命名空间

    输入需要采集指标所属的命名空间,查看方式如查看监控指标数据所示。

    指标名称

    需要采集的指标,查看方式如查看监控指标数据所示。

    维度

    需要采集的指标维度,查看方式如查看监控指标数据所示。

    单个添加时可以单击,开始编辑维度,输入维度的名称(Key)和值(Value),维度最多只能添加三条,编辑完成后单击“确定”。

  6. (可选)单击“操作”列的“测试”,可测试对应行的指标数据是否配置正确,如不正确可以单击“操作”列的“删除”,删除对应行指标数据。
  7. 配置完成后单击“确定”。

补数据

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。

    或者单击“自定义”,切换至“自定义”页签。

  3. 单击需要补数据的指标所在行“操作”列的“补数据”。
  4. 选择需要补数据的时间,单击“确定”。

查看系统预置模板

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“系统预置”,切换至“系统预置”页签。

    在该页签下查看已生成的系统预置模板。

编辑Topic获取数据结构

  1. 进入AppStage运维中心
  2. 在顶部导航栏选择服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > Kafka”,进入Kafka页面。
  3. 在列表中找到保存指标数据的Topic,单击该Topic所在行的“编辑”。
  4. 在编辑页面,数据格式定义中单击“从最新位置获取数据格式”或“从最早位置获取数据格式”,如图2所示。可以获取到数据结构,数据字段说明如表2所示,然后单击“确定”。

    图2 获取数据结构
    表2 CES数据字段说明

    字段名

    字段说明

    dimensions

    采集指标的维度信息

    instance

    实例名称

    instanceId

    实例ID

    metricName

    指标名称

    metricValue

    指标值

    namespace

    命名空间

    nodeId

    节点ID

    nodeName

    节点名称

    serviceId

    AppStage的服务ID

    timestamp

    时间戳

    unit

    指标单位

    dim1_key、dim1_value

    dim2_key、dim2_value

    dim3_key、dim3_value

    dim4_key、dim4_value

    dim5_key、dim5_value

    预留5组键值对,用来存储采集到的多维度的数据

查看监控指标数据

以采集弹性云服务器的监控指标为例,查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。

  1. 支持监控的服务列表页面查看对应的监控指标参考文档。

  2. 在参考文档中查看命名空间,弹性云服务器对应的命名空间为“SYS.ECS”。

  3. 查看监控指标的指标ID和测量对象(维度),例如监控指标CPU使用率的指标ID为“cpu_util”,测量对象为“云服务器”。

  4. 查看维度的Key和Value,云服务器维度的Key和Value分别为instance_id和云服务器ID。

相关文档