更新时间:2024-05-23 GMT+08:00
分享

CES数据管理

云服务监控CES可以收集云服务内置监控指标的数据,可以通过监控这些指标来跟踪对应云服务状态。AppStage运维中心支持将CES收集的监控指标数据采集到运维中心监控服务中进行管理。

选择自有服务后首次使用监控服务,会初始化数据,生成一个Kafka的Topic,采集到的指标数据会保存在该Topic中。使用这些指标数据时,需要编辑Topic获取数据结构,然后可以正常为数据创建导流任务、进行数据汇聚。

  • 创建采集指标模板:根据模板选择的实例和指标采集对应的CES数据。
  • 创建自定义采集指标:支持创建自定义采集指标,可以指定账号区域下具体的监控指标。
  • 补数据:如果发现实例的指标数据出现漏采的情况,可以使用补数据功能将漏采的指标数据重新采集。因为CES的指标只能保留2天,所以支持采集近2天内的数据。
  • 查看系统预置模板:初始化数据时,会根据账号下已有的数据库资源,生成对应的系统预置模板,并按照这些模板采集数据库监控指标,保存在自动生成的Topic中,您可以查看系统预置模板。

前提条件

  • 已获取服务运维岗位权限,权限申请操作请参见申请权限
  • 已购买并配置相应的华为云资源,如ECS、VPN、OBS等。

创建采集指标模板

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“创建”。
  4. 选择实例,勾选需要采集指标数据的云服务实例,单击,然后单击“下一步”,如图1所示。

    图1 选择实例

  5. 选择指标,勾选需要采集的指标,单击,然后单击“确定”。

    创建完成后,会根据所选实例及指标生成对应的模板数据,显示在模板列表中。

    如果生成的模板数量与勾选的指标数量不一致,请确认所选指标是否已购买对应云服务实例并完成相应配置,具体请参见对应的云服务。

创建自定义采集指标

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“自定义”,切换至“自定义”页签。
  4. 单击“创建”,进入“自定义创建”页面。
  5. 配置自定义采集指标参数,参数说明如表1所示,单击列表上方“添加”,可添加多条指标数据(一次最多添加10条,可多次创建添加)。配置完成后单击“确定”。

    表1 自定义采集指标参数说明

    参数名称

    参数说明

    序号

    显示配置指标数据的序号,默认生成。

    添加多条指标数据时,可根据报错提示的序号定位配置异常的指标数据。

    账号

    选择需要采集指标的资源所属的账号。

    可选账号为当前自有服务已关联的账号,可以在“服务环境配置 > 服务关联”页面进行关联。

    区域

    选择需要采集指标的资源所在的区域。

    如果选择不到对应区域,可以在“服务环境配置 > 账号列表”页面,单击对应账号后的“编辑”,然后单击“确定”,自动刷新所选账号下的区域信息。

    命名空间

    输入需要采集的指标所属的命名空间。

    查看方式如查看监控指标数据所示。

    指标名称

    输入需要采集的监控指标的指标ID。

    查看方式如查看监控指标数据所示。

    维度

    单击,开始编辑维度,输入维度的名称(Key)和值(Value),维度最多只能添加三条,编辑完成后单击“确定”。

    查看方式如查看监控指标数据所示。

    操作

    • 单击“测试”,可测试对应行的指标数据是否配置正确。
    • 单击“删除”,可删除对应行指标数据。

补数据

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。

    或者单击“自定义”,切换至“自定义”页签。

  3. 单击需要补数据的指标所在行“操作”列的“补数据”。
  4. 选择需要补数据的时间,单击“确定”。

查看系统预置模板

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > CES”,进入CES页面,默认显示“模板”页签。
  3. 单击“系统预置”,切换至“系统预置”页签。

    在该页签下查看已生成的系统预置模板。

编辑Topic获取数据结构

  1. 进入运维中心工作台。
  2. 在顶部导航栏选择自有服务。
  1. 单击,选择“运维 > 监控服务(ServiceInsight)”。
  1. 选择左侧导航栏的运维数据开发 > 数据开发,进入“数据开发”页面。
  2. 单击“数据管理 > Kafka”,进入Kafka页面。
  3. 在列表中找到保存指标数据的Topic,单击该Topic所在行的“编辑”。
  4. 在编辑页面,数据格式定义中单击“从最新位置获取数据格式”或“从最早位置获取数据格式”,如图2所示。可以获取到数据结构,数据字段说明如表2所示,然后单击“确定”。

    图2 获取数据结构
    表2 CES数据字段说明

    字段名

    字段说明

    dimensions

    采集指标的维度信息

    instance

    实例名称

    instanceId

    实例ID

    metricName

    指标名称

    metricValue

    指标值

    namespace

    命名空间

    nodeId

    节点ID

    nodeName

    节点名称

    serviceId

    AppStage的服务ID

    timestamp

    时间戳

    unit

    指标单位

    dim1_key、dim1_value

    dim2_key、dim2_value

    dim3_key、dim3_value

    dim4_key、dim4_value

    dim5_key、dim5_value

    预留5组键值对,用来存储采集到的多维度的数据

查看监控指标数据

以采集弹性云服务器的监控指标为例,查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。

  1. 支持监控的服务列表页面查看对应的监控指标参考文档。

  2. 在参考文档中查看命名空间,弹性云服务器对应的命名空间为“SYS.ECS”。

  3. 查看监控指标的指标ID和测量对象(维度),例如监控指标CPU使用率的指标ID为“cpu_util”,测量对象为“云服务器”。

  4. 查看维度的Key和Value,云服务器维度的Key和Value分别为instance_id和云服务器ID。

分享:

    相关文档

    相关产品