配置MRS对接CES
MRS集群在运行过程中,管理员需要持续监控集群组件运行状态和节点资源使用情况(如CPU、内存、磁盘利用率等)。MRS Manager提供了集群内的实时监控能力,但仅支持在集群内查看,无法实现跨集群统一监控、长期趋势分析和告警通知。
华为云云监控服务(CES)是面向云资源的统一监控平台。MRS支持对接CES,开启指标共享后,MRS将集群组件和节点的关键监控指标推送到CES,用户可在CES管理控制台查看监控趋势、配置告警规则并接收告警通知,也可以通过CES API获取监控数据对接自建运维平台。本文适用于MRS集群管理员和运维工程师。
典型使用场景:
- 跨集群统一监控:在CES控制台统一查看多个MRS集群的监控数据,无需逐一登录各集群Manager。
- 告警通知配置:在CES中为MRS集群的关键指标(如节点CPU利用率、HDFS磁盘使用率)设置告警阈值,通过短信、邮件等方式接收告警通知。
- 长期趋势分析:利用CES的长期数据存储能力,查看MRS集群的历史监控趋势,辅助容量规划和性能调优。
前提条件
开启指标共享功能的用户需具有mrs:ops:grant或mrs:cluster:updateOps权限。
开启指标共享
- 登录MRS管理控制台。
- 在MRS现有集群列表中,单击待操作的集群名称进入概览页面。
- 在页面右上角选择“运维 > 指标共享”开启指标共享。
验证方法:
- 页面右上角“运维”菜单出现“关闭指标共享”选项,说明指标共享已成功开启。
- 开启后等待一段时间,MRS集群的监控数据将开始推送到CES。
- 登录CES管理控制台。
- 在左侧导航栏选择“云服务监控”,在云服务监控列表中单击“Mapreduce服务 MRS”,即可查看已对接CES的MRS集群相关的指标信息。
后续操作:
- 在MRS监控页面,可查看各指标的实时值和历史趋势图。
- 如需配置告警规则,单击“告警规则 > 创建告警规则”,选择MRS集群和指标,设置告警阈值和通知方式。
关闭指标共享
- 登录MRS管理控制台,在MRS现有集群列表中,单击待操作的集群名称进入概览页面。
- 在页面右上角选择“运维 > 关闭指标共享”关闭指标共享。
验证方法:
页面右上角“运维”菜单出现“指标共享”选项,说明指标共享已成功关闭,关闭后MRS将停止向CES推送新数据。
相关文档
- 了解MRS集群可监控的指标详细信息,请参考MRS支持的基础监控指标。
- 了解MRS集群Manager告警配置和查看方法,请参考查看MRS集群告警。
- 如需了解云监控服务(CES)的功能介绍和操作指南,请参考云监控服务CES产品文档。
- 如需通过API获取MRS监控数据,请参考云监控服务API参考。
常见问题
Q:指标共享是否会消耗MRS集群资源?
A:指标共享对集群资源的消耗较小。MRS仅周期性将已采集的监控指标数据推送到CES,不会额外增加集群负载。关闭指标共享后资源消耗即恢复。
Q:在CES中为MRS集群配置的告警规则,关闭指标共享后是否仍然生效?
A:关闭指标共享后,由于MRS不再向CES推送监控数据,CES中将无法获取到MRS的最新指标值,相关告警规则将无法触发。重新开启指标共享后,告警规则将自动恢复生效。