文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ 查看MRS集群监控指标/ 配置MRS集群监控指标数据转储
更新时间：2026-09-07 GMT+08:00
查看PDF
分享

配置MRS集群监控指标数据转储

在MRS集群运维中，管理员需要将集群的监控指标数据导出到外部系统进行长期存储和二次分析。MRS默认将监控数据保存在本地数据库中，随着数据持续累积可能占用大量磁盘空间，且无法与第三方监控系统直接对接。通过配置监控指标数据转储功能，可以将系统中采集到的监控数据写入文本文件，并以FTP或SFTP方式定期上传到指定的外部服务器，实现监控数据的长期归档和与第三方系统的数据对接。本文介绍如何配置MRS集群监控指标数据转储。

  • 监控指标数据转储：将Manager采集的集群监控指标数据按指定周期写入文本文件，并通过FTP或SFTP协议上传到外部服务器的过程。转储后第三方系统可从文件中解析监控数据进行二次处理。
  • 采集周期：Manager采集监控指标数据的时间间隔，支持30秒、60秒和300秒三种周期。不同采集周期的指标数据会分别保存在不同的监控文件中。
  • 指标ID：每个监控指标的唯一标识，分为实时指标ID（30秒/60秒采集周期）和5分钟指标ID（300秒采集周期）。第三方系统通过指标ID可查询指标的详细信息。

Manager支持采集当前管理的集群内所有监控指标数据，采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时，会根据采集周期分别保存在不同的监控文件中。

前提条件

  • 转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问转储服务器的IP地址和指定端口。
  • 转储服务器的FTP服务正常。

配置MRS集群监控指标数据转储（MRS 3.x版本）

  1. 登录MRS集群Manager界面。

    登录集群Manager界面请参考访问MRS集群Manager。

  2. 选择“系统 > 对接 > 监控数据上传”。
  3. 单击“监控数据上传”右边的开关。
  4. 根据表1所示的说明填写上传参数：

    表1 上传配置参数

    参数名称

    参数说明

    FTP IP地址模式

    必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。

    FTP IP地址

    必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。

    FTP端口

    必选参数，指定连接FTP服务器的端口。

    FTP用户名

    必选参数，指定登录FTP服务器的用户名。

    FTP密码

    必选参数，指定登录FTP服务器的密码。

    保存路径

    必选参数，指定监控文件在FTP服务器保存的路径，该路径需为已存在的路径。

    转储时间间隔（秒）

    必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。配置完成后，系统会按照指定的时间间隔，将文件定期上传到对应的FTP服务器。

    转储模式

    必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。

    SFTP服务公钥

    可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。

    建议配置SFTP服务公钥，否则数据可能存在安全风险。

  5. 单击“确定”，设置完成。

    监控指标数据转储配置成功后，系统会按照指定的时间间隔，将文件定期上传到对应的服务器目录中。

    表2 监控指标数据文件说明

    监控指标数据

    描述

    采集周期
    • 30s周期：默认采集周期为30s的实时指标。
    • 60s周期：默认采集周期为60s的实时指标。
    • 300s周期：非30s、60s采集的所有指标。

    文件名格式
    • MRS 3.x及之后版本：

      metric_监控指标数据采集的周期_文件创建时间.log

      如：metric_60_20160908085915.log、metric_300_20160908085613.log

    • MRS 3.x之前版本：

      集群名称_metric_监控指标数据采集的周期_文件创建时间.log

    文件内容格式（以MRS 3.x版本为例）
    • 集群ID|集群名称|显示名称|服务名称|指标ID|采集时间|采集主机@m@子指标|单位|指标值
    • 示例： 
      1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-146|KB/s|309.910
1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-152|KB/s|72.870
2|xx2|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-163|KB/s|100.650

    第三方系统从上报的文件内容中解析出指标ID后，可以通过查询位于主备OMS节点的“集群安装路径/om-server/om/etc/om/all-shown-metric-zh_CN”指标全集文件获取指标详细信息，该文件包含了所有指标的详细信息，内容如下（以MRS 3.x版本为例）：

    实时指标ID,5分钟指标ID,指标名称,指标采集周期(秒),是否默认采集,指标所属服务,指标所属角色 
00101,10000101,JobHistoryServer非堆内存使用量,30,false,Mapreduce,JobHistoryServer 
00102,10000102,JobHistoryServer非堆内存分配量,30,false,Mapreduce,JobHistoryServer 
00103,10000103,JobHistoryServer堆内存使用量,30,false,Mapreduce,JobHistoryServer 
00104,10000104,JobHistoryServer堆内存分配量,30,false,Mapreduce,JobHistoryServer 
00105,10000105,阻塞线程数,30,false,Mapreduce,JobHistoryServer 
00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 
00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer 
00110,10000110,JobHistoryServer的CPU使用率,30,false,Mapreduce,JobHistoryServer 
...
    • 解析指标ID说明：

      针对采集周期为30s/60s的指标，参考该指标说明文件的是第1列，即实时指标ID即可找到对应的指标说明。

      针对采集周期为300s的指标，参考该指标说明文件对应的第2列，即5分钟指标ID即可找到对应的指标说明。

    • 部分字段说明：

      实时指标ID：指标的采集周期为30s/60s的指标ID，一个独立的指标项只可能存在30s或者60s的实时指标项。

      5分钟指标ID：指标对应的5分钟（300s）的指标ID。

      指标采集周期(秒)：主要是针对实时指标的采集周期，可选值为30或60。

      指标所属服务：指标所属的服务名名称，标明指标所属的服务类型，如HDFS、HBase等。

      指标所属角色：指标所属的角色名名称，标明指标所属的实际角色类型，如JobServer、RegionServer等。

验证操作：

配置完成后，等待一个转储时间间隔后，登录FTP/SFTP服务器，检查保存路径指定的目录下是否生成了监控指标数据文件（文件名格式为metric_*.log）。若文件已生成且内容包含监控指标数据，则表示转储配置成功。

配置MRS集群监控指标数据转储（MRS 2.x及之前版本）

  1. 登录MRS集群Manager界面。

    登录集群Manager界面请参考访问MRS集群Manager。

  2. 单击“系统设置”。
  3. 在“配置”区域“监控和告警配置”下，单击“监控指标转储配置”。
  4. 表3介绍转储参数。

    表3 转储参数

    参数名称

    参数说明

    是否必选

    监控指标转储开关

    指定是否打开监控指标数据对接功能。

    是

    FTP IP地址

    指定监控指标数据对接后存放监控文件的FTP服务器。

    是

    FTP端口

    指定连接FTP服务器的端口。

    是

    FTP用户名

    指定登录FTP服务器的用户名。

    是

    FTP密码

    指定登录FTP服务器的密码。

    是

    保存路径

    指定监控文件在FTP服务器保存的路径。

    是

    转储时间间隔（秒）

    指定监控文件在FTP服务器保存的周期，单位为秒。配置完成后，系统会按照指定的时间间隔，将文件定期上传到对应的FTP服务器。

    是

    转储模式

    指定监控文件发送时使用的协议。可选协议为“FTP”和“SFTP”。

    是

    SFTP服务公钥

    指定FTP服务器的公共密钥，“模式”选择“SFTP”时此参数生效。建议配置公共密钥，否则可能存在安全风险。

    否

  5. 单击“确定”，设置完成。

验证操作：

配置完成后，等待一个转储时间间隔后，登录FTP服务器，检查保存路径指定的目录下是否生成了监控指标数据文件。若文件已生成且内容不为空，则表示转储配置成功。

常见问题

  • 监控数据转储失败

    转储失败的常见原因包括：FTP/SFTP服务器网络不通或端口被拦截、FTP用户名或密码错误、保存路径不存在或无写入权限、转储模式与服务器配置不匹配（如选择SFTP但服务器仅支持FTP）。

    请检查Master节点到转储服务器的网络连通性，确保IP地址和端口正确。确认FTP用户名和密码有效，保存路径已存在且有写入权限。确认转储模式与服务器支持的协议一致。排查后重新等待下一个转储周期自动重试。

  • 转储文件中指标数据为空

    可能原因包括：集群刚创建不久，监控数据尚未采集到足够数量；或Manager存储所用的磁盘使用率过高导致监控数据被清理。

    请确认集群已运行足够时间，监控数据已正常采集。检查磁盘使用率，如空间不足请清理不必要的文件。等待下一个转储周期后重新检查文件内容。

相关文档

父主题： 查看MRS集群监控指标

相关文档