文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ 查看MRS集群监控指标/ 配置MRS集群监控指标数据转储
更新时间：2024-09-04 GMT+08:00
查看PDF
分享

配置MRS集群监控指标数据转储

监控指标数据转储介绍

监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数，使集群内各监控指标数据保存到指定的FTP服务器，与第三方系统进行对接。

FTP协议未加密数据可能存在安全风险，建议使用SFTP。转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。

Manager支持采集当前管理的集群内所有监控指标数据，采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时，会根据采集周期分别保存在不同的监控文件中。

表1 监控指标数据文件说明

监控指标数据

描述

采集周期
  • 30s周期：默认采集周期为30s的实时指标。
  • 60s周期：默认采集周期为60s的实时指标。
  • 300s周期：非30s、60s采集的所有指标。

文件名格式
  • MRS 3.x及之后版本：

    metric_监控指标数据采集的周期_文件创建时间.log

    如：metric_60_20160908085915.log、metric_300_20160908085613.log

  • MRS 3.x之前版本：

    集群名称_metric_监控指标数据采集的周期_文件创建时间.log

文件内容格式（以MRS 3.x版本为例）
  • 集群ID|集群名称|显示名称|服务名称|指标ID|采集时间|采集主机@m@子指标|单位|指标值
  • 示例：
    实际的文件中不存在对应的文件格式标题。 
    1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-146|KB/s|309.910
1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-152|KB/s|72.870
2|xx2|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-163|KB/s|100.650

第三方系统从上报的文件内容中解析出指标ID后，可以通过查询位于主备OMS节点的“FusionInsight安装路径/om-server/om/etc/om/all-shown-metric-zh_CN”指标全集文件获取指标详细信息，该文件包含了所有指标的详细信息，内容如下（以MRS 3.x版本为例）：

实时指标ID,5分钟指标ID,指标名称,指标采集周期(秒),是否默认采集,指标所属服务,指标所属角色 
00101,10000101,JobHistoryServer非堆内存使用量,30,false,Mapreduce,JobHistoryServer 
00102,10000102,JobHistoryServer非堆内存分配量,30,false,Mapreduce,JobHistoryServer 
00103,10000103,JobHistoryServer堆内存使用量,30,false,Mapreduce,JobHistoryServer 
00104,10000104,JobHistoryServer堆内存分配量,30,false,Mapreduce,JobHistoryServer 
00105,10000105,阻塞线程数,30,false,Mapreduce,JobHistoryServer 
00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 
00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer 
00110,10000110,JobHistoryServer的CPU使用率,30,false,Mapreduce,JobHistoryServer 
...
  • 解析指标ID说明：

    针对采集周期为30s/60s的指标，参考该指标说明文件的是第1列，即实时指标ID即可找到对应的指标说明。

    针对采集周期为300s的指标，参考该指标说明文件对应的第2列，即5分钟指标ID即可找到对应的指标说明。

  • 部分字段说明：

    实时指标ID：指标的采集周期为30s/60s的指标ID，一个独立的指标项只可能存在30s或者60s的实时指标项。

    5分钟指标ID：指标对应的5分钟（300s）的指标ID。

    指标采集周期(秒)：主要是针对实时指标的采集周期，可选值为30或60。

    指标所属服务：指标所属的服务名名称，标明指标所属的服务类型，如HDFS、HBase等。

    指标所属角色：指标所属的角色名名称，标明指标所属的实际角色类型，如JobServer、RegionServer等。

配置MRS集群监控指标数据转储（MRS 3.x及之后版本）

  1. 登录FusionInsight Manager。
  2. 选择“系统 > 对接 > 监控数据上传”。
  3. 单击“监控数据上传”右边的开关。

    “监控数据上传”默认为不启用，开关显示为表示启用。

  4. 根据表2所示的说明填写上传参数：

    表2 上传配置参数

    参数名称

    参数说明

    FTP IP地址模式

    必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。

    FTP IP地址

    必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。

    FTP端口

    必选参数，指定连接FTP服务器的端口。

    FTP用户名

    必选参数，指定登录FTP服务器的用户名。

    FTP密码

    必选参数，指定登录FTP服务器的密码。

    保存路径

    必选参数，指定监控文件在FTP服务器保存的路径。

    转储时间间隔（秒）

    必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。配置完成后，系统会按照指定的时间间隔，将文件定期上传到对应的FTP服务器。

    转储模式

    必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。

    SFTP服务公钥

    可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。

  5. 单击“确定”，设置完成。

    选择转储模式为SFTP，当SFTP服务公钥为空时，先进行安全风险提示，确定安全风险后再保存配置。

配置MRS集群监控指标数据转储（MRS 2.x及之前版本）

  1. 在MRS Manager，单击“系统设置”。
  2. 在“配置”区域“监控和告警配置”下，单击“监控指标转储配置”。
  3. 表3介绍转储参数。

    表3 转储参数

    参数名称

    参数说明

    是否必选

    监控指标转储开关

    指定是否打开监控指标数据对接功能。

    是

    FTP IP地址

    指定监控指标数据对接后存放监控文件的FTP服务器。

    是

    FTP端口

    指定连接FTP服务器的端口。

    是

    FTP用户名

    指定登录FTP服务器的用户名。

    是

    FTP密码

    指定登录FTP服务器的密码。

    是

    保存路径

    指定监控文件在FTP服务器保存的路径。

    是

    转储时间间隔（秒）

    指定监控文件在FTP服务器保存的周期，单位为秒。配置完成后，系统会按照指定的时间间隔，将文件定期上传到对应的FTP服务器。

    是

    转储模式

    指定监控文件发送时使用的协议。可选协议为“FTP”和“SFTP”。

    是

    SFTP服务公钥

    指定FTP服务器的公共密钥，“模式”选择“SFTP”时此参数生效。建议配置公共密钥，否则可能存在安全风险。

    否

  4. 单击“确定”，设置完成。