# ALM-14039 集群内存在慢DataNode
#### 告警解释
系统每60秒周期性检测HDFS DataNode实例每秒出现的慢操作次数，并把次数与阈值相比较。当HDFS DataNode实例每秒的慢操作次数连续多次（默认为3次）超出阈值（默认阈值为100）时产生该告警。
当HDFS DataNode实例每秒出现的慢操作次数小于或等于阈值时，告警恢复。
本章节仅适用于MRS 3.5.0-LTS及之后版本。
#### 告警属性
| 告警ID | 告警级别    | 是否可自动清除 |
|:---|:---|:---|
| 14039 | 重要 | 是      |
   
#### 告警参数
| 类别 | 参数名称                   | 参数含义                        |
|:---|:---|:---|
| 定位信息  | 来源                | 产生告警的集群名称。              |
| 定位信息  | 服务名               | 产生告警的服务名称。                  |
| 定位信息  | 角色名              | 产生告警的角色名称。                  |
| 定位信息  | 主机名                 | 产生告警的主机名。                   |
| 附加信息  | Trigger Condition | 系统当前指标取值满足自定义的告警设置条件。 |
   
#### 对系统的影响
HDFS出现慢DataNode，会影响HDFS的数据读写性能。
#### 可能原因
- HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。
- HDFS各DataNode实例之间网络传输速率低。
 
#### 处理步骤
**检查是否DataNode实例磁盘IO速率低。**
1. 登录FusionInsight Manager界面，选择"运维 \> 告警 \> 告警"，查看当前告警详细信息，记录定位信息中上报告警的DataNode实例主机名。
2. 选择"集群 \> 服务 \> HDFS \> 实例"，根据[步骤 1]中获取的主机名称，单击对应DataNode角色。
3. 选择"图表 \> 性能"，查看监控图表"每秒出现慢Flush或Sync的次数"、"每秒出现慢SyncWriterOsCache的次数"、"每秒出现慢WriteDataToDisk的次数"是否存在数值高的监控指标。 
   - 是，执行[步骤 4]。
   
   - 否，执行[步骤 8]。
   
   
   
   
4. 在FusionInsight Manager界面，选择"运维 \> 告警 \> 告警"查看是否存在"ALM-12033 慢盘故障"告警。
   
   - 是，查看并记录告警详细信息中的磁盘信息，执行[步骤 6]。
   
   - 否，执行[步骤 5]。
   
   
   
   
5. 获取发生慢操作的磁盘信息。
   
   1. 使用**omm** 用户登录[步骤 1]中获取的DataNode节点IP地址，使用如下命令查看运行日志。
      **cd /var/log/Bigdata/hdfs/dn/**
      **vim hadoop-omm-datanode-** *主机名* **.log**
      
   
   2. 在日志中搜索关键字"slow"，确认发生慢操作的磁盘信息。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002018459121.png "点击放大")
      
   
   
   
   
6. 根据获取到的磁盘信息，参考"ALM-12033 慢盘故障"告警处理步骤进行处理。
7. 等待5分钟，检查该告警是否恢复。 
   - 是，操作结束。
   
   - 否，执行[步骤 8]。
   
   
   
   
**检查是否HDFS各DataNode实例之间网络传输速率低。**
8. 在FusionInsight Manager界面选择"集群 \> 服务 \> HDFS"，继续选择"图表 \> 性能"，查看监控图表"每秒出现慢WritePacketToDownStream的次数"、"每秒出现慢AckToUpstream的次数"是否存在数值高的监控指标。
   
   - 是，执行[步骤 9]。
   
   - 否，执行[步骤 13]。
   
   
   
   
9. 使用**omm** 用户登录[步骤 1]中获取的DataNode主机IP地址，使用如下命令查看运行日志。
   
   **cd /var/log/Bigdata/hdfs/dn/**
   **vim hadoop-omm-datanode-** *主机名* **.log**
   
   
10. 在日志中搜索关键字"slow"，确认发生慢操作的上下游节点信息。
    
    ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002018303897.png "点击放大")
    
    
11. 检查当前节点与[步骤 10]中获取的节点之间的网络通信是否通畅。
    
    - 是，执行[步骤 13]。
    
    - 否，联系网络管理员修复网络。
    
    
    
    
12. 等待5分钟，检查该告警是否恢复。 
    - 是，操作结束。
    
    - 否，执行[步骤 13]。
    
    
    
    
**收集故障信息。**
13. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
14. 在"服务"框中勾选待操作集群的"HDFS"。
15. 单击右上角的时间编辑按钮，设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
16. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
不涉及。