更新时间:2022-09-27 GMT+08:00

ALM-14011 DataNode数据目录配置不合理

告警解释

DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时,系统即刻产生此告警。

当修改DataNode的数据目录合理后,重启该DataNode,告警清除。

告警属性

告警ID

告警级别

是否自动清除

14011

重要

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

对系统的影响

如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。

不合理的DataNode数据目录配置,会造成HDFS的性能下降。

可能原因

  • DataNode数据目录创建失败。
  • DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。
  • DataNode数据目录中多个目录使用同一磁盘。

处理步骤

查看告警原因和产生告警的DataNode节点信息。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在告警列表中单击此告警。
  2. 通过“定位信息”的“主机名”,获取告警产生的DataNode节点的主机名。

删除DataNode数据目录中与磁盘规划不符的目录。

  1. 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,在实例列表中单击产生告警的节点主机上的DataNode实例。
  2. 单击“实例配置”,查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。
  3. 查看所有的DataNode数据目录,是否有与磁盘规划不一致的目录。

    • 是,执行6
    • 否,执行9

  4. 修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值,删除错误的路径。
  5. 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,重启该DataNode实例。
  6. 检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行9

  7. root用户登录到产生告警的DataNode的节点

    • 如果告警原因为“DataNode数据目录创建失败”,执行10
    • 如果告警原因为“DataNode数据目录与系统关键目录(/或/boot)使用同一磁盘”,执行17
    • 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行21

检查DataNode数据目录是否创建失败。

  1. 执行su - omm命令,切换到omm用户。
  2. 使用ls命令查看DataNode数据目录中的每个目录是否存在。

    • 是,执行26
    • 否,执行12

  3. 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。

    • 是,执行24
    • 否,执行13

  4. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12017 磁盘容量不足”。

    • 是,执行14
    • 否,执行15

  5. 参考“ALM-12017 磁盘容量不足”对磁盘容量问题进行处理,查看“ALM-12017 磁盘容量不足”告警是否消除。

    • 是,执行12
    • 否,执行15

  6. 查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。(例如“/tmp/abc/”,“tmp”目录有“x”权限,“abc”目录有“rwx”权限。)

    • 是,执行24
    • 否,执行16

  7. root用户下,执行chmod u+rwx path或者chmod u+x path命令给这些路径添加omm用户的“rwx”或者“x”权限,然后执行12

检查DataNode数据目录是否与系统关键目录使用同一磁盘。

  1. 分别使用df命令获取DataNode数据目录中的每个目录的磁盘挂载情况。
  2. 查看命令结果的磁盘挂载目录是否为系统关键目录(“/”或“/boot”)。

    • 是,执行19
    • 否,执行24

  3. 修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值,删除与系统关键目录使用同一磁盘的目录。
  4. 继续执行24

检查DataNode数据目录中是否多个目录使用同一磁盘。

  1. 分别使用df命令获取DataNode数据目录中每个目录的磁盘挂载情况。记录命令结果的磁盘挂载目录。
  2. 修改该DataNode节点的配置参数“dfs.datanode.data.dir”的值,对于其中磁盘挂载目录相同的DataNode目录,仅保留其中的一个目录,删除其他目录。
  3. 继续执行24

重启DataNode,检查告警是否消除。

  1. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,重启该DataNode实例。
  2. 检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行26

收集故障信息。

  1. 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“HDFS”。
  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。