HDFS故障排除

本章节汇总了使用HDFS时遇到的常见故障及故障处理方法。

• HDFS组件异常：
  • HDFS容量达到100%导致上层服务HBase、Spark等不可用
  • 启动HDFS和Yarn服务报错“Permission denied”
  • 集群外节点访问MRS HDFS报错
• NameNode实例异常：
  • 修改RPC端口后HDFS NameNode实例都变为备状态
  • 内存不足导致HDFS NameNode启动失败
  • 单NameNode长期故障时如何使用客户端手动checkpoint
• DataNode实例异常：
  • HDFS的DataNode一直显示退服中
  • DataNode偶现CPU占用接近100%导致节点无法连接
  • 由于HDFS块丢失导致DataNode退服失败
• 文件读写异常：
  • HDFS写文件失败，报错“item limit of xxx is exceeded”
  • HDFS读写文件失败，报错“Failed to place enough replicas”
  • HDFS读取文件失败，报错“FileNotFoundException”
  • HDFS读文件失败，报错“No common protection layer”
  • HDFS写文件并发较大时报副本不足
  • HDFS客户端写文件close失败
  • HDFS目录配额不足导致写文件失败
  • 文件错误导致上传文件到HDFS失败
  • 集群外节点安装客户端上传HDFS文件失败
  • 查询或者删除HDFS文件失败
  • 文件最大打开句柄数设置太小导致读写文件异常
• 客户端使用异常：
  • 调整HDFS Shell客户端日志级别
  • 使用普通模式集群的HDFS客户端时报错“error creating DomainSocket”
  • 执行distcp跨集群拷贝文件报错“Source and target differ in block-size”
  • 使用distcp命令拷贝空文件夹报错
  • HDFS客户端无法删除超长目录
• 数据块异常：
  • ntpdate修改时间导致HDFS出现大量丢块
  • 界面配置dfs.blocksize后上传数据，block大小未改变
• 网络连接异常：
  • 通过公网IP连接使用HDFS客户端报错
  • 使用Python远程连接HDFS的端口失败
• 数据均衡/磁盘均衡异常：
  • 执行balance常见问题定位方法
  • 非HDFS数据残留导致数据分布不均衡
  • HDFS客户端安装在数据节点导致数据分布不均衡
  • 节点内DataNode磁盘使用率不均衡
  • HDFS显示磁盘空间不足，其实还有10%磁盘空间
• 告警异常：
  • NameNode节点存在ALM-12027主机PID使用率超过阈值告警
  • 集群出现ALM-14012 Journalnode数据不同步告警