更新时间:2024-11-29 GMT+08:00
使用HDFS
- 修改集群HDFS服务的NameNode RPC端口后,NameNode都变为备状态
- 通过公网IP连接主机,使用HDFS客户端报错
- 使用Python远程连接HDFS的端口失败
- 启动HDFS和Yarn报错
- HDFS权限设置问题
- HDFS的DataNode一直显示退服中
- 内存不足导致HDFS启动失败
- ntpdate修改时间导致HDFS出现大量丢块
- DataNode概率性出现CPU占用接近100%,导致节点丢失(ssh连得很慢或者连不上)
- 单NameNode长期故障,如何使用客户端手动checkpoint
- 文件读写常见故障
- 文件最大打开句柄数设置太小导致读写文件异常
- 文件错误导致上传文件到HDFS失败
- 界面配置dfs.blocksize后put数据,block大小还是原来的大小
- 读取文件失败,FileNotFoundException
- HDFS写文件失败,item limit of / is exceeded
- 调整shell客户端日志级别
- 读文件失败No common protection layer
- HDFS目录配额(quota)不足导致写文件失败
- 执行balance失败,Source and target differ in block-size
- 查询或者删除文件失败,父目录可以看见此文件(不可见字符)
- 非HDFS数据残留导致数据分布不均衡
- 客户端安装在数据节点导致数据分布不均衡
- 节点内DataNode磁盘使用率不均衡处理指导
- 执行balance常见问题定位方法
- 普通集群在Core节点安装hdfs客户端,使用时报错
- 集群外节点安装客户端使用hdfs上传文件失败
- HDFS写并发较大时,报副本不足的问题
父主题: 故障排除