更新时间:2023-02-06 GMT+08:00
迁移HDFS文件,报错无法获取块怎么处理?
问题描述
- 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。
- 任务启动时报如下错误:
Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-787476470-192.168.152.10-1573351961380:blk_1073742171_1347 file=/user/hive/warehouse/db_hive.db/emp/emp.txt (state=,code=0)
原因分析
解决方案
因为DataNode节点防火墙为开启状态,CDM在与Datanode建立连接时失败导致获取块失败。关闭Datanode节点的防火墙后问题解决。
父主题: 故障处理类