Loader作业导入大量数据至HDFS时报错
问题
大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。
回答
以下原因可能造成该报错:
- HDFS客户端向NameNode发送新Block申请,由于NameNode来不及处理导致超时。
- DataNode增量上报太慢,NameNode无法及时分配新的Block。
出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write.retries=10”。