Loader作业导入大量数据至HDFS时报错

问题

大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。

图1 报错信息

回答

以下原因可能造成该报错：

1. HDFS客户端向NameNode发送新Block申请，由于NameNode来不及处理导致超时。
2. DataNode增量上报太慢，NameNode无法及时分配新的Block。