更新时间:2024-08-01 GMT+08:00
分享

Loader作业导入大量数据至HDFS时报错

问题

大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。

图1 报错信息

回答

以下原因可能造成该报错:

  1. HDFS客户端向NameNode发送新Block申请,由于NameNode来不及处理导致超时。
  2. DataNode增量上报太慢,NameNode无法及时分配新的Block。

出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write.retries=10”。

相关文档