更新时间：2024-04-22 GMT+08:00
大量数据写入HDFS时报错
问题
大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。
图1 报错信息
回答
以下原因可能造成该报错：
- HDFS客户端向NameNode发送新Block申请，由于NameNode来不及处理导致超时。
- DataNode增量上报太慢，NameNode无法及时分配新的Block。
出现该报错作业不会立即异常，在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置，例如：“dfs.client.block.write.retries=10”。
父主题： Loader常见问题
