更新时间:2023-03-17 GMT+08:00

使用CDM迁移数据至HDFS

用户问题

使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。

问题现象

使用CDM从源HDFS导入目的端HDFS,发现目的端MRS集群故障,NameNode无法启动。

查看日志发现在启动过程中存在Java heap space报错,需要修改NN的JVM参数。

图1 故障日志

原因分析

客户在使用CDM迁移数据的过程中,HDFS的数据量过大,导致在合并元数据时发生堆栈异常。

处理步骤

  1. 搜索并修改“HDFS->NameNode” 中的“GC_OPTS”参数,将其中的“-Xms512M -Xmx512M”两个参数的值根据实际情况调整为较大的值。
  2. 保存配置并重启受影响的服务或实例。