使用CDM迁移数据至HDFS

用户问题

使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。

问题现象

使用CDM从源HDFS导入目的端HDFS，发现目的端MRS集群故障，NameNode无法启动。

查看日志发现在启动过程中存在Java heap space报错，需要修改NN的JVM参数。

图1 故障日志

原因分析

客户在使用CDM迁移数据的过程中，HDFS的数据量过大，导致在合并元数据时发生堆栈异常。

处理步骤

1. 进入HDFS服务配置页面：
   • MRS 2.0.1之前版本，登录MRS Manager，选择“服务管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
   • MRS 2.0.1及之后版本，在MRS控制台单击集群名称，选择“组件管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
   • MRS 3.x及后续版本，登录FusionInsight Manager，然后选择“集群 > 待操作的集群名称 > 服务 > HDFS > 配置 > 全部配置”。

2. 搜索并修改“HDFS->NameNode” 中的“GC_OPTS”参数，将其中的“-Xms512M -Xmx512M”两个参数的值根据实际情况调整为较大的值。
3. 保存配置并重启受影响的服务或实例。