启用集群间拷贝功能备份集群数据

操作场景

当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。两个集群都需要配置。

该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。

对系统的影响

启用集群间复制功能需要重启Yarn，服务重启期间无法访问。

前提条件

两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密，“authentication”表示不加密。

可登录FusionInsight Manager界面，选择“集群 > 服务 > HDFS > 配置”，搜索hadoop.rpc.protection查看。

针对MRS 3.x之前版本，在集群详情页选择“组件管理 > HDFS > 服务配置”，将“基础配置”切换为“全部配置”，搜索hadoop.rpc.protection查看。

操作步骤

1. 进入Yarn服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数。
   

   若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

2. 左边菜单栏中选择“Yarn > 集群间拷贝”。

   

3. 设置“dfs.namenode.rpc-address”参数的“haclusterX.remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口，设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。

   

   

   针对MRS 3.x版本集群，登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，获取NameNode实例的业务IP。

   针对MRS 3.x之前版本，在集群详情页选择“组件管理 > HDFS > 实例”，获取NameNode实例的业务IP。

   “dfs.namenode.rpc-address.haclusterX.remotenn1”和“dfs.namenode.rpc-address.haclusterX.remotenn2”不区分主备NameNode。NameNode实例的业务IP可登录FusionInsight Manager页面，选择“集群 > 服务 > HDFS > 实例”获取；NameNode RPC端口可进入到HDFS服务配置页面搜索“dfs.namenode.rpc.port”参数获取，不支持通过Manager修改。

   修改后参数值例如：“10.1.1.1:9820”和“10.1.1.2:9820”。

4. 保存配置并在概览页面选择“更多 > 重启服务”，重启Yarn服务。

   

   界面提示“操作成功。”，单击“完成”，Yarn服务启动成功。

5. 登录另外一个集群，重复以上操作。