启用集群间拷贝功能
操作场景
当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。两个集群都需要配置。
该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。
对系统的影响
启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
前提条件
两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密,“authentication”表示不加密。
参考修改集群服务配置参数,进入HDFS服务参数“全部配置”界面“,搜索hadoop.rpc.protection查看。
针对MRS 3.x之前版本,在集群详情页选择“组件管理 > HDFS > 服务配置”,将“基础配置”切换为“全部配置”,搜索hadoop.rpc.protection查看。
操作步骤
- 进入Yarn服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数。
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 左边菜单栏中选择“Yarn > 集群间拷贝”。
- 设置“dfs.namenode.rpc-address”参数的“haclusterX.remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口,设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。
针对MRS 3.x版本集群,登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,获取NameNode实例的业务IP。
针对MRS 3.x之前版本,在集群详情页选择“组件管理 > HDFS > 实例”,获取NameNode实例的业务IP。
“dfs.namenode.rpc-address.haclusterX.remotenn1”和“dfs.namenode.rpc-address.haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“9820”,不支持通过Manager修改。
修改后参数值例如:“10.1.1.1:9820”和“10.1.1.2:9820”。
- 保存配置并在概览页面选择“更多 > 重启服务”,重启Yarn服务。
界面提示“操作成功。”,单击“完成”,Yarn服务启动成功。
- 登录另外一个集群,重复以上操作。