更新时间:2024-08-16 GMT+08:00

启用集群间拷贝功能备份集群数据

操作场景

当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。两个集群都需要配置。

该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。

对系统的影响

启用集群间复制功能需要重启Yarn,服务重启期间无法访问。

前提条件

两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密,“authentication”表示不加密。

可登录FusionInsight Manager界面,选择“集群 > 服务 > HDFS > 配置”,搜索hadoop.rpc.protection查看。

针对MRS 3.x之前版本,在集群详情页选择“组件管理 > HDFS > 服务配置”,将“基础配置”切换为“全部配置”,搜索hadoop.rpc.protection查看。

操作步骤

  1. 进入Yarn服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数

    若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。

  2. 左边菜单栏中选择“Yarn > 集群间拷贝”。

  3. 设置“dfs.namenode.rpc-address”参数的“haclusterX.remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口,设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。

    针对MRS 3.x版本集群,登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,获取NameNode实例的业务IP。

    针对MRS 3.x之前版本,在集群详情页选择“组件管理 > HDFS > 实例”,获取NameNode实例的业务IP。

    “dfs.namenode.rpc-address.haclusterX.remotenn1”和“dfs.namenode.rpc-address.haclusterX.remotenn2”不区分主备NameNode。NameNode实例的业务IP可登录FusionInsight Manager页面,选择“集群 > 服务 > HDFS > 实例”获取;NameNode RPC端口可进入到HDFS服务配置页面搜索“dfs.namenode.rpc.port”参数获取,不支持通过Manager修改。

    修改后参数值例如:“10.1.1.1:9820”和“10.1.1.2:9820”。

  4. 保存配置并在概览页面选择“更多 > 重启服务”,重启Yarn服务。

    界面提示“操作成功。”,单击“完成”,Yarn服务启动成功。

  5. 登录另外一个集群,重复以上操作。