文档首页 > > 用户指南> MRS集群组件操作指导> 使用HBase> 启用集群间拷贝功能

启用集群间拷贝功能

分享
更新时间: 2019/11/29 GMT+08:00

操作场景

当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。两个集群都需要配置。

该任务指导系统管理员在MRS修改参数以启用集群间拷贝功能。

对系统的影响

启用集群间复制功能需要重启Yarn,服务重启期间无法访问。

前提条件

两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。

  • 针对MRS 2.0.1之后版本集群,在集群详情页单击“组件管理 > HDFS > 服务配置”,“参数类别”选择”全部配置“,搜索hadoop.rpc.protection查看。
  • 针对MRS 2.0.1及之前版本集群,登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,“参数类别”选择”全部配置“,搜索hadoop.rpc.protection查看。

操作步骤

  1. 登录其中一个集群的详情页面,选择“组件管理”。

    • 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的进行IAM用户同步)。
    • 针对MRS 2.0.1及之前版本集群,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理”。

  2. 选择“Yarn > 服务配置”,“参数类别”设置为“全部配置”。
  3. 左边菜单栏中选择“Yarn > 集群间拷贝”。
  4. 在“dfs.namenode.rpc-address.haclusterX.remotenn1”填写对端集群其中一个NameNode实例的业务IP和RPC端口,在“dfs.namenode.rpc-address.haclusterX.remotenn2”填写对端集群另外一个NameNode实例的业务IP和RPC端口。

    • 针对MRS 2.0.1之后版本集群,在集群详情页单击“组件管理 > HDFS > 实例”,获取NameNode实例的业务IP。
    • 针对MRS 2.0.1及之前版本集群,登录MRS Manager页面,单击“服务管理 > HDFS > 实例”,获取NameNode实例的业务IP。

    “dfs.namenode.rpc-address.haclusterX.remotenn1”和“dfs.namenode.rpc-address.haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“9820”,不支持通过Manager修改。

    修改后参数值例如:“10.1.1.1:9820”和“10.1.1.2:9820”。

    MRS 1.6.2及以下版本NameNode RPC默认端口为25000,详见开源组件端口列表

  5. 单击“保存配置”,选择“重新启动角色实例。”并单击“确定”,启动Yarn服务。

    界面提示“操作成功。”,单击“完成”,Yarn服务启动成功。

  6. 登录另外一个集群,重复以上操作。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区