文档首页 > > 用户指南> MRS集群组件操作指导> 使用HBase> 使用ReplicationSyncUp工具

使用ReplicationSyncUp工具

分享
更新时间:2020/05/27 GMT+08:00

前提条件

  1. ReplicationSyncUp工具仅在MRS1.7及其以后版本中支持。
  2. 主备集群已经安装并且启动。
  3. 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。
  4. 当主集群HBase服务关闭时,Zookeeper和HDFS服务应该启动并运行。
  5. 该工具应该由启动HBase进程的系统用户运行。
  6. 如果处于安全模式,请确保备用集群的HBase系统用户具有主集群HDFS的读取权限。因为它将更新HBase系统Zookeeper节点和HDFS文件。
  7. 主集群HBase故障后,主集群的zookeeper,文件系统和网络依然可用。

场景介绍

Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,若主集群出现故障,ReplicationSyncUp工具会使用来自zookeeper的信息将主集群中的启用HBase备份功能的数据增量同步到备集群中。数据同步完成后,备集群可以作为主集群使用。

参数配置

参数

描述

默认值

hbase.replication.bulkload.enabled

是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为true。

false

hbase.replication.cluster.id

源HBase集群ID。开启批量加载数据复制功能是必须设置该参数,在源集群定义。参数值类型为String。

-

工具使用

在主集群client上输入如下命令使用:

hbase org.apache.hadoop.hbase.replication.regionserver.ReplicationSyncUp -Dreplication.sleep.before.failover=1

replication.sleep.before.failover是指在RegionServer启动失败时备份其剩余数据前需要的休眠时间。由于30秒(默认值)的睡眠时间没有任何意义,因此将其设置为1(s),使备份过程更快触发。

注意事项

1. 当主集群关闭时,此工具将从zookeeper节点(RS znode)获得WAL的处理进度以及WAL的处理队列,并将未复制的队列复制到备集群中。

2.每个主集群的RegionServer在备集群zookeeper上的replication 节点下都有自己的znode。它包含每个对等集群的一个znode。

3.当Regionserver故障时,主集群的每个Regionserver都会通过watcher收到通知,并尝试锁定故障regionserver的znode,包含它的队列。成功创建的RS会将所有队列转移到自己队列的znode下。队列传输后,它们将从旧位置删除。

4.在主集群关闭期间,ReplicationSyncUp工具将使用来自zookeeper节点的信息同步主备集群的数据,并且rs znode的wals将被移动到备集群下。

限制和约束

如果备集群处于关闭状态或关闭了对等关系,该工具正常运行,只有该对等关系复制不会发生。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问