配置HBase主备集群容灾

操作场景

HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具，包含灾备关系维护，重建，数据校验，数据同步进展查看等功能。为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。

本章节适用于MRS 3.x及之后版本。

1. 登录主集群的Manager。
2. 选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”，进入HBase配置界面。

   

3. （可选）如表1所示，为HBase容灾操作过程中的可选配置项，您可以根据描述来进行参数配置，或者使用缺省提供的值。

   表1 可选配置项

   配置入口	配置项	缺省值	描述
   “HMaster > 性能”	hbase.master.logcleaner.ttl	600000	指定HLog的保存期限。如果配置值为“604800000”（单位：毫秒），表示HLog的保存期限为7天。
   	hbase.master.cleaner.interval	60000	HMaster清理过去HLog文件的周期，即超过设置的时间的HLog会被自动删除。建议尽可能配置大的值来保留更多的HLog。
   “RegionServer > Replication”	replication.source.size.capacity	16777216	edits最大大小。单位为byte。如果edit大小超过这个值Hlog edits将会发送到备集群。
   	replication.source.nb.capacity	25000	edits最大数目，这是另一个触发Hlog edits到备集群的条件。当主集群同步数据到备集群中时，主集群会从HLog中读取数据，此时会根据本参数配置的个数读取并发送。与“replication.source.size.capacity”一起配置使用。
   	replication.source.maxretriesmultiplier	10	replication出现异常时的最大重试次数。
   	replication.source.sleepforretries	1000	每次重试的sleep时间。（单位：毫秒）
   	hbase.regionserver.replication.handler.count	6	RegionServer上的replication RPC服务器实例数。

配置主集群Bulkload批量写数据容灾参数。

4. 是否启用Bulkload批量写数据容灾功能？

   是，执行5。

   否，执行8。

5. 选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”，进入HBase配置界面。
6. 搜索并修改“hbase.replication.bulkload.enabled”参数，将配置项的值修改为“true”，启用Bulkload批量写数据容灾功能。
7. 搜索并修改“hbase.replication.cluster.id”参数，表示标识主集群HBase的ID，用于备集群连接主集群。参数值支持大小写字母、数字和下划线（_），长度不超过30。

重启HBase服务并安装客户端。

8. 单击“保存”，保存配置。在弹出的窗口中单击“确定”。重启HBase服务。
9. 在主备集群，选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 下载客户端”，下载客户端并安装。

添加主备集群容灾关系。

10. 以“hbase”用户进入主集群的HBase shell界面。

    hbase用户的初始密码为“Hbase@123”，详情请参考用户账号一览表。

11. 在HBase shell中执行如下命令，创建主集群HBase与备集群HBase之间的容灾同步关系。

    add_peer '备集群ID', CLUSTER_KEY => "备集群ZooKeeper业务ip地址", CONFIG => {"hbase.regionserver.kerberos.principal" => "备集群RegionServer principal", "hbase.master.kerberos.principal" => "备集群HMaster principal"}

    • 备集群ID表示主集群识别备集群使用的id，请重新指定id值。可以任意指定，建议使用数字。
    • 备集群ZooKeeper地址信息包含ZooKeeper业务IP地址、侦听客户端连接的端口和备集群的HBase在ZooKeeper上的根目录。
    • hbase.master.kerberos.principal 、hbase.regionserver.kerberos.principal在备集群HBase hbase-site.xml配置文件中查找。

    例如，添加主备集群容灾关系，执行：add_peer '备集群ID', CLUSTER_KEY => "192.168.40.2,192.168.40.3,192.168.40.4:24002:/hbase", CONFIG => {"hbase.regionserver.kerberos.principal" => "hbase/hadoop.hadoop.com@HADOOP.COM", "hbase.master.kerberos.principal" => "hbase/hadoop.hadoop.com@HADOOP.COM"}

12. （可选）如果启用Bulkload批量写数据容灾功能，主集群HBase客户端配置必须拷贝到备集群。
    • 在备集群HDFS创建目录/hbase/replicationConf/主集群hbase.replication.cluster.id
    • 主集群HBase客户端配置文件，拷贝到备集群HDFS目录/hbase/replicationConf/主集群hbase.replication.cluster.id

      例如：hdfs dfs -put HBase/hbase/conf/core-site.xml HBase/hbase/conf/hdfs-site.xml HBase/hbase/conf/yarn-site.xml hdfs://NameNode IP:25000/hbase/replicationConf/source_cluster

启用HBase容灾功能同步数据。

13. 检查备集群的HBase服务实例中，是否已存在一个命名空间，与待启用容灾功能的HBase表所属的命名空间名称相同？
    • 是，存在同名的命令空间，执行14。
    • 否，不存在同名的命令空间，需先在备集群的HBase shell中，创建同名的命名空间，然后执行14。

14. 在主集群的HBase shell中，以“hbase”用户执行以下命令，启用将主集群表的数据实时容灾功能，确保后续主集群中修改的数据能够实时同步到备集群中。

    一次只能针对一个HTable进行数据同步。

    enable_table_replication '表名'

    

    • 若备集群中不存在与要开启实时同步的表同名的表，则该表会自动创建。
    • 若备集群中存在与要开启实时同步的表同名的表，则两个表的结构必须一致。
    • 若'表名'设置了加密算法SMS4或AES，则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。
    • 若备集群不在线，或备集群中已存在同名但结构不同的表，启用容灾功能将失败。
    • 若主集群中部分Phoenix表启用容灾功能同步数据，则备集群中不能存在与主集群Phoenix表同名的普通HBase表，否则启用容灾功能失败或影响备集群的同名表正常使用。
    • 若主集群中Phoenix表启用容灾功能同步数据，还需要对Phoenix表的元数据表启用容灾功能同步数据。需配置的元数据表包含SYSTEM.CATALOG、SYSTEM.FUNCTION、SYSTEM.SEQUENCE和SYSTEM.STATS。
    • 若主集群的HBase表启用容灾功能同步数据，用户每次为HBase表增加新的索引，需要手动在备集群的灾备表增加二级索引，保持与主集群二级索引结构一致。

15. （可选）如果HBase没有使用Ranger，在主集群的HBase shell中，以“hbase”用户执行以下命令，启用主集群的HBase表权限控制信息数据实时容灾功能。

    enable_table_replication 'hbase:acl'

创建用户

16. 登录备集群的FusionInsight Manager，选择“系统 > 权限 > 角色 > 添加角色”创建一个角色，并根据主集群HBase源数据表的权限，为角色添加备数据表的相同权限。
17. 选择“系统 > 权限 > 用户 > 添加用户”创建一个用户，根据业务需要选择用户类型为“人机”或“机机”，并将用户加入创建的角色。使用新创建的用户，访问备集群的HBase容灾数据。
    

    • 主集群HBase源数据表修改权限时，如果备集群需要正常读取数据，请修改备集群角色的权限。
    • 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加HBase的Ranger访问权限策略。

同步主集群表数据。

18. 检查配置HBase容灾并启用数据同步后，主集群是否已存在表及数据，且历史数据需要同步到备集群？
    • 是，存在表且需要同步数据，以HBase表用户登录安装主集群HBase客户端的节点，并执行kinit用户名认证身份。该用户需要拥有表的读写权限，以及“hbase:meta”表的执行权限。然后执行19。
    • 否，不需要同步数据，任务结束。

19. 配置HBase容灾时不支持自动同步表中的历史数据，需要对主集群的历史数据进行备份，然后再手动恢复历史数据到备集群中。

    手动恢复即单表的恢复，单表手动恢复通过Export、distcp、Import来完成。

    单表手动恢复操作步骤：

    1. 从主集群导出表中数据。

       hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.mapreduce.include.deleted.rows=true表名 保存源数据的目录

       例如，hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.mapreduce.include.deleted.rows=true t1 /user/hbase/t1

    2. 把导出的数据复制到备集群。

       hadoop distcp 主集群保存源数据的目录 hdfs://ActiveNameNodeIP:8020/备集群保存源数据的目录

       其中，ActiveNameNodeIP是备集群中主NameNode节点的IP地址。

       例如，hadoop distcp /user/hbase/t1 hdfs://192.168.40.2:8020/user/hbase/t1

    3. 使用备集群HBase表用户，在备集群中导入数据。

       在备集群HBase shell界面，使用“hbase”用户执行以下命令保持写数据状态：

       set_clusterState_active

       界面提示以下信息表示执行成功：

       hbase(main):001:0> set_clusterState_active
       => true

       hbase org.apache.hadoop.hbase.mapreduce.Import-Dimport.bulk.output=备集群保存输出的目录 表名 备集群保存源数据的目录

       hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles备集群保存输出的目录 表名

       例如：

       hbase(main):001:0> set_clusterState_active
       => true

       hbase org.apache.hadoop.hbase.mapreduce.Import -Dimport.bulk.output=/user/hbase/output_t1 t1 /user/hbase/t1

       hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/hbase/output_t1 t1

20. 在HBase客户端执行以下命令，校验主备集群同步的数据。启用容灾功能同步功能后，也可以执行该命令检验新的同步数据是否一致。

    hbase org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication --starttime=开始时间--endtime=结束时间列族名称 备集群ID 表名

    

    • 开始时间必须早于结束时间
    • 开始时间和结束时间需要填写时间戳的格式，例如执行date -d "2015-09-30 00:00:00" +%s将普通时间转化为时间戳格式。

指定主备集群写数据状态。

21. 在主集群HBase shell界面，使用“hbase”用户执行以下命令保持写数据状态。

    set_clusterState_active

    界面提示以下信息表示执行成功：

    hbase(main):001:0> set_clusterState_active
    => true

22. 在备集群HBase shell界面，使用“hbase”用户执行以下命令保持只读数据状态。

    set_clusterState_standby

    界面提示以下信息表示执行成功：

    hbase(main):001:0> set_clusterState_standby
    => true